CN111510742B - 用于至少两个视频信号的传输和显示的系统和方法 - Google Patents

用于至少两个视频信号的传输和显示的系统和方法 Download PDF

Info

Publication number
CN111510742B
CN111510742B CN202010318537.8A CN202010318537A CN111510742B CN 111510742 B CN111510742 B CN 111510742B CN 202010318537 A CN202010318537 A CN 202010318537A CN 111510742 B CN111510742 B CN 111510742B
Authority
CN
China
Prior art keywords
video
encoder
decoding
screen
covered area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010318537.8A
Other languages
English (en)
Other versions
CN111510742A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zen Ai Technology Co ltd
Original Assignee
Beijing Zen Ai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zen Ai Technology Co ltd filed Critical Beijing Zen Ai Technology Co ltd
Priority to CN202010318537.8A priority Critical patent/CN111510742B/zh
Publication of CN111510742A publication Critical patent/CN111510742A/zh
Application granted granted Critical
Publication of CN111510742B publication Critical patent/CN111510742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Abstract

本发明涉及用于至少两个视频信号的传输和显示的系统，所述系统包括：编码器、解码和显示部件、以及屏幕，编码器接收视频信号的输入，屏幕接收解码和显示部件的输入；编码器根据视频信号的视频窗口在屏幕上的被覆盖区域对应的信息，对所接收的视频信号的当前帧的被覆盖区域进行清除处理，并随后对清除处理后的当前帧进行编码；编码器还将编码后的内容封装成视频流，并将视频流通过网络发送至解码和显示部件。本发明可以消除或降低视频窗口被覆盖区域在编码时所需的内存空间，降低传输过程的带宽，消除冗余数据，提高传输实时性。

Description

用于至少两个视频信号的传输和显示的系统和方法
技术领域
本发明涉及视频信号传输和显示技术，尤其涉及多视频信号的传输和显示技术。
背景技术
现有技术中，为了将多个远程视频信号的内容调取并显示在本地屏幕上，需要先将多个视频信号的内容编码成各个网络流信号，通过网络将网络流信号传输至本地，再将该网络流信号解码成视频流信号，然后将视频流信号输出到本地屏幕上。
随着用户对视频清晰度要求的不断提高，在上述过程中，需要对清晰度很高的视频信号内容进行编码和解码，因此，编解码计算量也将不断提高，并导致响应滞后；另外，在需要调取大量视频信号时，由于每个高清晰度的视频信号都占用大量带宽，因此将导致网络拥堵，各个视频信号传输不畅。
发明内容
针对以上问题，本申请提出用于至少两个视频信号的传输和显示的系统、方法、设备及存储介质。
本发明第一方面提供用于至少两个视频信号的传输和显示的系统，所述系统包括：编码器、解码和显示部件、以及屏幕，编码器接收视频信号的输入，屏幕接收解码和显示部件的输入；
编码器根据视频信号的视频窗口在屏幕上的被覆盖区域对应的信息，对所接收的视频信号的当前帧的被覆盖区域进行清除处理，并随后对清除处理后的当前帧进行编码；编码器还将编码后的内容封装成视频流，并将视频流通过网络发送至解码和显示部件；
解码和显示部件接收来自编码器的视频流，并根据视频信号的视频窗口在屏幕上的布局方式和层叠关系绘制图像，并将图像输出供屏幕进行显示。
根据本发明的一些实施例，所述系统还包括服务器，服务器、编码器、解码和显示部件网络连接；
所述服务器用于生成视频信号在屏幕上的布局方式和层叠关系，以及根据布局方式和层叠关系计算被覆盖区域，并向所述编码器输出被覆盖区域对应的信息以及向解码和显示部件输出所述布局方式和层叠关系对应的信息；或者，
所述服务器用于生成视频信号在屏幕上的布局方式和层叠关系，并向所述编码器以及解码和显示部件输出所述布局方式和层叠关系对应的信息以及解码和显示部件输出所述布局方式和层叠关系对应的信息，编码器根据所述布局方式和层叠关系计算各个视频窗口的被覆盖区域。
根据本发明的一些实施例，服务器预先存储视频信号和编码器的对应关系、编码器信息、以及解码和显示部件信息，所述编码器信息包括所述编码器地址和端口号，所述解码和显示部件信息包括所述解码和显示部件地址和端口号。
根据本发明的一些实施例，服务器包括输入设备和显示设备,输入设备用于接收用户输入，以生成视频信号在屏幕上的布局方式和层叠关系，并根据布局方式和层叠关系计算被覆盖区域；所述服务器指示各编码器以相对屏幕上的分辨率为低的低分辨率编码视频信号内容，并通过网络获取低分辨率编码的视频信号内容供显示于所述显示设备上。
根据本发明的一些实施例，所述清除处理包括将被覆盖区域设置为纯黑色。
本发明第二方面提供用于至少两个视频信号的传输和显示的方法，其包括：
根据视频信号的视频窗口在屏幕上的被覆盖区域对应的信息，对所接收的视频信号的当前帧的被覆盖区域进行清除处理，并随后对清除处理后的当前帧进行编码；以及将编码后的内容封装成对应的视频流，并将视频流通过网络发送至解码显示端。
根据本发明的一些实施例，所述清除处理包括将被覆盖区域设置为纯黑色。
根据本发明的一些实施例，所述方法还包括解码显示端接收来自编码器的视频流，并根据视频信号的视频窗口在屏幕上的布局方式和层叠关系绘制图像，并将图像输出供屏幕进行显示。
本发明第三方面提供一种用于至少两个视频信号的传输和显示的设备，其包括存储器和处理器；其中，所述存储器用于存储可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行所述的用于至少两个视频信号的传输和显示的方法。
本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的用于至少两个视频信号的传输和显示的方法。
通过本发明，可以消除或降低该区域在编码时所需的内存空间，并进而降低传输过程的带宽，消除冗余数据，提高传输实时性。
附图说明
图1示出根据本发明一些实施例的用于至少两个视频信号的传输和显示系统的示意性框图；
图2示出根据本发明一些实施例的用于至少两个视频信号的传输和显示的方法的流程图；
图3示出示例性地给出所述的用于至少两个视频信号的传输和分布式显示的设备。
具体实施方式
本申请中，凡涉及通过网络实现的，其本质旨在涵盖通过交换机、路由器等必要的固件或软件实现的有线或无线的网络连接，也涵盖通过一些服务器或其他计算机等作为中介实现的有线或无线的网络连接，本申请为简化描述，突出发明点，在描述网络连接时略去了对路由器/交换机的说明。在本申请中，所涉及的网络可以包括Wi-fi网络、蓝牙网络、私人区域网络(PAN)、局域网(LAN)、广域网(WAN)、IEEE 802.1x、内联网、互联网、外联网及其各项组合。网络也可以包括数字蜂窝电话网络，其可以包括全球移动通信系统(GSM)、通用分组无线服务(GPRS)、cdmaOne、CDMA2000、演进-数据优化的(EV-DO)、增强型数据速率GSM演进(EDGE)、通用移动通信系统(UMTS)、数字增强型无绳通信(DECT)、数字AMPS(IS-136/TDMA)、集成数字增强型网络(iDEN)、WiMAX、LTE、LTE advanced、移动宽带无线接入(MBWA)、IEEE 802.20。网络可以是公共接入的、私人的、虚拟私人的例如VPN。
下面将参考附图并结合实施例来示例性地说明本发明，需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。另外，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
参考图1，其示意性地示出根据本发明实施例的用于至少两个视频信号的传输和显示系统的示意性框图及相关联部件；所述视频传输系统包括编码器(11、22)，服务器6和解码和显示部件555。服务器6、编码器(11、22)、解码和显示部件555网络连接，图1所示为三者通过交换机5相互连接)。各编码器(11、22)和各视频信号(1、2)例如通过视频线连接，或通过电光转换器、光纤及光电转换器这三者连接。解码和显示部件555的输出端连接至屏幕8。
服务器6生成视频信号1和视频信号2的视频窗口在屏幕8上的布局方式和层叠关系，计算视频窗口的被覆盖区域，并通过网络将布局方式和层叠关系对应的信息发送到解码和显示部件555，以及通过网络将视频窗口的被覆盖区域对应的信息发送到编码器(11，22)。
所述布局方式包括每个视频信号对应的视频窗口在屏幕8上的分布位置信息，如图1所示，视频信号1对应的视频窗口51和视频信号2对应的视频窗口52分布于屏幕8上，占据一个分布位置。所述层叠关系指视频窗口51和52的层叠先后顺序，图中所示为视频窗口52层叠在视频窗口51之上。根据每个视频窗口在屏幕上的分布位置和层叠关系，服务器计算出各视频窗口中的被覆盖区域，图1中被视频窗口52覆盖的区域为视频窗口51上的被覆盖区域,视频窗口52由于其叠置在视频窗口51的上方，所以不存在被覆盖区域。
根据本发明的一些实施例，服务器6可以接收各种方式的用户输入，以生成视频信号1和视频信号2在屏幕8上的布局方式和层叠关系，并计算被覆盖区域。所述服务器6可以包括输入设备。所述输入设备可以以键盘输入，光学输入，触控输入等方式实现输入。所述服务器6还可以包括显示设备，所述显示设备可以以投影，LED等方式实现显示，用于显示视频信号1和视频信号2在当前屏幕8上的分布方式。所述服务器6所包含的输入设备和显示设备也可以为触控输入和显示一体设备(如触控输入和显示屏幕，也称一体机)，其一方面用于显示与屏幕8上的内容对应的各个视频信号(1、2)的内容，另一方面用于接收用户输入。根据本发明的一些实施例，服务器6可以发送控制命令给各编码器(11，22)，使其以比视频信号为低的分辨率编码视频信号内容，服务器6再通过网络获取所述编码后的内容，将其呈现于触控输入和显示设备上。呈现于服务器6的触控输入和显示设备上的视频信号内容可以只具有较低清晰度或只是整个视频信号内容的分布轮廓，如一个线框，由此可以降低各视频信号内容被传送到服务器的过程中编码器的编码时间和传输带宽，以便将节省出的编码时间和带宽用于对选定的视频信号内容进行编码和传输，同时又方便服务端实时参考所述触控输入和显示设备上的显示内容，来操作和控制屏幕8上的视频窗口。与此同时，各编码器(11，22)为解码和显示部件编码的视频信号内容则可以有较高清晰度，以满足屏幕8上的观看需求。根据本发明的一些实施例，也可以直接向服务器发送视频信号1和视频信号2在屏幕8上的布局方式，层叠关系，由服务器计算被覆盖区域，或者直接向服务器发送视频信号1和视频信号2在屏幕8上的布局方式、层叠关系以及被覆盖区域。
编码器(11,22)用于获取输入的视频内容，以及所述视频窗口在屏幕上的被覆盖区域对应的信息，根据所述视频窗口的被覆盖区域信息，对接收到的当前帧的被覆盖区域进行清除处理，并随后对清除处理后的当前帧进行编码。所述的随后对清除处理后的当前帧进行编码，意在涵盖以下两种情况：在有被覆盖区域的情况下将经过清除处理后的当前帧进行编码，以及在不含被覆盖区域的情况下，直接对当前帧进行编码，所述编码包括进行264，h265或其他格式编码。编码器还将编码后的内容封装成对应的rtsp或rtmp或rtp视频流，并将视频流通过网络发送给解码和显示部件555。所述清除处理例如包括：将被覆盖区域设置为纯黑色(rgb为0，0，0，或称置0处理)，或者指示后续只对被覆盖区域外的部分进行编码。例如，图1所示为视频窗口51被部分覆盖，因此，编码器11将当前帧的被覆盖区域设置为纯黑色。编码器22接收来自服务器6的被覆盖区域对应的信息，根据信息确定视频窗口52中不存在被覆盖区域，也即此时无需进行额外的置0处理。根据本发明的一些实施例，在获取所述被覆盖区域对应的信息后，编码器可以确认之前是否对被覆盖区域进行过清除处理，若是，则沿用之前的对该被覆盖区域的清除处理方式，对清除处理后的当前帧进行编码。
解码和显示部件555用于接收来自服务器6的布局方式和层叠关系对应的信息，并获取来自各个编码器的视频流以及对其进行视频解码，以及根据所述布局方式和层叠关系绘制图像，并将图像输出供屏幕8进行显示。可以以以下方式使解码和显示部件获取来自各个编码器的视频流：由所述编码器11和12将编码所得的编码部分的网络流信号地址发送至服务器6，服务器6将所述网络流信号地址发送至对应的解码和显示部件555，由此使所述解码和显示部件获取所述网络流信号地址；或者，由编码器11和22直接向解码和显示部件发送所述网络流信号地址，等等。
根据本发明的一些实施例，服务器预先存储视频信号和编码器的对应关系、编码器信息、以及解码和显示部件信息，所述编码器信息包括所述编码器地址和端口号，所述解码和显示部件信息包括所述解码和显示部件地址和端口号。所述对应关系例如为视频信号1，2分别对应于编码器11，22。所述对应关系和/或地址也可以根据需要被预先存储在编码器和解码和显示部件中，或由服务器根据需要将对应关系和/或地址发送至编码器和/或解码和显示部件。
根据本发明的一些实施例，服务器可以直接将视频窗口的布局方式和层叠关系发送至各个编码器，由编码器自身来计算各个视频窗口的被覆盖区域，而不是由服务器来计算所述被覆盖区域。
此外，根据本发明的再一些实施例，所述解码和显示部件555的功能和服务器6的功能可以集成在一个主机或计算机中。
通过上述实施例，可以消除或降低视频窗口被覆盖区域在编码时所需的内存空间，并进而降低传输过程的带宽，消除冗余数据，提高传输实时性。
图2示意性地示出根据本发明一些实施例的用于至少两个视频信号的传输和显示的方法的流程图。
如图中所示，服务端生成视频窗口在拼接屏幕上的布局方式和层叠关系(S11)，通过网络将布局方式和层叠关系对应的信息发送到解码显示端(S12)，以及根据布局方式和层叠关系计算视频窗口的被覆盖区域(S13)，并通过网络将视频窗口的被覆盖区域对应的信息发送到编码端。根据本发明的另外一些实施例，服务端也可以直接将布局方式和层叠关系对应的信息发送至编码端，由编码端自身来计算视频窗口的被覆盖区域。所述编码端可以为编码器或计算机或其他具有类似编码功能的器件。
编码端获取输入的视频内容(S21)，以及获取视频窗口的被覆盖区域对应的信息(S21)，根据所述视频窗口的被覆盖区域对应的信息，对获取的视频内容的当前帧的被覆盖区域进行清除处理(S23)，并对清除处理后的当前帧进行编码(S24)。所述编码对象为经过清除处理后的当前帧，对于不存在被覆盖区域的当前帧，则编码对象直接为当前帧。所述编码包括进行h264，h265或其他格式编码。编码端还将编码后的部分封装成视频流(S25)，如rtsp或rtmp或rtp视频流，并将视频流通过网络发送给对应的解码显示端(S26)。以前述图1为例，其中显示视频窗口51被部分覆盖，因此，编码器11对应的编码端将当前帧的被覆盖区域设置为纯黑色。根据本发明的另一些实施例，在获取所述被覆盖区域对应的信息后，编码端确认之前是否对被覆盖区域进行过清除处理(S221)，若是，则沿用之前的对该被覆盖区域的清除处理方式，对清除处理后的当前帧进行编码，即进入步骤S24：对当前帧进行编码，此后步骤如前所述。
解码显示端获取来自服务端的布局方式和层叠关系对应的信息(S30)，并获取来自各个编码端的视频流(S31),对其进行视频解码(S32)，以及根据所述布局方式和层叠关系绘制图像(S33)，并将图像输出供屏幕进行显示(S34)。如图1所示，解码和显示部件555根据网络流信号地址获取各个编码内容(或网络流信号)并对其进行解码，根据所述布局方式和层叠关系将其所解码的内容(视频信号1和视频信号2)进行图像绘制，并将图像输出供显示于屏幕8上。
根据本发明的一些实施例，服务端可以预先存储视频信号和编码端的对应关系以及编码端信息，所述对应关系例如为视频信号1，2分别对应于编码器11，22，所述编码端信息包括所述编码端地址和端口号。所述对应关系和/或地址也可以根据需要被预先存储在编码端和解码显示端中，或由服务端根据需要将对应关系和/或地址发送至编码端和/或解码显示端。
根据本发明的一些实施例，服务端可以直接将视频窗口的布局方式和层叠关系发送至各个编码端，由编码端自身来计算各个视频窗口的被覆盖区域，而不是由服务端来计算所述被覆盖区域。
通过上述实施例，可以消除或降低视频窗口被覆盖区域在编码时所需的内存空间，并进而降低传输过程的带宽，消除冗余数据，提高传输实时性。
此外，前面在描述视频传输系统时所提及的各个传输和处理细节也适合用于此处的本发明的用于至少两个视频信号的传输和显示的方法中，例如，服务端可以接收各种方式的用户输入，以生成视频信号1和视频信号2在屏幕8上的布局方式和层叠关系，并计算被覆盖区域。所述服务端可通过网络获取和屏幕画面内容对应的但具有相对较低清晰度的视频内容。编码端可以将编码所得的各个编码内容或编码部分的网络流信号地址发送至服务端，服务端将所述网络流信号地址发送至解码显示端，由此使所述解码显示端获取所述网络流信号地址。或者，所述解码显示端可以以其他方式获取所述网络流信号地址，例如由各编码端直接向解码显示端发送所述网络流信号地址，等等。为简化起见，此处不再赘述。
本申请还提供一种用于至少两个视频信号的传输和显示的设备，其包括存储器和处理器；其中，所述存储器用于存储可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行所述的用于至少两个视频信号的传输和显示的方法，包括根据视频信号的视频窗口在屏幕上的被覆盖区域对应的信息，对所接收的视频信号的当前帧的被覆盖区域进行清除处理，并随后对清除处理后的当前帧进行编码；以及将编码后的内容封装成视频流，并将视频流通过网络发送至解码显示端。所述清除处理包括将被覆盖区域设置为纯黑色。此外，前面围绕各实施例所描述的用于至少两个视频信号的传输和显示的方法中的相关细节也适用于此处，为简化起见，不再赘述。
图3示出示例性地给出所述的用于至少两个视频信号的传输和分布式显示的设备，所述设备包括处理器51、存储器52和总线53。
在一些实例中，该设备还可以包括输入设备501、输入端口502、输出端口503、以及输出设备504。其中，输入端口502、处理器51、存储器52、以及输出端口503通过总线53相互连接，输入设备501和输出设备504分别通过输入端口502和输出端口503与总线53连接，进而与设备的其他组件连接。需要说明的是，这里的输出接口和输入接口也可以用I/O接口表示。具体地，输入设备501接收来自外部的输入信息，并通过输入端口502将输入信息传送到处理器51；处理器51基于存储器52中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器52中，然后通过输出端口503将输出信息传送到输出设备504；输出设备503将输出信息输出到设备的外部。
上述存储器52包括用于数据或指令的大容量存储器。举例来说而非限制，存储器52可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器52可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器52可在设备的内部或外部。在特定实施例中，存储器52是非易失性固态存储器。在特定实施例中，存储器52包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
总线53包括硬件、软件或两者，将用于至少两个视频信号的传输和分布式显示的设备的部件彼此耦接在一起。举例来说而非限制，总线53可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
该处理器51基于存储器52中存储的计算机程序，根据输入的或存储的视频信号的视频窗口在屏幕上的布局方式和被覆盖区域对应的信息，对所接收的视频信号的当前帧的被覆盖区域进行清除处理，并随后根据所述布局方式将处理后的当前帧编码成n个部分，所述n为根据布局方式确定的视频信号对应的视频窗口在屏幕上所横跨的子屏幕数目；以及还将编码后的各个部分封装成对应的视频流，并将视频流通过网络发送至对应的解码和显示部件，所述对应的解码和显示部件为视频窗口在屏幕上所横跨的子屏幕所连接的解码和显示部件。所述清除处理包括将被覆盖区域设置为纯黑色。此外，前面围绕各实施例所描述的用于至少两个视频信号的传输和分布式显示的方法中的相关细节也适用于此处，为简化起见，不再赘述。
根据本发明的再一些实施例，所述计算机程序可以以多种方式被分割成一个或多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述设备中的执行过程。所述计算机程序可以根据前面参考图2所描述的实施例中的各流程步骤所实现的功能来分割成多个单元。为简化起见，此处不再复述。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述设备的控制中心，利用各种接口和线路连接整个设备的各个部分。
所述设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备或其中的一部分。所述设备可包括，但不仅限于，处理器和存储器。本领域技术人员可以理解，所述示意图仅仅是设备的示例，并不构成对设备的限定。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的用于至少两个视频信号的传输和显示的方法，包括根据视频信号的视频窗口在屏幕上的被覆盖区域对应的信息，对所接收的视频信号的当前帧的被覆盖区域进行清除处理，并随后对清除处理后的当前帧进行编码；以及将编码后的内容封装成对应的视频流，并将视频流通过网络发送至解码显示端。所述清除处理包括将被覆盖区域设置为纯黑色。此外，前面围绕各实施例所描述的用于至少两个视频信号的传输和显示的方法中的相关细节也适用于此处，为简化起见，不再赘述。
通过本发明，可以消除或降低该区域在编码时所需的内存空间，并进而降低传输过程的带宽，消除冗余数据，提高传输实时性。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.用于至少两个视频信号的传输和显示的系统，所述系统包括：至少两个和视频信号对应的编码器、解码和显示部件、以及屏幕，编码器接收视频信号的输入，屏幕接收解码和显示部件的输入；
编码器根据视频信号的视频窗口在屏幕上的被覆盖区域对应的信息，对所接收的视频信号的当前帧的被覆盖区域进行清除处理，并随后对清除处理后的当前帧进行编码，所述被覆盖区域为所述至少两个视频信号的其中一个或多个视频窗口中被所述至少两个视频信号的其他视频窗口覆盖的区域；编码器还将编码后的内容封装成视频流，并将视频流通过网络发送至解码和显示部件；
解码和显示部件接收来自编码器的视频流，并根据视频信号的视频窗口在屏幕上的布局方式和层叠关系绘制图像，并将图像输出供屏幕进行显示；
所述的系统还包括服务器，服务器、编码器、解码和显示部件网络连接；
所述服务器用于生成视频信号在屏幕上的布局方式和层叠关系，以及根据布局方式和层叠关系计算被覆盖区域，并向所述编码器输出被覆盖区域对应的信息以及向解码和显示部件输出所述布局方式和层叠关系对应的信息；或者，
所述服务器用于生成视频信号在屏幕上的布局方式和层叠关系，并向所述编码器以及解码和显示部件输出所述布局方式和层叠关系对应的信息，编码器根据所述布局方式和层叠关系计算各个视频窗口的被覆盖区域。
2.根据权利要求1所述的系统，服务器预先存储视频信号和编码器的对应关系、编码器信息、以及解码和显示部件信息，所述编码器信息包括所述编码器地址和端口号，所述解码和显示部件信息包括所述解码和显示部件地址和端口号。
3.根据权利要求1所述的系统，服务器包括输入设备和显示设备,输入设备用于接收用户输入，以生成视频信号在屏幕上的布局方式和层叠关系，并根据布局方式和层叠关系计算被覆盖区域；所述服务器指示各编码器以相对屏幕上的分辨率为低的低分辨率编码视频信号内容，并通过网络获取低分辨率编码的视频信号内容供显示于所述显示设备上。
4.根据权利要求1-3之一所述的系统，所述清除处理包括将被覆盖区域设置为纯黑色。
CN202010318537.8A 2020-04-21 2020-04-21 用于至少两个视频信号的传输和显示的系统和方法 Active CN111510742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010318537.8A CN111510742B (zh) 2020-04-21 2020-04-21 用于至少两个视频信号的传输和显示的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010318537.8A CN111510742B (zh) 2020-04-21 2020-04-21 用于至少两个视频信号的传输和显示的系统和方法

Publications (2)

Publication Number Publication Date
CN111510742A CN111510742A (zh) 2020-08-07
CN111510742B true CN111510742B (zh) 2022-05-27

Family

ID=71877751

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010318537.8A Active CN111510742B (zh) 2020-04-21 2020-04-21 用于至少两个视频信号的传输和显示的系统和方法

Country Status (1)

Country Link
CN (1) CN111510742B (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090238268A1 (en) * 2008-03-20 2009-09-24 Mediatek Inc. Method for video coding
CN105898134A (zh) * 2015-11-15 2016-08-24 乐视移动智能信息技术（北京）有限公司 图像获取方法及装置
US10542294B2 (en) * 2016-03-16 2020-01-21 Mediatek Inc. Method and apparatus of video data processing with restricted block size in video coding
CN107368269B (zh) * 2016-05-11 2019-03-26 北京京东尚科信息技术有限公司 传输屏幕图像的方法、装置和系统
CN110941409A (zh) * 2019-10-23 2020-03-31 西安万像电子科技有限公司 分屏显示的操作方法及服务器

Also Published As

Publication number Publication date
CN111510742A (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
CN111510741A (zh) 用于至少两个视频信号的传输和分布式显示的系统和方法
US9872021B2 (en) Video conversion method and apparatus
EP3595305B1 (en) Method for allocating code rates for intra-frame coded frames, computer device and storage medium
US20110002376A1 (en) Latency Minimization Via Pipelining of Processing Blocks
WO2018010662A1 (zh) 视频文件的转码方法，装置及存储介质
JP2012075121A (ja) 動作補償されたフレームレートアップコンバージョンのための方法および装置
WO2021057705A1 (zh) 视频编解码方法和相关装置
CN111510742B (zh) 用于至少两个视频信号的传输和显示的系统和方法
CN111010567B (zh) 多信号源远程调取方法和系统
EP2629283A1 (en) Television
US9967567B2 (en) Method and system for enhancing image quality of compressed video stream
US20150256443A1 (en) Method for transmitting image information and packet communication system
US8111746B2 (en) Motion graphics keying in the compressed domain
CN115543083A (zh) 图像显示方法、装置及电子设备
CN111246208A (zh) 视频处理方法、装置及电子设备
JP2014014134A5 (zh)
US9118803B2 (en) Video conferencing system
US11849127B2 (en) Video encoding method, video decoding method, and related apparatuses
CN110572677A (zh) 视频编解码方法和装置、存储介质及电子装置
CN110572672A (zh) 视频编解码方法和装置、存储介质及电子装置
CN108737877B (zh) 图像处理的方法、装置和终端设备
CN117201835A (zh) 多信号源推送方法、系统、介质和设备
CN117319759A (zh) 多信号源推送及显示方法、系统、介质和设备
CN116033226A (zh) 用于对信号源进行多终端显示和控制的系统
US10595047B2 (en) Wireless display subsystem and system-on-chip

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant