CN108259993B - 基于网络组合视频流桌面上墙投大屏方法及其显示系统 - Google Patents

基于网络组合视频流桌面上墙投大屏方法及其显示系统 Download PDF

Info

Publication number
CN108259993B
CN108259993B CN201810024707.4A CN201810024707A CN108259993B CN 108259993 B CN108259993 B CN 108259993B CN 201810024707 A CN201810024707 A CN 201810024707A CN 108259993 B CN108259993 B CN 108259993B
Authority
CN
China
Prior art keywords
video
display
module
image
desktop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810024707.4A
Other languages
English (en)
Other versions
CN108259993A (zh
Inventor
陈尚武
金国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xujian Science And Technology Co ltd
Original Assignee
Hangzhou Xujian Science And Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Xujian Science And Technology Co ltd filed Critical Hangzhou Xujian Science And Technology Co ltd
Priority to CN201810024707.4A priority Critical patent/CN108259993B/zh
Publication of CN108259993A publication Critical patent/CN108259993A/zh
Application granted granted Critical
Publication of CN108259993B publication Critical patent/CN108259993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明提供基于网络组合视频流桌面上墙投大屏方法及其显示系统，包括应用客户端工作站的视频应用模块，应用客户端工作站的送显网络模块，应用客户端工作站的本地解码模块等；视频源向本地解码模块发送网络视频流的同时也向上墙解码模块发送网络视频流。送显网络模块在发送应用客户端桌面时，去除视频源显示部分，并携带视频源的位置大小与视频帧同步信息。接显网络模块接收客户端桌面的视频，通过图像插值方法对应用桌面的视频帧分辨率调到大屏上的显示分辨率，并根据视频源的位置与视频帧同步信息把上墙解码模块的视频源的图像进行组合一个完整桌面图像,发送上墙显示模块，从而提高视频源在大屏的显示分辨率，提升大屏对视频源显示效果。

Description

基于网络组合视频流桌面上墙投大屏方法及其显示系统
技术领域
本发明涉及云计算及网络通信技术领域，具体为基于网络组合视频流桌面上墙投大屏方法及其显示系统。
背景技术
视频应用主要包含视频监控等视频类应用但同时也包含GIS等非视频类应用，在指挥中心通常会把视频应用客户端的工作站视频输出投放到电视墙矩阵，操作员在应用客户端的所有操作，同步在电视墙矩阵的拼接大屏显示，参见图1所示。应用客户端本地桌面一般会电视墙在放大，以带来更大观感，同时也带来一个问题，如视频源的分辨率为1080P，应用客户端本地桌面的分辨率也为1080P，视频源在客户端本地桌面显示像素为720P，应用客户端上墙桌面放大到4K显示。此时摄影头在应用客户端上墙桌面显示像素为1080P，但只能显示720P放大后图像，视频源的实际显示分辨率对最终显示效果影响巨大，所以严重降低最终显示效果，需要一个更好的方式解决给该问题。
发明内容
本发明的目的是提供基于网络组合视频流桌面上墙投大屏方法及其显示系统，能够减少应用客户端桌面整体送大屏导致视频源(如监控摄像头)的像素损失问题，对视频的输出分辨率与墙上的大屏分辨率最大利用，达到最佳显示效果。
本发明提供一种基于网络组合视频流桌面上墙投大屏方法，包括如下步骤：
步骤(1)：送显网络模块推送本地桌面到大屏上墙系统，依次通知在本地桌面显示的所有视频源复制一股视频流给上墙解码模块；视频源采用RTP网络协议传输视频流；
步骤(2)：送显网络模块获取一帧桌面图像FB，并在桌面图像FB中去除视频源的图像；
步骤(3)：送显网络模块向接显网络模块发送桌面图像FB的编码后数据、视频源位置与视频帧同步信息；
步骤(4)：接显网络模块接收网络数据与上墙解码模块生成的视频源的YUV数据进行组合生成一个完整并放大桌面图像；
步骤(5)：接显网络模块把桌面图像FB的最终桌面图像FB发送给上墙显示模块，上墙显示模块把桌面图像FB的YUV数据进行点对点渲染显示。
作为优选方案：本发明中步骤(2)具体分为：
步骤(2.1)、送显网络模块获取一帧桌面图像FB的YUV数据；
步骤(2.2)、送显网络模块向视频应用模块获取视频源A的显示位置与大小；
步骤(2.3)、送显网络模块根据视频源A的显示位置与大小，从桌面图像FB的YUV数据中去除视频源A的图像，去除方法采用将对应像素的YUV数据清零成全黑色；YUV数据清零会减少单画面信息量与多画面的变化量，从而降低桌面图像FB的信息熵的值；
步骤(2.4)、送显网络模块重复步骤(2.2)与步骤(2.3)，依次从桌面图像FB的YUV数据中去除所有的视频源的图像；
步骤(2.5)、送显网络模块对去除视频源显示部分的桌面图像FB进行熵编码(如霍夫曼编码)压缩，去除掉视频源的图像影响。
作为优选方案：本发明中步骤(3)具体分为：
步骤(3.1)、采用RTP网络协议对桌面图像FB的编码后的数据进行RTP分包与打包；
步骤(3.2)、桌面图像FB的第一个RTP包携带所有视频源的位置与大小以及视频源的RTP时间戳；设置RTP包头的填充位标志，填充字节为12字节×视频源个数；
步骤(3.3)、12字节的前四字节为视频源A图像的左上角的X1与Y1轴坐标，中间四字节为视频源A图像的长L1与宽W1，后四字节为视频源A的RTP时间戳；
步骤(3.4)、视频源A的RTP时间戳来源于本地解码模块，本地解码模块对视频源A视频流解码得到视频帧，并保存该视频帧对应的RTP时间戳；
步骤(3.5)、视频源存在多个，按照视频源推送到大屏上墙系统的顺序，依次写入填充字节。
作为优选方案：本发明中步骤(4)具体分为：
步骤(4.1)、接显网络模块接收桌面图像FB的RTP网络数据，解包与拼包得到一帧桌面图像FB的数据，使用熵解码，获得解码后的去除视频源显示部分的桌面图像FB的YUV数据(如1080P分辨率)；
步骤(4.2)、接显网络模块从上墙显示模块获取桌面图像FB上大屏显示的分辨率(如4K分辨率)；
步骤(4.3)、通过图像缩放算法(如三次卷积法)将桌面图像FB的YUV数据(如1080分辨率)放大到大屏上的显示分辨率(如4K分辨率)，得到桌面图像FB用于大屏显示的YUV数据；
步骤(4.4)、上墙解码模块对视频源A视频流解码得到视频帧，并保存该视频帧对应的RTP时间戳；
步骤(4.5)、接显网络模块从桌面图像FB的第一个RTP包中获取视频源A图像的左上角的X1与Y1轴坐标、长L1与宽W1、RTP时间戳；
步骤(4.6)、接显网络模块根据视频源A的RTP时间戳从上墙解码模块获取视频帧YUV数据；
步骤(4.7)、接显网络模块根据桌面图像FB的放大倍率，对视频源A图像左上角X1与Y1轴坐标、长L1与宽W1进行放大，得到视频源A在大屏的图像左上角X2与Y2轴坐标、长L2与宽W2；
步骤(4.8)、接显网络模块对视频源A的视频帧YUV数据(如分辨率1080P)使用图像缩放算法把图像缩放到L2×W2(视频源A大屏显示的长L2与宽W2，如1080P)；
步骤(4.9)、接显网络模块把视频源A缩放后视频YUV数据填补到桌面图像FB的YUV数据的X2与Y2轴坐标为左上角对应的YUV数据清零区；
步骤(4.10)、接显网络模块重复步骤(4.5)到步骤(4.9)，把所有视频源的图像都恢复到桌面图像FB的YUV数据中；
步骤(4.11)、接显网络模块最终得到放大的完整桌面图像FB的YUV数据。
本发明还提供一种基于网络组合视频流桌面上墙投大屏方法的显示系统，包括应用客户端工作站的视频应用模块、应用客户端工作站的送显网络模块、应用客户端工作站的本地解码模块、大屏上墙系统的接显网络模块、大屏上墙系统的上墙解码模块、大屏上墙系统的上墙显示模块和视频源；其中，视频源向本地解码模块发送网络视频流的同时也向上墙解码模块发送网络视频流。送显网络模块在发送应用客户端桌面时，去除视频源显示部分，并携带视频源的位置大小与视频帧同步信息；接显网络模块接收客户端桌面的视频(如1080P分辨率)，通过图像插值方法对应用桌面的视频帧分辨率调到大屏上的显示分辨率(如4K分辨率)，并根据视频源的位置与视频帧同步信息把上墙解码模块的视频源的图像(如1080P分辨率)进行组合一个完整桌面图像(如4K分辨率),发送上墙显示模块，从而提高视频源在大屏的显示分辨率，提升大屏对视频源显示效果。
其中，上述内容中的部分名词解析如下：
RTP协议：RTP用来为IP网上的语音、图像等多种需要实时传输的多媒体数据提供端到端的实时传输服务，如下图所示：
Figure GDA0002526445500000041
RTP协议
RTP的时间戳：数据采样时刻，视频应用代表一帧图像。
RTP的填充位：用于RTP包尾部携带附属信息。
YUV：视频系统所采用的一种颜色编码方法
信息熵：是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。
与现有技术相比，本发明的有益效果如下：
采用本发明的技术方案，能够减少应用客户端桌面整体送大屏导致视频源(如监控摄像头)的像素损失问题，对视频的输出分辨率与墙上的大屏分辨率最大利用，达到最佳显示效果。有效地避免并解决了背景技术中所涉及的视频源的实际显示分辨率对最终显示效果影响巨大、严重降低最终显示效果等诸多问题。
附图说明
图1为背景技术中所涉及的功能结构示意图；
图2～3为本发明的整体功能结构示意图。
附图数字标注：视频应用模块(0)，应用客户端工作站的送显网络模块(1)，应用客户端工作站的本地解码模块(2)，大屏上墙系统的接显网络模块(3)，大屏上墙系统的上墙解码模块(4)，大屏上墙系统的上墙显示模块(5)，视频源(6)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图2～3所示：本发明的第一个目的是提供一种基于网络组合视频流桌面上墙投大屏方法的显示系统，能够减少应用客户端桌面整体送大屏导致视频源(如监控摄像头)的像素损失问题，对视频的输出分辨率与墙上的大屏分辨率最大利用，达到最佳显示效果。
实现本发明第一个目的的技术方案是：一种基于网络组合视频流桌面上墙投大屏方法的显示系统包含应用客户端工作站的视频应用模块0，应用客户端工作站的送显网络模块1，应用客户端工作站的本地解码模块2，大屏上墙系统的接显网络模块3，大屏上墙系统的上墙解码模块4，大屏上墙系统的上墙显示模块5，视频源6。视频源6向本地解码模块2发送网络视频流的同时也向上墙解码模块4发送网络视频流。送显网络模块1在发送应用客户端桌面时，去除视频源6显示部分，并携带视频源6的位置大小与视频帧同步信息。接显网络模块接收客户端桌面的视频(如1080P分辨率)，通过图像插值方法对应用桌面的视频帧分辨率调到大屏上的显示分辨率(如4K分辨率)，并根据视频源6的位置与视频帧同步信息把上墙解码模块的视频源6的图像(如1080P分辨率)进行组合一个完整桌面图像(如4K分辨率),发送上墙显示模块5，从而提高视频源在大屏的显示分辨率，提升大屏对视频源6显示效果。
其中，名词解析：
RTP协议：RTP用来为IP网上的语音、图像等多种需要实时传输的多媒体数据提供端到端的实时传输服务。
RTP的时间戳：数据采样时刻，视频应用代表一帧图像。
RTP的填充位：用于RTP包尾部携带附属信息。
YUV：视频系统所采用的一种颜色编码方法。
信息熵：是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。
本发明的第二个目的是提供一种基于网络组合视频流桌面上墙投大屏方法，包括如下步骤：
1.送显网络模块1推送本地桌面到大屏上墙系统，依次通知在本地桌面显示的所有视频源6复制一股视频流给上墙解码模块。视频源6采用RTP网络协议传输视频流。
2.送显网络模块1获取一帧桌面图像FB，并在桌面图像FB中去除视频源6的图像。
2.1送显网络模块1把获取一帧桌面图像FB的YUV数据。
2.2送显网络模块1向视频应用模块0获取视频源A(6A)的显示位置与大小
2.3送显网络模块1根据视频源A(6A)的显示位置与大小，从桌面图像FB的YUV数据中去除视频源A(6A)的图像，去除方法采用将对应像素的YUV数据清零成全黑色。YUV数据清零会减少单画面信息量与多画面的变化量，从而降低桌面图像FB的信息熵的值。
2.4送显网络模块1重复2.2与2.3步骤，依次从桌面图像FB的YUV数据中去除所有的视频源6的图像。
2.5送显网络模块1采用对去除视频源6显示部分的桌面图像FB进行熵编码(如霍夫曼编码)压缩，去除掉视频源6的图像影响。
3.送显网络模块1向接显网络模块3发送桌面图像FB的编码后数据、视频源6位置与视频帧同步信息
3.1采用RTP网络协议对桌面图像FB的编码后的数据进行RTP分包与打包。
3.2桌面图像FB的第一个RTP包携带所有视频源6的位置与大小以及视频源的RTP时间戳。设置RTP包头的填充位标志，填充字节为12字节×视频源6个数。
3.3 12字节的前四字节为视频源A(6A)图像的左上角的X1与Y1轴坐标，中间四字节为视频源A(6A)图像的长L1与宽W1，后四字节为视频源A(6A)的RTP时间戳。
3.4视频源A(6A)的RTP时间戳来源于本地解码模块2，本地解码模块2对视频源A(6A)视频流解码得到视频帧，并保存该视频帧对应的RTP时间戳。
3.5视频源6存在多个，按照视频源6推送到大屏上墙系统的顺序，依次写入填充字节。
4.接显网络模块3接收网络数据与上墙解码模块生成的视频源6的YUV数据进行组合生成一个完整并放大桌面图像。
4.1接显网络模块3接收桌面图像FB的RTP网络数据，解包与拼包得到一帧桌面图像FB的数据，使用熵解码，获得解码后的去除视频源6显示部分的桌面图像FB的YUV数据(如1080P分辨率)。
4.2接显网络模块3从上墙显示模块5获取桌面图像FB上大屏显示的分辨率(如4K分辨率)。
4.3通过图像缩放算法(如三次卷积法)将桌面图像FB的YUV数据(如1080分辨率)放大到大屏上的显示分辨率(如4K分辨率)，得到桌面图像FB用于大屏显示的YUV数据。
4.4上墙解码模块4对视频源A(6A)视频流解码得到视频帧，并保存该视频帧对应的RTP时间戳。
4.5接显网络模块3从桌面图像FB的第一个RTP包中获取视频源A(6A)图像的左上角的X1与Y1轴坐标、长L1与宽W1、RTP时间戳。
4.6接显网络模块3根据视频源A(6A)的RTP时间戳从上墙解码模块4获取视频帧YUV数据。
4.7接显网络模块3根据桌面图像FB的放大倍率，对视频源A(6A)图像左上角X1与Y1轴坐标、长L1与宽W1进行放大，得到视频源A(6A)在大屏的图像左上角X2与Y2轴坐标、长L2与宽W2。
4.8接显网络模块3对视频源A(6A)的视频帧YUV数据(如分辨率1080P)使用图像缩放算法把图像缩放到L2×W2(视频源A(6A)大屏显示的长L2与宽W2，如1080P)。
4.9接显网络模块3把视频源A(6A)缩放后视频YUV数据填补到桌面图像FB的YUV数据的X2与Y2轴坐标为左上角对应的YUV数据清零区。
4.10接显网络模块3重复4.5到4.9步骤，把所有视频源6的图像都恢复到桌面图像FB的YUV数据中。
4.11接显网络模块3最终得到放大的完整桌面图像FB的YUV数据。
5.接显网络模块3把桌面图像FB的最终桌面图像FB发送给上墙显示模块5，上墙显示模块5把桌面图像FB的YUV数据进行点对点渲染显示。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于网络组合视频流桌面上墙投大屏方法，其特征在于，包括如下步骤：
步骤(1)：送显网络模块(1)推送本地桌面到大屏上墙系统，依次通知在本地桌面显示的所有视频源(6)复制一股视频流给上墙解码模块；视频源(6)采用RTP网络协议传输视频流；
步骤(2)：送显网络模块(1)获取一帧桌面图像FB，并在桌面图像FB中去除视频源(6)的图像；具体分为：
步骤(2.1)、送显网络模块(1)获取一帧桌面图像FB的YUV数据；
步骤(2.2)、送显网络模块(1)向视频应用模块(0)获取视频源A(6A)的显示位置与大小；
步骤(2.3)、送显网络模块(1)根据视频源A(6A)的显示位置与大小，从桌面图像FB的YUV数据中去除视频源A(6A)的图像，去除方法采用将对应像素的YUV数据清零成全黑色；
步骤(2.4)、送显网络模块(1)重复步骤(2.2)与步骤(2.3)，依次从桌面图像FB的YUV数据中去除所有的视频源(6)的图像；
步骤(2.5)、送显网络模块(1)对去除视频源(6)显示部分的桌面图像FB进行熵编码压缩；
步骤(3)：送显网络模块(1)向接显网络模块(3)发送桌面图像FB的编码后数据、视频源(6)位置与视频帧同步信息；具体分为：
步骤(3.1)、采用RTP网络协议对桌面图像FB的编码后的数据进行RTP分包与打包；
步骤(3.2)、桌面图像FB的第一个RTP包携带所有视频源(6)的位置与大小以及视频源的RTP时间戳；设置RTP包头的填充位标志，填充字节为12字节×视频源(6)个数；
步骤(3.3)、12字节的前四字节为视频源A(6A)图像的左上角的X1与Y1轴坐标，中间四字节为视频源A(6A)图像的长L1与宽W1，后四字节为视频源A(6A)的RTP时间戳；
步骤(3.4)、视频源A(6A)的RTP时间戳来源于本地解码模块(2)，本地解码模块(2)对视频源A(6A)视频流解码得到视频帧，并保存该视频帧对应的RTP时间戳；
步骤(3.5)、视频源(6)存在多个，按照视频源(6)推送到大屏上墙系统的顺序，依次写入填充字节；
步骤(4)：接显网络模块(3)接收网络数据与上墙解码模块生成的视频源(6)的YUV数据进行组合生成一个完整并放大桌面图像；具体分为：
步骤(4.1)、接显网络模块(3)接收桌面图像FB的RTP网络数据，解包与拼包得到一帧桌面图像FB的数据，使用熵解码，获得解码后的去除视频源(6)显示部分的桌面图像FB的YUV数据；
步骤(4.2)、接显网络模块(3)从上墙显示模块(5)获取桌面图像FB上大屏显示的分辨率；
步骤(4.3)、通过图像缩放算法将桌面图像FB的YUV数据放大到大屏上的显示分辨率，得到桌面图像FB用于大屏显示的YUV数据；
步骤(4.4)、上墙解码模块(4)对视频源A(6A)的视频流解码得到视频帧，并保存该视频帧对应的RTP时间戳；
步骤(4.5)、接显网络模块(3)从桌面图像FB的第一个RTP包中获取视频源A(6A)图像的左上角的X1与Y1轴坐标、长L1与宽W1、RTP时间戳；
步骤(4.6)、接显网络模块(3)根据视频源A(6A)的RTP时间戳从上墙解码模块(4)获取视频帧YUV数据；
步骤(4.7)、接显网络模块(3)根据桌面图像FB的放大倍率，对视频源A(6A)图像左上角X1与Y1轴坐标、长L1与宽W1进行放大，得到视频源A(6A)在大屏的图像左上角X2与Y2轴坐标、长L2与宽W2；
步骤(4.8)、接显网络模块(3)对视频源A(6A)的视频帧YUV数据使用图像缩放算法把图像缩放到视频源A(6A)大屏显示长L2×宽W2；
步骤(4.9)、接显网络模块(3)把视频源A(6A)缩放后视频YUV数据填补到桌面图像FB的YUV数据的X2与Y2轴坐标为左上角对应的YUV数据清零区；
步骤(4.10)、接显网络模块(3)重复步骤(4.5)到步骤(4.9)，把所有视频源(6)的图像都恢复到桌面图像FB的YUV数据中；
步骤(4.11)、接显网络模块(3)最终得到放大的完整桌面图像FB的YUV数据；
步骤(5)：接显网络模块(3)把桌面图像FB的最终桌面图像FB发送给上墙显示模块(5)，上墙显示模块(5)把桌面图像FB的YUV数据进行点对点渲染显示。
CN201810024707.4A 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统 Active CN108259993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810024707.4A CN108259993B (zh) 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810024707.4A CN108259993B (zh) 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统

Publications (2)

Publication Number Publication Date
CN108259993A CN108259993A (zh) 2018-07-06
CN108259993B true CN108259993B (zh) 2021-01-01

Family

ID=62726375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810024707.4A Active CN108259993B (zh) 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统

Country Status (1)

Country Link
CN (1) CN108259993B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381350B (zh) * 2019-06-25 2021-07-30 杭州叙简科技股份有限公司 基于webrtc的多路录像回放同步系统及其处理方法
CN111538468A (zh) * 2020-04-27 2020-08-14 威创集团股份有限公司 一种可视化界面的操控方法及系统
CN114302086B (zh) * 2021-12-24 2023-04-21 威创集团股份有限公司 显示墙全屏超高分辨率画面录制与回放方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154150A (zh) * 2006-09-27 2008-04-02 联想(北京)有限公司 获取计算机屏幕图像的方法
CN101984402A (zh) * 2010-11-16 2011-03-09 广东威创视讯科技股份有限公司 一种图像采集和压缩方法及相关装置
CN104020968A (zh) * 2013-02-28 2014-09-03 中兴通讯股份有限公司 控制共享屏幕显示的方法及装置
CN105072189A (zh) * 2015-08-18 2015-11-18 广东威创视讯科技股份有限公司 一种桌面区域共享方法及系统
CN107465941A (zh) * 2017-09-07 2017-12-12 北京奇艺世纪科技有限公司 一种桌面共享视频播放方法、系统和计算机系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2797986C (en) * 2011-12-06 2017-08-22 Aastra Technologies Limited Collaboration system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154150A (zh) * 2006-09-27 2008-04-02 联想(北京)有限公司 获取计算机屏幕图像的方法
CN101984402A (zh) * 2010-11-16 2011-03-09 广东威创视讯科技股份有限公司 一种图像采集和压缩方法及相关装置
CN104020968A (zh) * 2013-02-28 2014-09-03 中兴通讯股份有限公司 控制共享屏幕显示的方法及装置
CN105072189A (zh) * 2015-08-18 2015-11-18 广东威创视讯科技股份有限公司 一种桌面区域共享方法及系统
CN107465941A (zh) * 2017-09-07 2017-12-12 北京奇艺世纪科技有限公司 一种桌面共享视频播放方法、系统和计算机系统

Also Published As

Publication number Publication date
CN108259993A (zh) 2018-07-06

Similar Documents

Publication Publication Date Title
US7024045B2 (en) Dynamic bandwidth adaptive image compression/decompression scheme
US5689800A (en) Video feedback for reducing data rate or increasing quality in a video processing system
CN108259993B (zh) 基于网络组合视频流桌面上墙投大屏方法及其显示系统
US7714896B2 (en) Image capturing apparatus and image capturing method
US8881023B2 (en) Methods and apparatus for synchronizing virtual and physical mouse pointers on remote KVM systems
KR101698951B1 (ko) 복수의 시각적 요소를 가지는 스크린을 공유하는 시스템, 장치, 및 방법
US8111932B2 (en) Digital image decoder with integrated concurrent image prescaler
CN101668160A (zh) 视频图像数据处理方法、装置及视频会议系统及终端
CN100473163C (zh) 动静态混合画面的投影方法和投影系统
CN104954812A (zh) 一种视频同步播放的方法、装置及系统
CN103533358B (zh) 自适用图像采集传输显示装置
CN109729299A (zh) 一种超高清视频的发送、接收方法和装置
CN110958431A (zh) 多路视频压缩后传系统及方法
KR100746005B1 (ko) 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
US9226003B2 (en) Method for transmitting video signals from an application on a server over an IP network to a client device
US11843822B2 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
US20080101409A1 (en) Packetization
CN107318021B (zh) 一种远程显示的数据处理方法及系统
CN106060080B (zh) 一种医疗视频信号采集转码系统
CN109104635A (zh) 即时传送屏幕图像的方法及系统
KR100970992B1 (ko) 그래픽스 가속을 통한 고화질 영상의 스테레오스코픽 다중화 및 저비율 압축 전송 장치 및 그 방법과 그 프로그램 소스를 저장한 기록매체
Lorent et al. TICO Lightweight Codec Used in IP Networked or in SDI Infrastructure
US8427577B2 (en) Method for converting between interlaced video and progressive video during transmission via a network
CN107318020B (zh) 远程显示的数据处理方法及系统
Kawamura et al. Real-time streaming of sequential volumetric data for augmented reality synchronized with broadcast video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method for projecting large screen on wall of desktop based on network combined video stream and its display system

Effective date of registration: 20211202

Granted publication date: 20210101

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220322

Granted publication date: 20210101

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method for projecting large screen on wall of desktop based on network combined video stream and its display system

Effective date of registration: 20220322

Granted publication date: 20210101

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230131

Granted publication date: 20210101

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162

PC01 Cancellation of the registration of the contract for pledge of patent right