CN108259993A - 基于网络组合视频流桌面上墙投大屏方法及其显示系统 - Google Patents

基于网络组合视频流桌面上墙投大屏方法及其显示系统 Download PDF

Info

Publication number
CN108259993A
CN108259993A CN201810024707.4A CN201810024707A CN108259993A CN 108259993 A CN108259993 A CN 108259993A CN 201810024707 A CN201810024707 A CN 201810024707A CN 108259993 A CN108259993 A CN 108259993A
Authority
CN
China
Prior art keywords
video
video source
desktop
aobvious
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810024707.4A
Other languages
English (en)
Other versions
CN108259993B (zh
Inventor
陈尚武
金国庆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Polytron Technologies Inc
Original Assignee
Hangzhou Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Polytron Technologies Inc filed Critical Hangzhou Polytron Technologies Inc
Priority to CN201810024707.4A priority Critical patent/CN108259993B/zh
Publication of CN108259993A publication Critical patent/CN108259993A/zh
Application granted granted Critical
Publication of CN108259993B publication Critical patent/CN108259993B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供基于网络组合视频流桌面上墙投大屏方法及其显示系统，包括应用客户端工作站的视频应用模块，应用客户端工作站的送显网络模块，应用客户端工作站的本地解码模块等；视频源向本地解码模块发送网络视频流的同时也向上墙解码模块发送网络视频流。送显网络模块在发送应用客户端桌面时，去除视频源显示部分，并携带视频源的位置大小与视频帧同步信息。接显网络模块接收客户端桌面的视频，通过图像插值方法对应用桌面的视频帧分辨率调到大屏上的显示分辨率，并根据视频源的位置与视频帧同步信息把上墙解码模块的视频源的图像进行组合一个完整桌面图像,发送上墙显示模块，从而提高视频源在大屏的显示分辨率，提升大屏对视频源显示效果。

Description

基于网络组合视频流桌面上墙投大屏方法及其显示系统
技术领域
本发明涉及云计算及网络通信技术领域，具体为基于网络组合视频流桌面上墙投大屏方法及其显示系统。
背景技术
视频应用主要包含视频监控等视频类应用但同时也包含GIS等非视频类应用，在指挥中心通常会把视频应用客户端的工作站视频输出投放到电视墙矩阵，操作员在应用客户端的所有操作，同步在电视墙矩阵的拼接大屏显示，参见图1所示。应用客户端本地桌面一般会电视墙在放大，以带来更大观感，同时也带来一个问题，如视频源的分辨率为1080P，应用客户端本地桌面的分辨率也为1080P，视频源在客户端本地桌面显示像素为720P，应用客户端上墙桌面放大到4K显示。此时摄影头在应用客户端上墙桌面显示像素为1080P，但只能显示720P放大后图像，视频源的实际显示分辨率对最终显示效果影响巨大，所以严重降低最终显示效果，需要一个更好的方式解决给该问题。
发明内容
本发明的目的是提供基于网络组合视频流桌面上墙投大屏方法及其显示系统，能够减少应用客户端桌面整体送大屏导致视频源(如监控摄像头)的像素损失问题，对视频的输出分辨率与墙上的大屏分辨率最大利用，达到最佳显示效果。
本发明提供一种基于网络组合视频流桌面上墙投大屏方法，包括如下步骤：
步骤(1)：送显网络模块推送本地桌面到大屏上墙系统，依次通知在本地桌面显示的所有视频源复制一股视频流给上墙解码模块；视频源采用RTP网络协议传输视频流；
步骤(2)：送显网络模块获取一帧桌面图像FB，并在桌面图像FB去除视频源的图像；
步骤(3)：送显网络模块向接显网络模块发送桌面图像FB的编码后数据、视频源位置与视频帧同步信息；
步骤(4)：接显网络模块接收网络数据与上墙解码模块生成视频源的YUV数据进行组合生成一个完整并放大桌面图像；
步骤(5)：接显网络模块把桌面图像FB最终桌面图像FB给上墙显示模块，上墙显示模块把桌面图像FB的YUV数据进行对点对点渲染显示。
作为优选方案：本发明中步骤(2)具体分为：
步骤(2.1)、送显网络模块把获取一帧桌面图像FB的YUV数据；
步骤(2.2)、送显网络模块向视频应用模块获取视频源A的显示位置与大小；
步骤(2.3)、送显网络模块根据视频源A的显示位置与大小，把这桌面图像FB的YUV数据的去除视频源A的图像，去除方法采用对应像素的YUV数据清零即全黑色；YUV数据清零会减少单画面信息量与多画面的变化量，从而降低桌面图像FB的信息熵的值；
步骤(2.4)、送显网络模块重复步骤(2.2)与步骤(2.3)，依次在把桌面图像FB的YUV数据去除所有的视频源的图像；
步骤(2.5)、送显网络模块采用对去除视频源显示部分的桌面图像FB进行熵编码(如霍夫曼编码)压缩，去除掉视频源的图像影响。
作为优选方案：本发明中步骤(3)具体分为：
步骤(3.1)、采用RTP网络协议对桌面图像FB的编码后的数据进行RTP分包与打包；
步骤(3.2)、桌面图像FB的第一个RTP包携带所有视频源的位置与大小与视频源的RTP时间戳；设置RTP包头的填充位标志，填充字节为12字节×视频源个数；
步骤(3.3)、12字节的前四字节为视频源A图像的左上角的X1与Y1轴坐标，中间四字节为视频源A图像的长L1与宽W1，后四字节为视频源A的RTP时间戳；
步骤(3.4)、视频源A的RTP时间戳来源于本地解码模块，本地解码模块对视频源A视频流解码得到视频帧，并保存该视频帧对应RTP时间戳；
步骤(3.5)、视频源存在多个，按照视频源推送大屏上墙系统的顺序，依次写入填充字节。
作为优选方案：本发明中步骤(4)具体分为：
步骤(4.1)、接显网络模块接收桌面图像的RTP网络数据，解包与拼包得到一帧桌面图像FB的数据，使用熵解码，获得去除视频源显示部分的桌面图像FB的YUV数据(如1080P分辨率)；
步骤(4.2)、接显网络模块从上墙显示模块获取桌面图像FB上大屏显示的分辨率(如4K分辨率)；
步骤(4.3)、通过图像缩放算法(如三次卷积法)对应用桌面的YUV数据(如1080分辨率)放大到大屏上的显示分辨率(如4K分辨率)，得到桌面图像FB用于的大屏显示的YUV数据；
步骤(4.4)、上墙解码模块对视频源A视频流解码得到视频帧，并保存该视频帧对应RTP时间戳；
步骤(4.5)、接显网络模块获取从桌面图像FB的RTP的首包附属数据，获取视频源A图像的左上角的X1与Y1轴坐标、长L1与宽W1、RTP时间戳；
步骤(4.6)、接显网络模块根据视频源A的RTP时间戳从上墙解码模块获取视频帧YUV数据；
步骤(4.7)、接显网络模块根据桌面图像FB的放大倍率，对视频源A图像左上角X与Y轴坐标、长与宽进行放大，得到视频源A在大屏的图像左上角X2与Y2轴坐标、长L2与宽W2；
步骤(4.8)、接显网络模块视频源A的视频帧YUV数据(如分辨率1080P)使用图像缩放算法把图像缩放到在L2×W2(视频源A大屏显示的长L2与宽W2，如1080P)；
步骤(4.9)、接显网络模块把视频源A缩放后视频YUV数据填补到桌面图像FB的YUV数据的X2与Y2轴坐标为左上角对应YUV数据清零区；
步骤(4.10)、接显网络模块重复步骤(4.5)到步骤(4.9)，把所有视频源的图像都恢复到桌面图像FB的YUV数据；
步骤(4.11)、接显网络模块最终得到桌面图像FB完整并放大图像的YUV数据。
本发明还提供一种基于网络组合视频流桌面上墙投大屏方法的显示系统，包括应用客户端工作站的视频应用模块、应用客户端工作站的送显网络模块、应用客户端工作站的本地解码模块、大屏上墙系统的接显网络模块、大屏上墙系统的上墙解码模块、大屏上墙系统的上墙显示模块和视频源；其中，视频源向本地解码模块发送网络视频流的同时也向上墙解码模块发送网络视频流。送显网络模块在发送应用客户端桌面时，去除视频源显示部分，并携带视频源的位置大小与视频帧同步信息；接显网络模块接收客户端桌面的视频(如1080P分辨率)，通过图像插值方法对应用桌面的视频帧分辨率调到大屏上的显示分辨率(如4K分辨率)，并根据视频源的位置与视频帧同步信息把上墙解码模块的视频源的图像(如1080P分辨率)进行组合一个完整桌面图像(如4K分辨率),发送上墙显示模块，从而提高视频源在大屏的显示分辨率，提升大屏对视频源显示效果。
其中，上述内容中的部分名词解析如下：
RTP协议：RTP用来为IP网上的语音、图像等多种需要实时传输的多媒体数据提供端到端的实时传输服务，如下图所示：
RTP协议
RTP的时间戳：数据采样时刻，视频应用代表一帧图像。
RTP的填充位：用于RTP包尾部携带附属信息。
YUV：视频系统所采用的一种颜色编码方法
信息熵：是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。
与现有技术相比，本发明的有益效果如下：
采用本发明的技术方案，能够减少应用客户端桌面整体送大屏导致视频源(如监控摄像头)的像素损失问题，对视频的输出分辨率与墙上的大屏分辨率最大利用，达到最佳显示效果。有效地避免并解决了背景技术中所涉及的视频源的实际显示分辨率对最终显示效果影响巨大、严重降低最终显示效果等诸多问题。
附图说明
图1为背景技术中所涉及的功能结构示意图；
图2～3为本发明的整体功能结构示意图。
附图数字标注：视频应用模块(0)，应用客户端工作站的送显网络模块(1)，应用客户端工作站的本地解码模块(2)，大屏上墙系统的接显网络模块(3)，大屏上墙系统的上墙解码模块(4)，大屏上墙系统的上墙显示模块(5)，视频源(6)。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图2～3所示：本发明的第一个目的是提供一种基于网络组合视频流桌面上墙投大屏方法的显示系统，能够减少应用客户端桌面整体送大屏导致视频源(如监控摄像头)的像素损失问题，对视频的输出分辨率与墙上的大屏分辨率最大利用，达到最佳显示效果。
实现本发明第一个目的的技术方案是：一种基于网络组合视频流桌面上墙投大屏方法的显示系统包含应用客户端工作站的视频应用模块0，应用客户端工作站的送显网络模块1，应用客户端工作站的本地解码模块2，大屏上墙系统的接显网络模块3，大屏上墙系统的上墙解码模块4，大屏上墙系统的上墙显示模块5，视频源6。视频源6向本地解码模块2发送网络视频流的同时也向上墙解码模块4发送网络视频流。送显网络模块1在发送应用客户端桌面时，去除视频源6显示部分，并携带视频源6的位置大小与视频帧同步信息。接显网络模块接收客户端桌面的视频(如1080P分辨率)，通过图像插值方法对应用桌面的视频帧分辨率调到大屏上的显示分辨率(如4K分辨率)，并根据视频源6的位置与视频帧同步信息把上墙解码模块的视频源6的图像(如1080P分辨率)进行组合一个完整桌面图像(如4K分辨率),发送上墙显示模块5，从而提高视频源在大屏的显示分辨率，提升大屏对视频源6显示效果。
其中，名词解析：
RTP协议：RTP用来为IP网上的语音、图像等多种需要实时传输的多媒体数据提供端到端的实时传输服务。
RTP的时间戳：数据采样时刻，视频应用代表一帧图像。
RTP的填充位：用于RTP包尾部携带附属信息。
YUV：视频系统所采用的一种颜色编码方法。
信息熵：是消除不确定性所需信息量的度量，也即未知事件可能含有的信息量。
本发明的第二个目的是提供一种基于网络组合视频流桌面上墙投大屏方法，包括如下步骤：
1.送显网络模块1推送本地桌面到大屏上墙系统，依次通知在本地桌面显示的所有视频源6复制一股视频流给上墙解码模块。视频源6采用RTP网络协议传输视频流。
2.送显网络模块1获取一帧桌面图像FB，并在桌面图像FB去除视频源6的图像。
2.1送显网络模块1把获取一帧桌面图像FB的YUV数据。
2.2送显网络模块1向视频应用模块0获取视频源A(6A)的显示位置与大小
2.3送显网络模块1根据视频源A(6A)的显示位置与大小，把这桌面图像FB的YUV
数据的去除视频源A(6A)的图像，去除方法采用对应像素的YUV数据清零即全黑色。
YUV数据清零会减少单画面信息量与多画面的变化量，从而降低桌面图像FB的信息熵
的值。
2.4送显网络模块1重复2.2与2.3步骤，依次在把桌面图像FB的YUV数据去除所
有的视频源6的图像。
2.5送显网络模块1采用对去除视频源6显示部分的桌面图像FB进行熵编码(如霍
夫曼编码)压缩，去除掉视频源6的图像影响。
3.送显网络模块1向接显网络模块3发送桌面图像FB的编码后数据、视频源6位置与视频帧同步信息
3.1采用RTP网络协议对桌面图像FB的编码后的数据进行RTP分包与打包。
3.2桌面图像FB的第一个RTP包携带所有视频源6的位置与大小与视频源的RTP时
间戳。设置RTP包头的填充位标志，填充字节为12字节×视频源6个数。
3.3 12字节的前四字节为视频源A(6A)图像的左上角的X1与Y1轴坐标，中间四字节为视频源A(6A)图像的长L1与宽W1，后四字节为视频源A(6A)的RTP时间戳。
3.4视频源A(6A)的RTP时间戳来源于本地解码模块2，本地解码模块2对视频源A(6A)视频流解码得到视频帧，并保存该视频帧对应RTP时间戳。
3.5视频源6存在多个，按照视频源6推送大屏上墙系统的顺序，依次写入填充字节。
4.接显网络模块3接收网络数据与上墙解码模块生成视频源6的YUV数据进行组合生成一个完整并放大桌面图像。
4.1接显网络模块3接收桌面图像的RTP网络数据，解包与拼包得到一帧桌面图像FB的数据，使用熵解码，获得去除视频源6显示部分的桌面图像FB的YUV数据(如1080P分辨率)。
4.2接显网络模块3从上墙显示模块5获取桌面图像FB上大屏显示的分辨率(如4K分辨率)。
4.3通过图像缩放算法(如三次卷积法)对应用桌面的YUV数据(如1080分辨率)放大到大屏上的显示分辨率(如4K分辨率)，得到桌面图像FB用于的大屏显示的YUV数据。
4.4上墙解码模块4对视频源A(6A)视频流解码得到视频帧，并保存该视频帧对应RTP时间戳。
4.5接显网络模块3获取从桌面图像FB的RTP的首包附属数据，获取视频源A(6A)图像的左上角的X1与Y1轴坐标、长L1与宽W1、RTP时间戳。
4.6接显网络模块3根据视频源A(6A)的RTP时间戳从上墙解码模块4获取视频帧YUV数据。
4.7接显网络模块3根据桌面图像FB的放大倍率，对视频源A(6A)图像左上角X与Y轴坐标、长与宽进行放大，得到视频源A(6A)在大屏的图像左上角X2与Y2轴坐标、长L2与宽W2。
4.8接显网络模块3视频源A(6A)的视频帧YUV数据(如分辨率1080P)使用图像缩放算法把图像缩放到在L2×W2(视频源A(6A)大屏显示的长L2与宽W2，如1080P)。
4.9接显网络模块3把视频源A(6A)缩放后视频YUV数据填补到桌面图像FB的YUV数据的X2与Y2轴坐标为左上角对应YUV数据清零区。
4.10接显网络模块3重复4.5到4.9步骤，把所有视频源6的图像都恢复到桌面图像FB的YUV数据.
4.11接显网络模块3最终得到桌面图像FB完整并放大图像的YUV数据
5.接显网络模块3把桌面图像FB最终桌面图像FB给上墙显示模块3，上墙显示模块3把桌面图像FB的YUV数据进行对点对点渲染显示。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于网络组合视频流桌面上墙投大屏方法，其特征在于，包括如下步骤：
步骤(1)：送显网络模块(1)推送本地桌面到大屏上墙系统，依次通知在本地桌面显示的所有视频源(6)复制一股视频流给上墙解码模块；视频源(6)采用RTP网络协议传输视频流；
步骤(2)：送显网络模块(1)获取一帧桌面图像FB，并在桌面图像FB去除视频源(6)的图像；
步骤(3)：送显网络模块(1)向接显网络模块(3)发送桌面图像FB的编码后数据、视频源(6)位置与视频帧同步信息；
步骤(4)：接显网络模块(3)接收网络数据与上墙解码模块生成视频源(6)的YUV数据进行组合生成一个完整并放大桌面图像；
步骤(5)：接显网络模块(3)把桌面图像FB最终桌面图像FB给上墙显示模块(3)，上墙显示模块(3)把桌面图像FB的YUV数据进行对点对点渲染显示。
2.根据权利要求1中所述的基于网络组合视频流桌面上墙投大屏方法，其特征在于，步骤(2)具体分为：
步骤(2.1)、送显网络模块(1)把获取一帧桌面图像FB的YUV数据；
步骤(2.2)、送显网络模块(1)向视频应用模块(0)获取视频源A(6A)的显示位置与大小；
步骤(2.3)、送显网络模块(1)根据视频源A(6A)的显示位置与大小，把这桌面图像FB的YUV数据的去除视频源A(6A)的图像，去除方法采用对应像素的YUV数据清零即全黑色；YUV数据清零会减少单画面信息量与多画面的变化量，从而降低桌面图像FB的信息熵的值；
步骤(2.4)、送显网络模块(1)重复步骤(2.2)与步骤(2.3)，依次在把桌面图像FB的YUV数据去除所有的视频源(6)的图像；
步骤(2.5)、送显网络模块(1)采用对去除视频源(6)显示部分的桌面图像FB进行熵编码压缩，去除掉视频源(6)的图像影响。
3.根据权利要求1中所述的基于网络组合视频流桌面上墙投大屏方法，其特征在于，步骤(3)具体分为：
步骤(3.1)、采用RTP网络协议对桌面图像FB的编码后的数据进行RTP分包与打包；
步骤(3.2)、桌面图像FB的第一个RTP包携带所有视频源(6)的位置与大小与视频源的RTP时间戳；设置RTP包头的填充位标志，填充字节为12字节×视频源(6)个数；
步骤(3.3)、12字节的前四字节为视频源A(6A)图像的左上角的X1与Y1轴坐标，中间四字节为视频源A(6A)图像的长L1与宽W1，后四字节为视频源A(6A)的RTP时间戳；
步骤(3.4)、视频源A(6A)的RTP时间戳来源于本地解码模块(2)，本地解码模块(2)对视频源A(6A)视频流解码得到视频帧，并保存该视频帧对应RTP时间戳；
步骤(3.5)、视频源(6)存在多个，按照视频源(6)推送大屏上墙系统的顺序，依次写入填充字节。
4.根据权利要求1中所述的基于网络组合视频流桌面上墙投大屏方法，其特征在于，步骤(4)具体分为：
步骤(4.1)、接显网络模块(3)接收桌面图像的RTP网络数据，解包与拼包得到一帧桌面图像FB的数据，使用熵解码，获得去除视频源(6)显示部分的桌面图像FB的YUV数据；
步骤(4.2)、接显网络模块(3)从上墙显示模块(5)获取桌面图像FB上大屏显示的分辨率；
步骤(4.3)、通过图像缩放算法对应用桌面的YUV数据放大到大屏上的显示分辨率，得到桌面图像FB用于的大屏显示的YUV数据；
步骤(4.4)、上墙解码模块(4)对视频源A(6A)视频流解码得到视频帧，并保存该视频帧对应RTP时间戳；
步骤(4.5)、接显网络模块(3)获取从桌面图像FB的RTP的首包附属数据，获取视频源A(6A)图像的左上角的X1与Y1轴坐标、长L1与宽W1、RTP时间戳；
步骤(4.6)、接显网络模块(3)根据视频源A(6A)的RTP时间戳从上墙解码模块(4)获取视频帧YUV数据；
步骤(4.7)、接显网络模块(3)根据桌面图像FB的放大倍率，对视频源A(6A)图像左上角X与Y轴坐标、长与宽进行放大，得到视频源A(6A)在大屏的图像左上角X2与Y2轴坐标、长L2与宽W2；
步骤(4.8)、接显网络模块(3)视频源A(6A)的视频帧YUV数据使用图像缩放算法把图像缩放到在视频源A(6A)大屏显示L2×W2；
步骤(4.9)、接显网络模块(3)把视频源A(6A)缩放后视频YUV数据填补到桌面图像FB的YUV数据的X2与Y2轴坐标为左上角对应YUV数据清零区；
步骤(4.10)、接显网络模块(3)重复步骤(4.5)到步骤(4.9)，把所有视频源(6)的图像都恢复到桌面图像FB的YUV数据；
步骤(4.11)、接显网络模块(3)最终得到桌面图像FB完整并放大图像的YUV数据。
5.基于网络组合视频流桌面上墙投大屏方法的显示系统，其特征在于，包括应用客户端工作站的视频应用模块(0)、应用客户端工作站的送显网络模块(1)、应用客户端工作站的本地解码模块(2)、大屏上墙系统的接显网络模块(3)、大屏上墙系统的上墙解码模块(4)、大屏上墙系统的上墙显示模块(5)和视频源(6)；其中，视频源(6)向本地解码模块(2)发送网络视频流的同时也向上墙解码模块(4)发送网络视频流。送显网络模块(1)在发送应用客户端桌面时，去除视频源(6)显示部分，并携带视频源(6)的位置大小与视频帧同步信息；接显网络模块接收客户端桌面的视频，通过图像插值方法对应用桌面的视频帧分辨率调到大屏上的显示分辨率，并根据视频源(6)的位置与视频帧同步信息把上墙解码模块的视频源(6)的图像进行组合一个完整桌面图像,发送上墙显示模块(5)，从而提高视频源在大屏的显示分辨率，提升大屏对视频源(6)显示效果。
CN201810024707.4A 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统 Active CN108259993B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810024707.4A CN108259993B (zh) 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810024707.4A CN108259993B (zh) 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统

Publications (2)

Publication Number Publication Date
CN108259993A true CN108259993A (zh) 2018-07-06
CN108259993B CN108259993B (zh) 2021-01-01

Family

ID=62726375

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810024707.4A Active CN108259993B (zh) 2018-01-11 2018-01-11 基于网络组合视频流桌面上墙投大屏方法及其显示系统

Country Status (1)

Country Link
CN (1) CN108259993B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381350A (zh) * 2019-06-25 2019-10-25 杭州叙简科技股份有限公司 基于webrtc的多路录像回放同步系统及其处理方法
CN111538468A (zh) * 2020-04-27 2020-08-14 威创集团股份有限公司 一种可视化界面的操控方法及系统
CN114302086A (zh) * 2021-12-24 2022-04-08 威创集团股份有限公司 显示墙全屏超高分辨率画面录制与回放方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154150A (zh) * 2006-09-27 2008-04-02 联想(北京)有限公司 获取计算机屏幕图像的方法
CN101984402A (zh) * 2010-11-16 2011-03-09 广东威创视讯科技股份有限公司 一种图像采集和压缩方法及相关装置
US20130141517A1 (en) * 2011-12-06 2013-06-06 Aastra Technologies Limited Collaboration system & method
CN104020968A (zh) * 2013-02-28 2014-09-03 中兴通讯股份有限公司 控制共享屏幕显示的方法及装置
CN105072189A (zh) * 2015-08-18 2015-11-18 广东威创视讯科技股份有限公司 一种桌面区域共享方法及系统
CN107465941A (zh) * 2017-09-07 2017-12-12 北京奇艺世纪科技有限公司 一种桌面共享视频播放方法、系统和计算机系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101154150A (zh) * 2006-09-27 2008-04-02 联想(北京)有限公司 获取计算机屏幕图像的方法
CN101984402A (zh) * 2010-11-16 2011-03-09 广东威创视讯科技股份有限公司 一种图像采集和压缩方法及相关装置
US20130141517A1 (en) * 2011-12-06 2013-06-06 Aastra Technologies Limited Collaboration system & method
CN104020968A (zh) * 2013-02-28 2014-09-03 中兴通讯股份有限公司 控制共享屏幕显示的方法及装置
CN105072189A (zh) * 2015-08-18 2015-11-18 广东威创视讯科技股份有限公司 一种桌面区域共享方法及系统
CN107465941A (zh) * 2017-09-07 2017-12-12 北京奇艺世纪科技有限公司 一种桌面共享视频播放方法、系统和计算机系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381350A (zh) * 2019-06-25 2019-10-25 杭州叙简科技股份有限公司 基于webrtc的多路录像回放同步系统及其处理方法
CN111538468A (zh) * 2020-04-27 2020-08-14 威创集团股份有限公司 一种可视化界面的操控方法及系统
CN114302086A (zh) * 2021-12-24 2022-04-08 威创集团股份有限公司 显示墙全屏超高分辨率画面录制与回放方法、装置及系统
CN114302086B (zh) * 2021-12-24 2023-04-21 威创集团股份有限公司 显示墙全屏超高分辨率画面录制与回放方法、装置及系统

Also Published As

Publication number Publication date
CN108259993B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN101668160B (zh) 视频图像数据处理方法、装置及视频会议系统及终端
CN110022297B (zh) 一种高清视频直播系统
US8179420B2 (en) Minimal decoding method for spatially multiplexing digital video pictures
CN108259993A (zh) 基于网络组合视频流桌面上墙投大屏方法及其显示系统
KR20090126176A (ko) 정보 처리 장치 및 방법과, 프로그램
CN102204257A (zh) 低延迟视频编码器
CN111339015B (zh) 一种控制指令传输方法、系统及设备
WO2012006919A1 (zh) 远程呈现的字幕传输方法、终端及系统
CN104243920A (zh) 一种基于基本流视频数据封装的图像拼接方法及装置
CN101478661A (zh) 一种在视频流中提供高质量字幕叠加的系统和方法
CN100473163C (zh) 动静态混合画面的投影方法和投影系统
CN110958431A (zh) 多路视频压缩后传系统及方法
US20240163502A1 (en) Transmission apparatus, transmission method, encoding apparatus, encoding method, reception apparatus, and reception method
CN109729299A (zh) 一种超高清视频的发送、接收方法和装置
CN103686056B (zh) 会议终端及该会议终端的视频处理方法
CN114584737A (zh) 一种云会议中实时多人同场景自定义的方法与系统
KR102153611B1 (ko) 멀티미디어 시스템 정보 교환 메카니즘 및 네트워크 전송 방법
CN103957391A (zh) 在可视对讲中多方通话时同时显示各方视频的方法及系统
CN102685415A (zh) 一种视频画面处理方法、系统、设备及终端
US11748915B2 (en) VR image compression transmission method and system
CN102843566A (zh) 一种3d视频数据的通讯方法和设备
EP4416929A1 (en) A method, an apparatus and a computer program product for video coding
CN105979182B (zh) 一种osd信息编码方法及编码装置
CN115103228A (zh) 视频流传输方法、装置、电子设备、存储介质及产品
KR20020015219A (ko) 영상회의 시스템에서의 영상 전송 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method for projecting large screen on wall of desktop based on network combined video stream and its display system

Effective date of registration: 20211202

Granted publication date: 20210101

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20220322

Granted publication date: 20210101

Pledgee: Hangzhou High-tech Financing Guarantee Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2021980013922

PC01 Cancellation of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Method for projecting large screen on wall of desktop based on network combined video stream and its display system

Effective date of registration: 20220322

Granted publication date: 20210101

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162

PE01 Entry into force of the registration of the contract for pledge of patent right
PC01 Cancellation of the registration of the contract for pledge of patent right

Date of cancellation: 20230131

Granted publication date: 20210101

Pledgee: Shanghai Guotai Junan Securities Asset Management Co.,Ltd.

Pledgor: HANGZHOU XUJIAN SCIENCE AND TECHNOLOGY Co.,Ltd.

Registration number: Y2022990000162

PC01 Cancellation of the registration of the contract for pledge of patent right