CN112422994A - 一种网络电视直播系统及方法 - Google Patents

一种网络电视直播系统及方法 Download PDF

Info

Publication number
CN112422994A
CN112422994A CN202011174290.3A CN202011174290A CN112422994A CN 112422994 A CN112422994 A CN 112422994A CN 202011174290 A CN202011174290 A CN 202011174290A CN 112422994 A CN112422994 A CN 112422994A
Authority
CN
China
Prior art keywords
module
video
image
live broadcast
streaming media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011174290.3A
Other languages
English (en)
Inventor
陈明
管毅鸿
周玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Humpback Network Technology Co ltd
Original Assignee
Suzhou Humpback Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Humpback Network Technology Co ltd filed Critical Suzhou Humpback Network Technology Co ltd
Priority to CN202011174290.3A priority Critical patent/CN112422994A/zh
Publication of CN112422994A publication Critical patent/CN112422994A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及网络电视直播技术领域，具体地说，涉及一种网络电视直播系统及方法，系统中的视频采集模块分别与图像拼接模块、音频处理模块连接，图像拼接模块与图像融合模块连接，图像融合模块与图像平滑模块连接，图像平滑模块、音频处理模块均与网络直播流编码模块连接，网络直播流编码模块与流媒体收录服务器连接，流媒体收录服务器与流媒体传输服务器连接，流媒体传输服务器与接收终端连接；本发明能够对采集的视频和音频进行优化处理，直播质量高，而且实现直播地点360°全景网络电视直播，使人们获得更佳的直播观看体验。

Description

一种网络电视直播系统及方法
技术领域
本发明涉及网络电视直播技术领域，具体地说，涉及一种网络电视直播系统及方法。
背景技术
我国广电行业经历了模拟电视到数字电视的转变，伴随着互联网的飞速发展，也进入网络时代。经过几十年的发展，各省市电视台都积累了丰富的内容资源，这其中包括视频、音频、图片、文字等。而大众对内容的消费也从最初时的听广播看报纸看电视等被动接收方式，到开始利用网络来主动获取与自己最相关最感兴趣的内容消息。同时信息传播的载体也从纸张、收音机、电视机，扩大到电脑、手机、移动电视等更多地渠道。消费者有着越来越多的自主权，也就意味着我们的媒体行业有必要也必须把握历史的机遇，在这场变革中充分利用自身优势，选择新的运营模式，抢占市场先机。
目前流媒体视频常用技术主要为微软公司Windows mediaServer和Adobe公司Media Server两大阵营，播放器分别基于windows media player和flash player。虽然技术比较成熟，但是，目前的网络电视直播仅能直播单一场景，难以满足人们的需求。
而且，随着高清视频格式的广泛应用，网络视频对视频内容的质量、清晰度和观看流畅程度也提出了更高的要求。
发明内容
本发明的内容是提供一种网络电视直播系统及方法，其能够克服现有技术的某种或某些缺陷。
根据本发明的一种网络电视直播系统，其包括：
视频采集模块，数量有6个，用于采集直播地点的360°全景视频和音频；
图像拼接模块，用于将全景视频进行图像拼接；
图像融合模块，用于将拼接后的视频图像进行柱面映射得到视点图，然后将视点图进行融合；
图像平滑模块，用于对边缘区域进行平滑过渡；
音频处理模块，用于对音频进行降噪处理；
网络直播流编码模块，用于压缩视频和音频，并将视频和音频编码并生成流媒体直播文件；
流媒体收录服务器，用于将流媒体直播文件进行流切片缓存；
流媒体传输服务器，用于将流媒体直播文件进行实时传输；
接收终端，用于接收流媒体直播文件并将流媒体直播文件进行分离解码，并消除解码后视频中图像边缘帧数的多余像素；
视频采集模块分别与图像拼接模块、音频处理模块连接，图像拼接模块与图像融合模块连接，图像融合模块与图像平滑模块连接，图像平滑模块、音频处理模块均与网络直播流编码模块连接，网络直播流编码模块与流媒体收录服务器连接，流媒体收录服务器与流媒体传输服务器连接，流媒体传输服务器与接收终端连接。
作为优选，视频采集模块为摄像机。
作为优选，6个视频采集模块呈六边形分布，摄像机的拍摄角度为100-120°。
作为优选，网络直播流编码模块包括视频流编码模块和音频流编码模块。
本发明还提供了一种网络电视直播方法，其包括以下步骤：
一、6个视频采集模块对拍摄地点进行360°全景视频和音频采集；
二、对全景视频进行图像拼接；
三、对拼接后的图像进行图像融合；
四、对融合后的图像件平滑过渡；
五、对音频进行处理；
六、将处理后的视频和音频进行压缩编码并生成流媒体直播文件；
七、将流媒体直播文件进行流切片缓存；
八、将流媒体直播文件进行实时传输到接收终端；
九、接收终端将流媒体直播文件进行分离解码，并消除解码后视频中图像边缘帧数的多余像素，并通过播放器来播放视频。
作为优选，步骤二中，拼接过程为：对视频的第一帧图像进行特征匹配，通过匹配得到的变换矩阵来完成后续视频帧的图像拼接工作。
作为优选，步骤六中，编码过程中，先提取出相应的视频和音频数据，然后进行注册相应的FFMpeg部件并设置好格式实现编码的初始化，接着利用FFMpeg库中的编码函数和数据结构件编码，最后让编码好的视频和音频放入网络直播的输出流中。
本发明能够对采集的视频和音频进行优化处理，直播质量高，而且实现直播地点360°全景网络电视直播，使人们获得更佳的直播观看体验。
附图说明
图1为实施例1中一种网络电视直播系统的结构框图。
具体实施方式
为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
实施例1
如图1所示，本实施例提供了一种网络电视直播系统，其包括：
视频采集模块，数量有6个，用于采集直播地点的360°全景视频和音频；
图像拼接模块，用于将全景视频进行图像拼接；
图像融合模块，用于将拼接后的视频图像进行柱面映射得到视点图，然后将视点图进行融合；
图像平滑模块，用于对边缘区域进行平滑过渡；这样使最终得到的全景视频图像更加真实；
音频处理模块，用于对音频进行降噪处理；
网络直播流编码模块，用于压缩视频和音频，并将视频和音频编码并生成流媒体直播文件；
流媒体收录服务器，用于将流媒体直播文件进行流切片缓存；
流媒体传输服务器，用于将流媒体直播文件进行实时传输；
接收终端，用于接收流媒体直播文件并将流媒体直播文件进行分离解码，并消除解码后视频中图像边缘帧数的多余像素；
视频采集模块分别与图像拼接模块、音频处理模块连接，图像拼接模块与图像融合模块连接，图像融合模块与图像平滑模块连接，图像平滑模块、音频处理模块均与网络直播流编码模块连接，网络直播流编码模块与流媒体收录服务器连接，流媒体收录服务器与流媒体传输服务器连接，流媒体传输服务器与接收终端连接。
本实施例中，视频采集模块为摄像机。
本实施例中，6个视频采集模块呈六边形分布，摄像机的拍摄角度为100-120°。
本实施例中，网络直播流编码模块包括视频流编码模块和音频流编码模块。
本实施例还提供了一种网络电视直播方法，其包括以下步骤：
一、6个视频采集模块对拍摄地点进行360°全景视频和音频采集；
二、对全景视频进行图像拼接；
三、对拼接后的图像进行图像融合；
四、对融合后的图像件平滑过渡；
五、对音频进行处理；
六、将处理后的视频和音频进行压缩编码并生成流媒体直播文件；
七、将流媒体直播文件进行流切片缓存；
八、将流媒体直播文件进行实时传输到接收终端；
九、接收终端将流媒体直播文件进行分离解码，并消除解码后视频中图像边缘帧数的多余像素，并通过播放器来播放视频。
步骤二中，拼接过程为：对视频的第一帧图像进行特征匹配，通过匹配得到的变换矩阵来完成后续视频帧的图像拼接工作。这样减小了拼接时间。
步骤六中，编码过程中，先提取出相应的视频和音频数据，然后进行注册相应的FFMpeg部件并设置好格式实现编码的初始化，接着利用FFMpeg库中的编码函数和数据结构件编码，最后让编码好的视频和音频放入网络直播的输出流中。
本实施例能够对采集的视频和音频进行优化处理，直播质量高，而且实现直播地点360°全景网络电视直播，使人们获得更佳的直播观看体验。
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

Claims (7)

1.一种网络电视直播系统，其特征在于：包括：
视频采集模块，数量有6个，用于采集直播地点的360°全景视频和音频；
图像拼接模块，用于将全景视频进行图像拼接；
图像融合模块，用于将拼接后的视频图像进行柱面映射得到视点图，然后将视点图进行融合；
图像平滑模块，用于对边缘区域进行平滑过渡；
音频处理模块，用于对音频进行降噪处理；
网络直播流编码模块，用于压缩视频和音频，并将视频和音频编码并生成流媒体直播文件；
流媒体收录服务器，用于将流媒体直播文件进行流切片缓存；
流媒体传输服务器，用于将流媒体直播文件进行实时传输；
接收终端，用于接收流媒体直播文件并将流媒体直播文件进行分离解码，并消除解码后视频中图像边缘帧数的多余像素；
视频采集模块分别与图像拼接模块、音频处理模块连接，图像拼接模块与图像融合模块连接，图像融合模块与图像平滑模块连接，图像平滑模块、音频处理模块均与网络直播流编码模块连接，网络直播流编码模块与流媒体收录服务器连接，流媒体收录服务器与流媒体传输服务器连接，流媒体传输服务器与接收终端连接。
2.根据权利要求1所述的一种网络电视直播系统，其特征在于：视频采集模块为摄像机。
3.根据权利要求2所述的一种网络电视直播系统，其特征在于：6个视频采集模块呈六边形分布，摄像机的拍摄角度为100-120°。
4.根据权利要求3所述的一种网络电视直播系统，其特征在于：网络直播流编码模块包括视频流编码模块和音频流编码模块。
5.一种网络电视直播方法，其特征在于：包括以下步骤：
一、6个视频采集模块对拍摄地点进行360°全景视频和音频采集；
二、对全景视频进行图像拼接；
三、对拼接后的图像进行图像融合；
四、对融合后的图像件平滑过渡；
五、对音频进行处理；
六、将处理后的视频和音频进行压缩编码并生成流媒体直播文件；
七、将流媒体直播文件进行流切片缓存；
八、将流媒体直播文件进行实时传输到接收终端；
九、接收终端将流媒体直播文件进行分离解码，并消除解码后视频中图像边缘帧数的多余像素，并通过播放器来播放视频。
6.根据权利要求5所述的一种网络电视直播方法，其特征在于：步骤二中，拼接过程为：对视频的第一帧图像进行特征匹配，通过匹配得到的变换矩阵来完成后续视频帧的图像拼接工作。
7.根据权利要求6所述的一种网络电视直播方法，其特征在于：步骤六中，编码过程中，先提取出相应的视频和音频数据，然后进行注册相应的FFMpeg部件并设置好格式实现编码的初始化，接着利用FFMpeg库中的编码函数和数据结构件编码，最后让编码好的视频和音频放入网络直播的输出流中。
CN202011174290.3A 2020-10-28 2020-10-28 一种网络电视直播系统及方法 Pending CN112422994A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011174290.3A CN112422994A (zh) 2020-10-28 2020-10-28 一种网络电视直播系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011174290.3A CN112422994A (zh) 2020-10-28 2020-10-28 一种网络电视直播系统及方法

Publications (1)

Publication Number Publication Date
CN112422994A true CN112422994A (zh) 2021-02-26

Family

ID=74840293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011174290.3A Pending CN112422994A (zh) 2020-10-28 2020-10-28 一种网络电视直播系统及方法

Country Status (1)

Country Link
CN (1) CN112422994A (zh)

Similar Documents

Publication Publication Date Title
CN111580765B (zh) 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备
CN106992959B (zh) 一种3d全景音视频直播系统及音视频采集方法
RU2479937C2 (ru) Устройство и способ обработки информации
KR101377021B1 (ko) 부호화 장치 및 방법, 복호 장치 및 방법, 및 전송 시스템
US20130022116A1 (en) Camera tap transcoder architecture with feed forward encode data
US20070230586A1 (en) Encoding, decoding and transcoding of audio/video signals using combined parallel and serial processing techniques
US9601156B2 (en) Input/output system for editing and playing ultra-high definition image
CN101009803A (zh) 高清视频传输系统及方法
JP6095659B2 (ja) 送信装置、受信装置およびその送受信方法
US20200228837A1 (en) Media information processing method and apparatus
CN110662086A (zh) 一种5g高清直播系统及视频处理方法
CN101237583B (zh) 一种实现多分屏的编解码方法和装置
CN111083311A (zh) 一种无人机机载多路视频与pos数据的同步系统与方法
US20110085023A1 (en) Method And System For Communicating 3D Video Via A Wireless Communication Link
CN112003875A (zh) 一种视讯焦点内容传输系统及方法
CN112422994A (zh) 一种网络电视直播系统及方法
US20110142123A1 (en) Picture coding method, picture decoding method, picture coding apparatus, picture decoding apparatus, and program thereof
CN104185033A (zh) 一种电视多画面的处理方法、装置及系统
CN114640882B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
Itakura et al. JPEG-XS codec adapted to 8K and ST 2110
CN112261441A (zh) 一种视频数据的处理方法、系统、设备及存储介质
US20040179136A1 (en) Image transmission system and method thereof
CN115052170B (zh) 一种基于sei时码信息的云上导播方法及装置
US20240087170A1 (en) Method for multiview picture data encoding, method for multiview picture data decoding, and multiview picture data decoding device
Bi et al. 8K Ultra HD TV broadcast system: challenge, architecture and implementation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210226