CN110446081A - 一种视频处理方法、装置及系统 - Google Patents
一种视频处理方法、装置及系统 Download PDFInfo
- Publication number
- CN110446081A CN110446081A CN201910834493.1A CN201910834493A CN110446081A CN 110446081 A CN110446081 A CN 110446081A CN 201910834493 A CN201910834493 A CN 201910834493A CN 110446081 A CN110446081 A CN 110446081A
- Authority
- CN
- China
- Prior art keywords
- video
- code rate
- media server
- coded treatment
- stream data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 92
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 230000008569 process Effects 0.000 claims description 36
- 230000005540 biological transmission Effects 0.000 claims description 30
- 230000000750 progressive effect Effects 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 4
- 238000005194 fractionation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000004891 communication Methods 0.000 abstract description 2
- 230000011664 signaling Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
- H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种视频处理方法、装置及系统，涉及通信技术领域，该方法包括：当视频采集终端接收到视频采集指示时，获取视频采集指示中携带的资源信息；采集与资源信息匹配的视频流数据；对视频流数据进行渐进增加码率的编码处理，生成视频数据包；将视频数据包传输至媒体服务器。本发明提供的视频处理方法、装置及系统，通过视频采集终端接收视频采集指示并获取其携带的资源信息，采集与资源信息相对应的视频流数据，对该视频流数据进行渐进增加码率的编码处理，生成数据包，并将该数据包传输至媒体服务器，有助于用户快速获取视频画面，同时，采用渐进增加码率的编码处理方式，能够使用户逐步获取到清晰的画面，提升了用户体验度。
Description
技术领域
本发明涉及通信领域，尤其是涉及一种视频处理方法、装置及系统。
背景技术
随着宽带无线网络技术的发展，视频业务得到了快速发展，在这些业务中，对于视频的快速接入、实时传输的要求均有不同。比如：视频点播对于快速接入和实时性要求较低，而视频会议对于快速接入和视频实时性要求较高。而应急视频业务是一种着眼于公共安全、应急处置场景下的特殊视频业务，如：移动视频监控、视频调阅和回传等，在极端情况下关系到生命安全。这种应用场景下对于视频接入时延(秒级)、端到端视频传输时延(百毫秒级)提出了更高的要求。现有技术中，在应急处置场景下，往往面临着网络拥塞的问题，导致视频接入慢、视频传输时延较大，影响了应急视频的正常传输，从而导致安全性问题。
针对上述网络堵塞导致影响应急视频的正常传输问题，目前尚未提出有效的解决方案。
发明内容
有鉴于此，本发明的目的在于提供一种视频处理方法、装置及系统，以解决上述的技术问题。
第一方面，本发明实施例提供了一种视频处理方法，该方法应用于视频采集终端，包括：当接收到视频采集指示时，获取视频采集指示中携带的资源信息；采集与资源信息匹配的视频流数据，对视频流数据进行渐进增加码率的编码处理，生成视频数据包；将视频数据包传输至媒体服务器。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述对视频流数据进行渐进增加码率的编码处理的步骤包括：提取视频流数据的视频参数，视频参数包括以下参数中的一种或多种：帧率、分辨率和清晰度；在预先存储的视频参数与码率的对应关系中查找视频参数匹配的渐进码率集合，其中，该渐进码率集合包括多个码率，多个码率按照指定码率间隔从低到高进行排列；依次按照渐进码率集合中的多个码率对视频流数据进行编码处理。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述依次按照渐进码率集合中的多个码率对视频流数据进行编码处理的步骤包括：获取渐进码率集合中的首个码率，首个码率为渐进码率集合中最低的码率，按照首个码率对视频流数据进行编码处理，当按照首个码率进行编码处理的时间间隔达到指定时间间隔时，依次获取相邻的下一个码率，按照指定时间间隔对视频流数据进行编码处理；当获取到渐进码率集合中的最大码率时，持续按照最大码率对视频流数据进行编码处理。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述将视频数据包传输至媒体服务器的步骤包括：按照预先设置的视频报文方式对视频数据包进行拆分；将拆分后的视频数据包传输至媒体服务器，其中，预先设置的视频报文包括TCP报文或者UDP报文。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述方法还包括：监听视频数据包传输过程中的RTCP信息，根据RTCP信息对视频流数据的编码处理过程进行调整。
第二方面，本发明实施例还提供一种视频处理方法，该方法应用于媒体服务器，包括：当监听到视频接收终端的接入消息时，对缓存的视频帧数据进行渐进增加码率的编码处理，将编码处理的视频帧数据发送至视频接收终端。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述方法还包括：当监测到视频采集终端传输视频数据包时，启动资源端口，通过资源端口接收视频数据包；对接收的视频数据包进行解码处理，形成视频帧数据；对视频帧数据进行缓存。
第三方面，本发明实施例还提供一种视频处理装置，该装置设置于视频采集终端，包括：获取模块，用于当接收到视频采集指示时，获取视频采集指示中携带的资源信息；采集模块，用于采集与资源信息匹配的视频流数据；第一编码模块，用于对视频流数据进行渐进增加码率的编码处理，生成视频数据包；传输模块，用于将视频数据包传输至媒体服务器。
第四方面，本发明实施例还提供一种视频处理装置，该装置设置于媒体服务器，该装置包括：第二编码模块，用于当监听到视频接收终端的接入消息时，对缓存的视频帧数据进行渐进增加码率的编码处理；发送模块，用于将编码处理的视频帧数据发送至视频接收终端。
第五方面，本发明实施例还提供一种视频处理系统，包括：视频采集终端、媒体服务器和视频接收终端，视频采集终端、视频接收终端均与媒体服务器通信连接，其中，视频采集终端设置有上述第三方面所述的视频处理装置；媒体服务器设置有上述第四方面所述的视频处理装置。
本发明实施例所提供的视频处理方法、装置及系统，通过视频采集终端接收视频采集指示并获取其携带的资源信息，采集与资源信息相对应的视频流数据，对该视频流数据进行渐进增加码率的编码处理，生成数据包，并将该数据包传输至媒体服务器，有助于用户快速获取视频画面，同时，采用渐进增加码率的编码处理方式，能够使用户逐步获取到清晰的画面，提升了用户体验度。
进一步，本发明实施例所提供的视频处理方法、装置及系统，通过媒体服务器监听视频接收终端的接入消息，并对缓冲的视频帧数据进行渐进增加码率的编码处理，将编码处理后的视频帧数据发送到视频接收终端，使视频接收终端能够快速接入获取到视频数据，同时，渐进增加码率的编码处理方式，能够在视频发送过程中降低网络丢包率，有助于提升抗抖动程度，提高视频接收终端的接入速度，进一步提升了用户的体验度。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频处理方法的流程图；
图2为本发明实施例提供的另一种视频处理方法的流程图；
图3为本发明实施例提供的另一种视频处理方法的流程图；
图4为本发明实施例提供的一种视频处理装置的结构框图；
图5为本发明实施例提供的另一种视频处理装置的结构框图；
图6为本发明实施例提供的一种视频处理系统的结构框图；
图7为本发明实施例提供的一种视频处理系统的交互示意图。
图标：40-获取模块；42-采集模块；44-第一编码模块；46-传输模块；50-第二编码模块；52-发送模块；60-视频采集终端；62-媒体服务器；64-视频接收终端。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，由于网络的拥堵，往往会导致视频接入的时延增大，出现网络丢包、抖动的问题，特别是在应急处置场景下，往往面临着网络堵塞，使可用网络宽带降低，时延增大，在视频快速接入和实时性方面会面临更大的挑战，极端情况下甚至无法正常传输视频。基于此，本发明实施例提供了一种视频处理方法、装置以及系统，下面通过实施例进行描述。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种视频处理方法进行详细介绍。
实施例一：
本发明实施例提供了一种视频处理方法，该方法应用于视频采集终端，
参见图1所示的一种视频处理方法的流程图，该方法包括如下步骤：
步骤S102，当接收到视频采集指示时，获取视频采集指示中携带的资源信息。
其中，视频采集终端可以为带有摄像功能的仪器设备，包括手机、电脑、摄像头等智能设备，可以是手持终端，也可以是专用模块终端，作为视频前端模块，负责前端信令协商以及视频采集、编码和发送等功能。
通常，上述视频采集指示是视频接收终端发送的视频采集指示，视频接收终端通过媒体服务器与视频采集终端进行通信，具体实现时，上述视频接收终端可以为带有视频播放功能的仪器设备，包括手机、电脑、摄像头等智能设备，可以是手持终端，也可以是专用模块终端等，作为视频接收模块，主要负责信令协商，视频接收、解码和显示功能。
具体实现时，视频接收终端发送视频采集指示后，可以通过媒体服务器传输至视频采集终端，具体的，媒体服务器可以包括信令服务器，视频接收终端通过信令服务器向视频采集终端发送视频采集指示，进而请求视频采集终端回传视频。
视频采集终端接收到视频采集指示后，可以获取视频采集指示中携带的资源信息，其中，该资源信息可以包括视频格式、地址、大小等信息，还可以包括视频接收终端的本地资源信息，如硬件资源信息和软件资源信息等。
步骤S104，采集与资源信息相匹配的视频流数据。
其中，视频采集终端通过获取到的资源信息与可查找的视频流数据进行比对，确定要采集的视频流数据。
具体实现时，视频采集终端可以进行初始化过程，初始化相关资源后，通知信令服务器本地资源信息，以使媒体服务器进行协商并通知视频采集终端和视频接收终端的资源信息，以进行本地资源的分配，具体采集过程可以参考相关资料进行，本发明实施例对此不进行限制。
步骤S106，对视频流数据进行渐进增加码率的编码处理，生成视频数据包。
步骤S108，将生成的数据包传输到媒体服务器。
本发明实施例所提供的视频处理方法，通过视频采集终端接收视频采集指示并获取其携带的资源信息，采集与资源信息相对应的视频流数据，对该视频流数据进行渐进增加码率的编码处理，生成数据包，并将该数据包传输至媒体服务器，有助于用户快速获取到视频画面，同时，采用渐进增加码率的编码处理方式，能够使用户逐步获取到清晰的画面，提升了用户体验度。
在实际使用时，上述渐进增加码率的编码处理方式，可以从低码率开始编码，采用渐进增加码率的方式对视频流进行编码处理，并发送至媒体服务器。
具体地，视频采集终端可以预先存储视频参数与码率的对应关系，其中，视频参数可以包括帧率、分辨率和清晰度等参数中的一种或多种，视频采集终端可以按照预先设定好的视频参数采集视频流数据，以便于在对视频流数据进行编码时提取该视频参数，进而查找到合适的码率进行编码。
基于此，在图1所示的视频处理方法的基础上，本发明实施例还提供了另一种视频处理方法，该方法应用于视频采集终端，如图2所示，包括以下步骤：
步骤S202，当接收到视频采集指示时，获取视频采集指示中携带的资源信息；
步骤S204，采集与资源信息匹配的视频流数据；
步骤S206，提取视频流数据的视频参数；
其中，该视频参数包括以下参数中的一种或多种：帧率、分辨率和清晰度；
通常，帧率可以影响视频画面的流畅度，如果码率为变量，帧率越高，每秒钟经过的画面越多，需要的码率也越高，体积也越大。
而分辨率通常影响图像的大小，分辨率越高，图像越大；分辨率越低，图像越小，在分辨率一定的情况下，码率与清晰度成正比关系，码率越高，图像越清晰；码率越低，图像越不清晰。
因此，通常选择清晰度作为视频参数，采取渐进增加码率的编码处理方式。在实际使用时，还可以根据帧率、分辨率以及清晰度与码率的对应关系对视频参数进行设置，具体以实际使用情况为准，本发明实施例对此不进行限制。
步骤S208，在预先存储的视频参数与码率的对应关系中查找视频参数匹配的渐进码率集合；
其中，该渐进码率集合包括多个码率，多个码率按照指定码率间隔从低到高进行排列；
步骤S210，依次按照渐进码率集合中的多个码率对视频流数据进行编码处理；
具体实现时，该步骤中的编码处理过程可以包括：
(1)获取渐进码率集合中的首个码率，其中，该首个码率为渐进码率集合中最低的码率；
(2)按照首个码率对视频流数据进行编码处理；
(3)当按照首个码率进行编码处理的时间间隔达到指定时间间隔时，依次获取相邻的下一个码率，按照指定时间间隔对视频流数据进行编码处理；
(4)当获取到渐进码率集合中的最大码率时，持续按照最大码率对视频流数据进行编码处理。
上述渐进增加码率的编码处理过程，虽然首个码率较低，导致图像不清晰，但是，码率较低的图像画面其图像体积较小，更容易传输，特别是在网络拥堵的情况下，只占用较低的带宽就可以进行视频传输，减小了时延，使视频接收终端可以快速接入到视频图像，特别是在应急处置场景下，有助于保证视频接入的实时性。
进一步，当按照首个码率进行编码处理的时间间隔达到指定时间间隔时，可以依次获取相邻的下一个码率，按照指定时间间隔对视频流数据进行编码处理，由于多个码率按照指定码率间隔从低到高进行排列，在按照下一个码流进行编码处理时，其码率增加，使得视频画面的清晰度也随之增加，使用户可以体验到视频由模糊到清晰的渐进显示过程，符合人的视觉习惯，接受度更高，也有助于提高用户的体验度。
步骤S212，生成视频数据包，将视频数据包传输至媒体服务器。
具体地传输过程可以包括：按照预先设置的视频报文方式对视频数据包进行拆分；将拆分后的视频数据包传输至媒体服务器，其中，预先设置的视频报文包括TCP报文或者UDP报文。
其中，TCP(Transmission Control Protocol，传输控制协议)报文和UDP(UserDatagram Protocol，用户数据报协议)报文属于小报文，在网络上进行传输时，其传输时间更短，并且产生数据错误、丢包的概率也相对较小，从而减少报文等待和重传的时间，因此，可以采用基于TCP报文或者UDP报文的短小指令信令定义，作为视频采集终端、视频接收终端、信令服务器、媒体服务器等的信令协商接口，以便于加快信令协商流程和资源分配，提升信令接入速度。
具体实现时，上述方法还包括，监听视频数据包传输过程中的RTCP信息，根据监听到的RTCP协议信息对视频流数据的编码处理过程进行调整。其中，RTCP(RTP ControlProtocol)协议信息可以提供数据分法质量的反馈信息，是RTP(Real-time TransportProtocol，实时传输协议)作为传输协议的部分功能，并涉及到其它传输协议的流控制和拥塞控制等信息，因此，视频采集终端在初始阶段采用渐进式增加码率的编码处理过程结束后，可以根据RTCP协议信息的反馈进行自适应编码传输方式的调整，具体调整过程可以根据实际情况进行设置，本发明实施例对此不进行限制。
实施例二：
在上述实施例的基础上，本发明实施例还提供了另一种视频处理方法，该方法应用于媒体服务器，如图3所示的另一种视频处理方法的流程图，包括以下步骤：
步骤S302，当监听到视频接收终端的接入消息时，对缓存的视频帧数据进行渐进增加码率的编码处理。
具体实现时，上述缓存的视频帧数据为视频采集终端传输的视频数据，具体地，视频采集终端与媒体建立连接后，媒体服务器可以实时监测视频采集终端是否有视频数据的发送动作，当监测到视频采集终端传输视频数据包时，启动资源端口，通过资源端口接收视频数据包；并对接收的视频数据包进行解码处理，形成视频帧数据；缓存该视频帧数据，以便于在监听到视频接收终端的接入消息后，执行步骤S302的过程。
其中，上述步骤S302中，媒体服务器对缓存的视频帧数据进行渐进增加码率的编码处理过程与前述实施例中视频采集终端对视频流数据进行渐进增加码率的编码处理，生成视频数据包的过程一致，具体可以参考前述实施例对应的过程，再次不在赘述。
步骤S304，将编码处理的视频帧数据发送至视频接收终端。
在实际使用时，该媒体服务器包括信令服务器，信令服务器的主要职责是处理视频接收终端、视频采集终端、视频请求等信令协商。视频采集终端初始化相关资源后，通知信令服务器资源信息(包括本地资源信息等)，信令服务器与媒体服务器进行协商，通知视频采集终端和视频接收终端资源信息，媒体服务器分配本地资源信息，并将分配的结果和信息通知信令服务器，信令服务器将媒体服务器相关资源信息通知视频采集终端和视频接收终端，视频采集终端将视频数据包发送至媒体服务器，媒体服务器向视频接收终端转发视频流，进而完成视频处理的过程。
本发明实施例所提供的视频处理方法，通过媒体服务器监听视频接收终端的接入消息，并对缓冲的视频帧数据进行渐进增加码率的编码处理，将编码处理后的视频帧数据发送到视频接收终端，使视频接收终端能够快速接入获取到视频数据，同时，渐进增加码率的编码处理方式，能够在视频发送过程中降低网络丢包率，有助于提升抗抖动程度，提高视频接收终端的接入速度，进一步提升了用户的体验度。
实施例三：
对应于上述实施例一提供的方法，本发明实施例还提供了一种视频处理装置，该装置可以设置于视频采集端上，参见图4，该装置包括以下模块：
获取模块40，用于当接收到视频采集指示时，获取视频采集指示中携带的资源信息；
采集模块42，用于采集与资源信息匹配的视频流数据；
第一编码模块44，用于对视频流数据进行渐进增加码率的编码处理，生成视频数据包；
传输模块46，用于将视频数据包传输至媒体服务器。
进一步，对应于上述实施例二提供的方法，本发明实施例还提供了另一种视频处理装置，该装置可以设置于媒体服务器上，参见图5，该装置包括以下模块：
第二编码模块50，用于当监听到视频接收终端的接入消息时，对缓存的视频帧数据进行渐进增加码率的编码处理；
发送模块52，用于将编码处理的视频帧数据发送至视频接收终端。
本发明实施例提供的视频处理装置，与上述实施例提供的视频处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
在上述实施例的基础上，本发明实施例还提供了一种视频处理系统，如图6所示的一种视频处理系统的结构框图，该系统包括：视频采集终端60、媒体服务器62和视频接收终端64，其中视频采集终端、视频接收终端均与媒体服务器通信连接；视频采集终端设置有上述图4所示的视频处理装置；媒体服务器设置有上述图5所示的视频处理装置。
具体实现时，上述媒体服务器还可以包括一个信令服务器，具体地，信令服务器可以主要负责处理客户端模块注册、视频请求等信令协商；媒体服务器可以负责信令协商，视频接收、解码和显示等功能。
图7示出了一种视频处理系统的交互示意图，如图7所示，该视频处理系统的交互过程可以包括以下步骤：
S700：视频接收终端向信令服务器发送请求信号，请求视频采集终端回传视频，并携带本地资源信息；
S701：信令服务器向视频采集终端发送上传通知信号；
S702：视频采集终端进行初始化过程，初始化相关资源后，通知信令服务器本地资源信息；
S703：信令服务器与媒体服务器进行协商，通知媒体服务器视频采集终端和视频接收终端的资源信息，媒体服务器进行本地资源的分配；
S704：媒体服务器通知信令服务器资源分配的结果和信息；
S705：信令服务器将媒体服务器的相关资源信息通知视频采集终端；
S706：信令服务器将媒体服务器的相关资源信息通知视频接收终端；
S707：视频采集终端采集、编码视频流，并发送给媒体服务器；
S708：媒体服务器向视频接收终端发送视频流。
具体实现时，上述视频处理系统可以应用在基于运营商移动网络的公网上，也可以用在采用专用频段和设备的专网上，同时，在业务流程上，上述视频处理系统不仅包括视频接收终端请求获取视频采集终端的流程，也可以包括视频采集终端请求推送到视频接收终端、调度台增加视频接收终端等流程；进一步，上述视频接收终端可以支持一个终端，也可以支持多个终端的情形，具体以实际使用情况为准，本发明实施例对此不进行限制。
综上所述，本发明实施例提供的视频处理方法、装置及系统具有以下有益效果：
(1)视频采集终端采用渐进增加码率的编码处理方式，在编码初期采用较小的码率可以减小采集、编码、网络传输、接收、解码显示的时间，让用户在快速看到视频画面的基础上，渐进式逐步看到清晰的画面，符合人的视觉习惯；
(2)采用TCP报文或者UDP报文等短小指令信令定义，作为视频采集终端、视频接收终端、信令服务器、媒体服务器信令协商接口，加快了信令协商流程和资源分配，提升信令接入速度；
(3)媒体服务器采用媒体报文缓存，视频帧缓存的方式，在提升网络丢包和抗抖动的同时，在视频接收终端新接入时，也可以采用渐进编码的方式，提升视频接收终端的接入速度；
(4)媒体服务器对于接入的视频接收终端，可以采用媒体直接转发的策略，也可以采用从渐进编码到自适应编码的策略；
(5)视频采集终端在初始阶段采用渐进式编码传输策略结束后，可以恢复到根据RTCP信息反馈，进行自适应编码传输的方式。
本发明实施例所提供的视频处理装置和系统，通过视频采集终端采集、编码、发送相应的视频流，媒体服务器负责视频帧数据的缓冲、转码等信令协商问题，视频接收终端接收、显示传递过来的视频流数据，能够在视频发送过程中降低网络丢包率，有助于提升抗抖动程度，提高视频接收终端的接入速度，进一步提升了用户的体验度。
本发明实施例所提供的一种视频处理方法、装置及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种视频处理方法，其特征在于，所述方法应用于视频采集终端，所述方法包括：
当接收到视频采集指示时，获取所述视频采集指示中携带的资源信息；
采集与所述资源信息匹配的视频流数据；
对所述视频流数据进行渐进增加码率的编码处理，生成视频数据包；
将所述视频数据包传输至媒体服务器。
2.根据权利要求1所述的方法，其特征在于，所述对所述视频流数据进行渐进增加码率的编码处理的步骤包括：
提取所述视频流数据的视频参数；其中，所述视频参数包括以下参数中的一种或多种：帧率、分辨率和清晰度；
在预先存储的视频参数与码率的对应关系中查找所述视频参数匹配的渐进码率集合；其中，所述渐进码率集合包括多个码率，多个所述码率按照指定码率间隔从低到高进行排列；
依次按照所述渐进码率集合中的多个所述码率对所述视频流数据进行编码处理。
3.根据权利要求2所述的方法，其特征在于，所述依次按照所述渐进码率集合中的多个所述码率对所述视频流数据进行编码处理的步骤包括：
获取所述渐进码率集合中的首个码率，其中，所述首个码率为所述渐进码率集合中最低的码率；
按照所述首个码率对所述视频流数据进行编码处理；
当按照所述首个码率进行编码处理的时间间隔达到指定时间间隔时，依次获取相邻的下一个码率，按照指定时间间隔对所述视频流数据进行编码处理；
当获取到所述渐进码率集合中的最大码率时，持续按照所述最大码率对所述视频流数据进行编码处理。
4.根据权利要求1所述的方法，其特征在于，所述将所述视频数据包传输至媒体服务器的步骤包括：
按照预先设置的视频报文方式对所述视频数据包进行拆分；
将拆分后的所述视频数据包传输至媒体服务器，其中，所述预先设置的视频报文包括TCP报文或者UDP报文。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
监听所述视频数据包传输过程中的RTCP信息，根据所述RTCP信息对所述视频流数据的编码处理过程进行调整。
6.一种视频处理方法，其特征在于，所述方法应用于媒体服务器，所述方法包括：
当监听到视频接收终端的接入消息时，对缓存的视频帧数据进行渐进增加码率的编码处理；
将编码处理的所述视频帧数据发送至所述视频接收终端。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当监测到视频采集终端传输视频数据包时，启动资源端口，通过所述资源端口接收所述视频数据包；
对接收的所述视频数据包进行解码处理，形成视频帧数据；
缓存所述视频帧数据。
8.一种视频处理装置，其特征在于，所述装置设置于视频采集终端，所述装置包括：
获取模块，用于当接收到视频采集指示时，获取所述视频采集指示中携带的资源信息；
采集模块，用于采集与所述资源信息匹配的视频流数据；
第一编码模块，用于对所述视频流数据进行渐进增加码率的编码处理，生成视频数据包；
传输模块，用于将所述视频数据包传输至媒体服务器。
9.一种视频处理装置，其特征在于，所述装置设置于媒体服务器，所述装置包括：
第二编码模块，用于当监听到视频接收终端的接入消息时，对缓存的视频帧数据进行渐进增加码率的编码处理；
发送模块，用于将编码处理的所述视频帧数据发送至所述视频接收终端。
10.一种视频处理系统，其特征在于，所述系统包括视频采集终端、媒体服务器和视频接收终端；所述视频采集终端、所述视频接收终端均与媒体服务器通信连接；
所述视频采集终端设置有权利要求8所述的视频处理装置；
所述媒体服务器设置有权利要求9所述的视频处理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910834493.1A CN110446081B (zh) | 2019-09-04 | 2019-09-04 | 一种视频处理方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910834493.1A CN110446081B (zh) | 2019-09-04 | 2019-09-04 | 一种视频处理方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110446081A true CN110446081A (zh) | 2019-11-12 |
| CN110446081B CN110446081B (zh) | 2022-02-22 |
Family
ID=68439142
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910834493.1A Active CN110446081B (zh) | 2019-09-04 | 2019-09-04 | 一种视频处理方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110446081B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022001314A1 (zh) * | 2020-06-29 | 2022-01-06 | 中兴通讯股份有限公司 | 信息采集方法、装置、存储介质及电子装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001028252A1 (de) * | 1999-10-08 | 2001-04-19 | Siemens Aktiengesellschaft | Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern |
| CN101068236A (zh) * | 2007-04-13 | 2007-11-07 | 华为技术有限公司 | 流媒体码率控制方法、系统和设备 |
| CN101990087A (zh) * | 2010-09-28 | 2011-03-23 | 深圳中兴力维技术有限公司 | 无线视频监控系统及根据网络状态动态调整码流的方法 |
| CN103888214A (zh) * | 2012-12-21 | 2014-06-25 | 鸿富锦精密工业（深圳）有限公司 | 渐进式数据编码传输系统及方法 |
| CN104320716A (zh) * | 2014-07-31 | 2015-01-28 | 南京邮电大学 | 一种基于多终端协同的视频上行链路传输方法 |
| CN105142009A (zh) * | 2015-07-31 | 2015-12-09 | 深圳Tcl数字技术有限公司 | 音视频播放控制方法及装置 |
| CN107295395A (zh) * | 2017-06-27 | 2017-10-24 | 武汉斗鱼网络科技有限公司 | 码率自适应调节方法、装置及电子设备 |
| CN108024126A (zh) * | 2017-11-28 | 2018-05-11 | 北京潘达互娱科技有限公司 | 网络直播视频调整方法、装置、电子设备和存储介质 |
-
2019
- 2019-09-04 CN CN201910834493.1A patent/CN110446081B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2001028252A1 (de) * | 1999-10-08 | 2001-04-19 | Siemens Aktiengesellschaft | Progressive fehlertolerante codierung bzw. decodierung einer folge von bildern |
| CN101068236A (zh) * | 2007-04-13 | 2007-11-07 | 华为技术有限公司 | 流媒体码率控制方法、系统和设备 |
| CN101990087A (zh) * | 2010-09-28 | 2011-03-23 | 深圳中兴力维技术有限公司 | 无线视频监控系统及根据网络状态动态调整码流的方法 |
| CN103888214A (zh) * | 2012-12-21 | 2014-06-25 | 鸿富锦精密工业（深圳）有限公司 | 渐进式数据编码传输系统及方法 |
| CN104320716A (zh) * | 2014-07-31 | 2015-01-28 | 南京邮电大学 | 一种基于多终端协同的视频上行链路传输方法 |
| CN105142009A (zh) * | 2015-07-31 | 2015-12-09 | 深圳Tcl数字技术有限公司 | 音视频播放控制方法及装置 |
| CN107295395A (zh) * | 2017-06-27 | 2017-10-24 | 武汉斗鱼网络科技有限公司 | 码率自适应调节方法、装置及电子设备 |
| CN108024126A (zh) * | 2017-11-28 | 2018-05-11 | 北京潘达互娱科技有限公司 | 网络直播视频调整方法、装置、电子设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022001314A1 (zh) * | 2020-06-29 | 2022-01-06 | 中兴通讯股份有限公司 | 信息采集方法、装置、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110446081B (zh) | 2022-02-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110519177B (zh) | 一种网络流量识别方法及相关设备 | |
| JP6247324B2 (ja) | 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法 | |
| EP2472865A1 (en) | Method and system for implementing video monitoring by mobile terminal | |
| US20170347133A1 (en) | Systems and methods for transmitting video data over a network | |
| WO2011142311A1 (ja) | リモート型携帯通信システム、サーバ装置及びリモート型携帯通信システム制御方法 | |
| EP3059945A1 (en) | Method and system for video surveillance content adaptation, and central server and device | |
| WO2013017165A1 (en) | Shaping media traffic based on manifest file in http adaptive streaming | |
| WO2016062170A1 (zh) | 救援处理方法及装置 | |
| CN105025294B (zh) | 一种视频传输控制装置及方法 | |
| US10404606B2 (en) | Method and apparatus for acquiring video bitstream | |
| CN107801049A (zh) | 一种实时视频传送、播放方法及装置 | |
| CN110446081A (zh) | 一种视频处理方法、装置及系统 | |
| CN104639501B (zh) | 一种数据流传输的方法、设备及系统 | |
| WO2021057480A1 (zh) | 视频编解码方法和相关装置 | |
| CN110753243A (zh) | 图像处理方法、图像处理服务器及图像处理系统 | |
| CN116962613A (zh) | 数据传输方法及装置、计算机设备、存储介质 | |
| CN107071449B (zh) | 一种转码系统和方法 | |
| CN108924088A (zh) | 一种4k网络摄像机传输实现方法 | |
| KR20100018965A (ko) | 이동통신단말기의 웹 페이지 제공 시스템 및 그 방법 | |
| CN101635716B (zh) | 一种对网络音视频编码器进行远程控制的方法及系统 | |
| EP2884742B1 (en) | Process for increasing the resolution and the visual quality of video streams exchanged between users of a video conference service | |
| CN114503569A (zh) | 用于实时视频通信的av1编解码器 | |
| EP2191630B1 (en) | Transmitting data respecting different formats at source and required by the receiver | |
| KR100880568B1 (ko) | 모바일 아이피티브이 환경에서 신호세기에 따른 컨텐츠데이터 전송 방법 | |
| JP2002344937A (ja) | 品質制御保証方法及び品質制御保証装置並びにネットワーク接続装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |