CN111385518B - 视频处理系统及方法、装置、存储介质、电子装置 - Google Patents

视频处理系统及方法、装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111385518B
CN111385518B CN201811643630.5A CN201811643630A CN111385518B CN 111385518 B CN111385518 B CN 111385518B CN 201811643630 A CN201811643630 A CN 201811643630A CN 111385518 B CN111385518 B CN 111385518B
Authority
CN
China
Prior art keywords
video
decoding
coding
video conference
capability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811643630.5A
Other languages
English (en)
Other versions
CN111385518A (zh
Inventor
包明辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201811643630.5A priority Critical patent/CN111385518B/zh
Priority to EP19901858.1A priority patent/EP3905667A4/en
Priority to PCT/CN2019/130000 priority patent/WO2020135876A1/zh
Publication of CN111385518A publication Critical patent/CN111385518A/zh
Application granted granted Critical
Publication of CN111385518B publication Critical patent/CN111385518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1073Registration or de-registration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/762Media network packet handling at the source 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本发明提供了一种视频处理系统及方法、装置、存储介质、电子装置,其中,所述系统包括:视频会议管理主体,用于获取公共编码能力和/或公共解码能力;至少一个视频编码设备,用于根据所述视频会议管理主体发送的所述公共编码能力对所述视频编码设备获取的视频码流进行编码;和/或,至少一个视频解码设备,用于根据所述视频会议管理主体发送的所述公共解码能力对所述视频解码设备获取的视频码流包进行解码;通过本发明,解决了相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。

Description

视频处理系统及方法、装置、存储介质、电子装置
技术领域
本发明涉及通信领域,具体而言,涉及一种视频处理系统及方法、装置、存储介质、电子装置。
背景技术
目前在视频会议领域中,相关技术中用于实现视频会议的视频会议终端产品往往具有结构复杂且价格昂贵的特征。具体而言,由于视频会议中涉及多路视频码流的处理,因此,需采用针对性的DSP(Digital Signal Processing,数字信号处理)编解码芯片,以形成一个可直接完成多路视频码流处理的视频会议终端产品,视频会议中的视频码流均通过上述视频会议终端产品完成编码以及解码处理。
上述相关技术中的视频会议终端产品存在较多弊端,从用户使用的角度上,如果用户需要对于视频会议终端产品的某一性能进行升级换代,则需要对于视频会议终端产品整体进行更换。例如,目前的视频会议终端产品最高支持分辨率为1080P的视频,则对于会议中某会场存在4k的高清晰视频编码与解码需求的视频会议中无法直接进行视频处理;为此,用户需更换整套视频会议终端产品,进而导致用户需承担高昂的更换成本;此外,用户在上述情况下还需重新对于视频会议终端产品进行线路的部署以及设备的安装,对于大型会场,上述线路部署与设备安装多有不便。
从研发工作的角度上,目前专业的DSP编解码芯片的技术发展较为缓慢,而通用的CPU芯片,如arm芯片等在实现软件编解码时又无法对于视频会议环境下的多路视频码流进行有效的处理,因此,相关技术中难以在研发出可处理多路码流的高性能芯片的前提下实现成本的控制。此外,由于相关技术中的视频会议终端产品的集成式结构,导致产品的复杂度较高,进而使得研发成本亦会受到影响。
针对上述相关技术中,视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种视频处理系统及方法、装置、存储介质、电子装置,以至少解决相关技术中的视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题。
根据本发明的一个实施例,提供了一种视频处理系统,包括:
视频会议管理主体,用于获取公共编码能力和/或公共解码能力;其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
至少一个视频编码设备,用于根据所述视频会议管理主体发送的所述公共编码能力对所述视频编码设备获取的视频码流进行编码;所述视频编码设备与所述视频会议管理主体相连接;和/或,
至少一个视频解码设备,用于根据所述视频会议管理主体发送的所述公共解码能力对所述视频解码设备获取的视频码流包进行解码;所述视频解码设备与所述视频会议管理主体相连接。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频编码设备时,还提供了一种根据上述视频处理系统的视频处理方法,包括:
接收视频会议管理主体发送的公共编码能力;其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
根据所述公共编码能力对于所述视频编码设备获取的视频码流进行编码。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频编码设备时,还提供了一种根据上述视频处理系统的视频处理方法,包括:
获取公共编码能力,其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
发送公共编码能力至视频编码设备,使得所述视频编码设备根据所述公共编码能力对于所述视频编码设备获取的视频码流进行编码。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频解码设备时,还提供了一种根据上述视频处理系统的视频处理方法,包括:
接收视频会议管理主体发送的公共解码能力;其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
根据所述公共解码能力对于所述视频解码设备获取的视频码流包进行解码。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频解码设备时,还提供了一种根据上述视频处理系统的视频处理方法,包括:
获取公共解码能力,其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
发送公共解码能力至视频解码设备,使得所述视频解码设备根据所述公共解码能力对于所述视频解码设备获取的视频码流包进行解码。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频编码设备时,还提供了一种根据上述视频处理系统的视频处理装置,包括:
第一接收模块,用于接收视频会议管理主体发送的公共编码能力;其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
编码模块,用于根据所述公共编码能力对于所述视频编码设备获取的视频码流进行编码。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频编码设备时,还提供了一种根据上述视频处理系统的视频处理装置,包括:
第一获取模块,用于获取公共编码能力,其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
第一发送模块,用于发送公共编码能力至视频编码设备;其中,所述公共编码能力用于指示所述视频编码设备对于所述视频编码设备获取的视频数据进行编码。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频解码设备时,还提供了一种根据上述视频处理系统的视频处理装置,包括:
第二接收模块,用于接收视频会议管理主体发送的公共解码能力;其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
解码模块,用于根据所述公共解码能力对于所述视频解码设备获取的视频码流包进行解码。
根据本发明的另一个实施例,当上述视频处理系统包括至少一个视频解码设备时,还提供了一种根据上述视频处理系统的视频处理装置,包括:
第二获取模块,用于获取公共解码能力,其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
第二发送模块,用于发送公共解码能力至视频解码设备;其中,所述公共解码能力用于指示所述视频解码设备对于所述视频解码设备获取的视频数据包进行解码。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频编码或解码结果作为公共编码或解码能力,并将公共编码或解码能力发送至视频编码设备或视频解码设备,以使得视频编码设备或视频解码设备根据上述公共编码或解码能力分别进行视频处理;因此,本发明可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例提供的视频处理系统的结构框图;
图2是根据本发明实施例的视频处理系统的交互示意图;
图3是根据本发明具体实施例提供的视频处理系统中连接关系建立流程图(一);
图4是根据本发明具体实施例提供的视频处理系统中连接关系建立流程图(二);
图5是根据本发明具体实施例提供的视频处理系统结构示意图(一);
图6是根据本发明具体实施例提供的视频处理系统中注册管理交互示意图(一);
图7是根据本发明具体实施例提供的视频处理系统中编码或解码交互示意图(一);
图8是根据本发明具体实施例提供的视频处理系统结构示意图(二);
图9是根据本发明具体实施例提供的视频处理系统中注册管理交互示意图(二);
图10是根据本发明具体实施例提供的视频处理系统中编码或解码交互示意图(二);
图11是根据本发明具体实施例提供的视频处理系统结构示意图(三);
图12是根据本发明具体实施例提供的视频处理系统结构示意图(四);
图13是根据本发明具体实施例提供的视频处理系统结构示意图(五);
图14是根据本发明实施例提供的视频处理方法的流程图(一);
图15是根据本发明实施例提供的视频处理方法的流程图(二);
图16是根据本发明实施例提供的视频处理方法的流程图(三);
图17是根据本发明实施例提供的视频处理方法的流程图(四);
图18是根据本发明实施例提供的视频处理装置的结构框图(一);
图19是根据本发明实施例提供的视频处理装置的结构框图(二);
图20是根据本发明实施例提供的视频处理装置的结构框图(三);
图21是根据本发明实施例提供的视频处理装置的结构框图(四)。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
在本实施例中提供了一种视频处理系统,图1是根据本发明实施例提供的视频处理系统的结构框图,如图1所示,所述系统包括:
视频会议管理主体102,用于获取公共编码能力和/或公共解码能力;其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
至少一个视频编码设备104,用于根据视频会议管理主体发送的公共编码能力对视频编码设备获取的视频码流进行编码;视频编码设备与视频会议管理主体相连接;和/或,
至少一个视频解码设备106,用于根据视频会议管理主体发送的公共解码能力对视频解码设备获取的视频码流包进行解码;视频解码设备与视频会议管理主体相连接。
通过上述实施例中的系统,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频编码或解码结果作为公共编码或解码能力,并将公共编码或解码能力发送至视频编码设备或视频解码设备,以使得视频编码设备或视频解码设备根据上述公共编码或解码能力分别进行视频处理;因此,本实施例中的系统可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
需要进一步说明的是,上述视频会议管理主体、视频编码设备以及视频解码设备共同构成了一个视频会议终端产品以供用户进行视频会议,对于视频会议的会场而言,上述视频会议管理主体、视频编码设备以及视频解码设备即可以集成在同一个硬件设备内部,也可以采用多个硬件设备分别实现。图2是根据本发明实施例的视频处理系统的交互示意图;如图2所示,多个视频编码设备与多个视频解码设备独立连接至视频会议管理主体上,视频会议管理主体则对于多个视频编码设备与多个视频解码设备进行管理。
以常见的视频会议常见为例,上述视频编码设备往往连接至摄像头或PC机,用于对用户输入的视频进行编码,上述视频解码设备往往连接至显示器,用于对于本地或远程输入的视频码流包进行解码后显示,上述视频会议管理主体则对于视频编码设备、视频解码设备进行管理。与此同时,还可通过视频会议管理主体实现视频会议中的音频功能;由于音频码流占用资源相对较少,故无需采用类似于本实施例中的视频码流的处理方式,而视频会议管理主体对于音频直接处理还可实现3a回声抵消等对于处理实时性要求较高的操作。
上述视频会议管理主体、视频编码设备以及视频解码设备均通过通用性CPU即可实现相关管理、编码与解码的功能,因而无需在视频会与终端中采用昂贵的专业性DSP芯片,进而达到了降低设备成本的目的。而对于用户而言,当用户在某个会场针对不同的需求而需要对于设备进行更新换代时,也仅需要更换该会场内输入设备或显示器所对应的视频编码设备或视频解码设备,从而避免了对于视频会议终端整体的更换,尤其对于视频会议管理主体无需进行更换;且在该场景下,重新更换某一视频编码设备或视频解码设备也无需对于会场内的终端整体进行重新安装与布线,以改善了视频会议终端产品使用的灵活性。
并且,对于研发工作而言,本实施例中的视频处理系统通过对应的视频编码设备以及视频解码设备分别对于某一视频输入或视频输出设备进行编码与解码,以将一个非常复杂处理多路的视频媒体的会议终端产品,拆分成为多个独立的分体设备,从而降低了每个独立设备,即视频解码编码与视频解码设备的研发难度,进而使得产品整体的研发成本亦可得到控制。另一方面,本实施例中的视频处理系统使得产品的各个设备之间的耦合性亦降低,以使得设备之间的相互组合选择实现多样化。
此外,在实际应用过程中,通过多个视频编码设备与视频解码设备的布置,可根据需要实时切换对应的视频显示图像,进而针对大场地会场内的视频会议可实现更灵活的部署。
此外,上述视频编码结果具体可表示为本地视频会议终端与远程视频会议终端之间根据预设协议进行协商约定后确定的编码结果,该编码结果需同时符合本地视频会议终端与远程视频会议终端的格式需求。在此基础上,公共编码能力则可用于指示上述符合本地视频会议终端与远程视频会议终端的格式需求,例如,如采用H245规范,则公共编码能力用于指示H245规范定义的能力协商过程而获得的编码结果。需要进一步说明的是,上述本地视频会议终端与远程视频会议终端之间相互发送的数据格式可能存在不同,但相互间发送的数据格式均需满足上述公共编码能力。上述视频解码结果以及公共解码能力的定义同上,在此不作赘述。
本实施例的视频处理系统中的视频编码设备与视频解码设备可根据性能或需求连接一个或多个视频输入设备(如摄像机、PC机)或视频输出设备(如显示器),本实施例对于视频编码设备与视频解码设备所连接设备的数量不做限定。
本实施例中视频编码设备以及视频解码设备与视频会议管理主体之间的信息包括但不限于TCP网络或者UDP网络传输。
在实际运用中,本实施例中的视频编码设备与视频解码设备可以运用于市场上常见的Android盒子,进而以相对低廉的方式构成一个完整的视频会议终端产品。并且,视频编码设备与视频解码设备也可以用fpga+arm芯片方式专门开发出对应的设备,而视频会议管理主体采用Android盒子做业务,进而实现了可根据用户需求灵活多变的特点。
造价低廉,可以通过本方法组成一个强大的视频会议多路编解码终端产品,编解码设备还可以采用fpga+arm芯片方式专门开发出对应的DEC_DEV或ENC_DEV,然后MAIN_DEV采用Android盒子做业务等等,灵活多变,适应场景广阔。
在一个可选实施例中,当系统包括至少一个视频编码设备时,视频编码设备还用于:
向视频会议管理主体发送第一注册请求,视频会议管理主体响应第一注册请求与视频编码设备之间相互连接。
需要进一步说明的,本实施例中,视频会议管理主体与视频编码设备之间的连接方式包括但不限于上述通过注册进行相互连接的方式,任何可使得视频会议管理主体与视频编码设备之间建立连接关系,以使得视频会议管理主体可与视频编码设备之间进行交互的方式均属于本发明的保护范围内。
在一个可选实施例中,向视频会议管理主体发送第一注册请求之前,视频编码设备还用于:
向预设地址发送第一寻址信息,视频会议管理主体根据第一寻址信息向视频编码设备返回第一寻址确认信息;
视频编码设备根据第一寻址确认信息向视频会议管理主体发送第一注册请求。
需要进一步说明的是,当视频编码设备已知视频会议管理主体的地址时即可直接向对应地址发送第一注册请求,而在视频编码设备未能获知视频会议管理主体的地址时,则可采用上述方式,通过向预设地址组播或广播第一寻址信息,以使得视频编码设备可确定视频会议管理主体的地址进而建立连接关系。
在一个可选实施例中,向视频会议管理主体发送第一注册请求之后,视频编码设备还用于:
在预设周期内向视频会议管理主体发送第一保活信息,视频会议管理主体根据第一保活信息向视频编码设备返回第一保活确认信息。
需要进一步说明的是,上述视频编码设备向视频会议管理主体发送的第一保活信息即可实现在预设周期内,确保视频会议管理主体获知视频编码设备与其保持连接,如若视频会议管理主体未能接收到第一保活信息或未发送第一保活确认信息,则可确认视频编码设备与视频会议管理主体之间断开连接关系,以使得视频会议管理主体可及时删除相关设备。
在一个可选实施例中,当系统包括至少一个视频编码设备时,视频会议管理主体还用于:
获取视频编码设备的编码能力信息,根据编码能力信息将公共编码能力发送至视频编码设备。
需要进一步说明的是,在上述视频编码设备与视频解码设备的连接过程中,视频编码设备可将视频编码设备的相关信息,如编码能力信息发送给视频会议管理主体,以供视频会议管理主体在视频会议时可根据视频编码设备的具体能力信息将公共编码能力发送至对应的视频编码设备,以确保视频编码设备可对于符合其性能的视频码流进行相关处理。上述公共编码能力的具体确定是在视频编码设备根据协议进行协商约定的过程中得以实现的。
在一个可选实施例中,当系统包括至少一个视频编码设备时,视频码流包括以下至少之一:
本地主视频码流、本地辅视频码流。
在一个可选实施例中,当系统包括至少一个视频编码设备和至少一个视频解码设备时,视频编码设备还用于:
接受视频会议管理主体发送的错误信息,根据公共编码能力对于错误信息进行编码;其中,错误信息用于指示视频解码设备发生解码错误。
在一个可选实施例中,当系统包括至少一个视频解码设备时,视频解码设备还用于:
向视频会议管理主体发送第二注册请求,视频会议管理主体响应第二注册请求与视频解码设备之间相互连接。
需要进一步说明的,本实施例中,视频会议管理主体与视频解码设备之间的连接方式包括但不限于上述通过注册进行相互连接的方式,任何可使得视频会议管理主体与视频解码设备之间建立连接关系,以使得视频会议管理主体可与视频解码设备之间进行交互的方式均属于本发明的保护范围内。
在一个可选实施例中,向视频会议管理主体发送第二注册请求之前,视频解码设备还用于:
向预设地址发送第二寻址信息,视频会议管理主体根据第二寻址信息向视频解码设备返回第二寻址确认信息;
视频解码设备根据第二寻址确认信息向视频会议管理主体发送第二注册请求。
需要进一步说明的是,当视频解码设备已知视频会议管理主体的地址时即可直接向对应地址发送第二注册请求,而在视频解码设备未能获知视频会议管理主体的地址时,则可采用上述方式,通过向预设地址组播或广播第二寻址信息,以使得视频解码设备可确定视频会议管理主体的地址进而建立连接关系。
在一个可选实施例中,向视频会议管理主体发送第二注册请求之后,视频解码设备还用于:
在预设周期内向视频会议管理主体发送第二保活信息,视频会议管理主体根据第二保活信息向视频解码设备返回第二保活确认信息。
需要进一步说明的是,上述视频解码设备向视频会议管理主体发送的第二保活信息即可实现在预设周期内,确保视频会议管理主体获知视频解码设备与其保持连接,如若视频会议管理主体未能接收到第二保活信息或未发送第二保活确认信息,则可确认视频解码设备与视频会议管理主体之间断开连接关系,以使得视频会议管理主体可及时删除相关设备。
在一个可选实施例中,当系统包括至少一个视频解码设备时,视频会议管理主体还用于:
获取视频解码设备的解码能力信息,根据解码能力信息将公共解码能力发送至视频解码设备。
需要进一步说明的是,在上述视频解码设备与视频解码设备的连接过程中,视频解码设备可将视频解码设备的相关信息,如解码能力信息发送给视频会议管理主体,以供视频会议管理主体在视频会议时可根据视频解码设备的具体能力信息将公共解码能力发送至对应的视频解码设备,以确保视频解码设备可对于符合其性能的视频码流进行相关处理。
在一个可选实施例中,当系统包括至少一个视频解码设备时,视频码流包包括以下至少之一:
本地主视频码流包、本地辅视频码流包、远程主视频码流包、远程辅视频码流包。
在一个可选实施例中,当系统包括至少一个视频编码设备和至少一个视频解码设备时,视频解码设备还用于:
在视频解码设备发生解码错误时,向视频会议管理主体发送的错误信息;视频会议管理主体将错误信息发送至视频编码设备进行编码。
为进一步说明本实施例中的视频处理系统的工作方式,以下通过多个具体实施例对于本实施例中的视频处理系统进行详细说明;下述具体实施例之中,以ENC_DEV指示视频编码设备,以DEC_DEV指示视频解码设备,以MAIN_DEV指示视频会议管理主体。
具体实施例1
本具体实施例提供了视频处理系统在视频编码设备以及视频解码设备与视频会议管理主体之间建立连接关系的过程,图3是根据本发明具体实施例提供的视频处理系统中连接关系建立流程图(一),如图3所示,上述视频编码设备以及视频解码设备与视频会议管理主体之间建立连接关系的过程如下:
S1 DEC_DEV或ENC_DEV开机自检,完成自检后启动业务模块;
S2 DEC_DEV或ENC_DEV读取本地保存的MAIN_DEV网络IP地址,如果MAIN_DEV网络IP地址不存在,则跳转到“S7”;
S3 DEC_DEV或ENC_DEV向MAIN_DEV网络IP地址发送注册消息“regdev”,如果发送“regdev”失败,或者发送后未接收到响应的“ack_regdev”则跳转到“S7”;
S4 DEC_DEV或ENC_DEV接收到“regdev”对应的应答消息“ack_regdev”,从中提取出保活周期。
S5 DEC_DEV或ENC_DEV严格按照保活周期发送“live”消息给MAIN_DEV网络IP,如果发送“live”消息失败,或者发送后未接收到“ack_live”则跳转到“S7”;
S6 DEC_DEV或ENC_DEV接收到来自MAIN_DEV响应消息“ack_live”,完成一次保活,然后跳转到“步骤105”。正常链路状态在“S5”与“S6”之间循环;
S7 DEC_DEV或ENC_DEV发送组播包到特定组播地址,例如:238.255.255.255,向组播地址发送“hi”信令消息,来寻找MAIN_DEV设备。等待应答“ack_hi”(此消息为单播),如果没有收到“ack_hi”间隔一定时间继续发送组播包“hi”;
S8 DEC_DEV或ENC_DEV接收到“ack_hi”消息后,从中提取出MAIN_DEV的网络IP,并把此IP保存到本机中,然后跳转到“S2”。、
上述步骤S3中的注册消息“regdev”即为上述实施例中的第一注册信息或第二注册信息,上述“ack_regdev”即为视频视频会议管理主体根据第一注册信息或第二注册信息向视频编码设备或视频解码设备返回的确认信息。上述步骤S5中的“live”消息即为上述实施例中的第一保活信息或第二保活信息,对应的上述“ack_live”消息即为第一保活确认信息或第二保活确认信息。上述步骤S7中的“hi”信令消息即为上述实施例中的第一寻址信息或第二寻址信息,对应的上述“ack_hi”则为第一寻址确认信息或第二寻址确认信息。
通过上述步骤S1至S8即可实现视频编码设备以及视频解码设备与视频会议管理主体之间连接关系的建立。
具体实施例2
本具体实施例提供了视频处理系统在视频会议管理主体与视频编码设备以及视频解码设备之间建立连接关系的过程,图4是根据本发明具体实施例提供的视频处理系统中连接关系建立流程图(二),如图4所示,上述视频会议管理主体与视频编码设备以及视频解码设备建立连接关系的过程如下:
S1 MAIN_DEV开机自检,完成自检后启动业务模块;
S2 MAIN_DEV监听特定组播地址如:238.255.255.255接收发现消息“hi”,当没有接收到“hi”消息时会反复监听;
S3 MAIN_DEV收到“hi”消息后,应答“ack_hi”把自己ip地址和注册端口等信息带入到“ack_hi”消息中后,单播应答。
S4 MAIN_DEV同时监听注册单播消息“regdev”。
S5 MAIN_DEV接收到“regdev”后读取消息中的信息,“regdev”中带有注册的设备类型和一些能力参数等等,MAIN_DEV中保存注册信息,然后响应“ack_regdev”,把保活周期放在“ack_regdev”中打包响应。
S6 MAIN_DEV保活流程,等等接收注册的各个DEC_DEV或ENC_DEV设备的保活消息“live”,并且判断是否超时,如果超时发生,泽清除掉设备信息。
通过上述步骤S1至S6即可实现视频会议管理主体与视频编码设备以及视频解码设备之间连接关系的建立。
以下通过多组具体实施例说明本实施例中的视频处理系统在实际视频会议中的应用。
具体实施例3
本具体实施例提供了一种视频处理系统实际运用场景,图5是根据本发明具体实施例提供的视频处理系统结构示意图(一),如图5所示,本具体实施例中,本地主视频解码、远端主视频解码、本地辅视频解码或远端辅视频解码均通过一台物理设备实现解码输出,即显示设备,本地主视频编码、本地辅视频编码则对应接收两台物理设备的视频输入,即摄像头与PC机。
具体而言,图5示意的视频处理系统中有3个DEC_DEV,对应为DEC_DEV_1、DEC_DEV_2、DEC_DEV_3,上述3个DEC_DEV在同一个硬件实体上实现。3个解码设备放在一个硬件设备“电视机1”上,显示输出部分就可以进行多画面的合成,本图示意了入会后,辅视频打开的3画面输出情况,也可以进行切换显示,比如本地主视频大画面显示,远端主视频大画面显示,远端辅视频大画面显示,品字形3画面显示等等输出模式可以切换。
图5示意的视频处理系统中还有2个ENC_DEV,对应为ENC_DEV_1、ENC_DEV_2,上述2个ENC_DEV分别在两个不同的硬件实体上实现视频码流的输入,其中,ENC_DEV_1连接一个摄像头输入,负责本地主视频编码,然后发给MAIN_DEV打rtp包后发给远端设备,ENC_DEV_2连接一台电脑或其他视频源设备,可以作为本地辅视频编码,然后发给MAIN_DEV打rtp包后发给远端设备。
图6是根据本发明具体实施例提供的视频处理系统中注册管理交互示意图(一),图7是根据本发明具体实施例提供的视频处理系统中编码或解码交互示意图(一),如图6与图7所示,本具体实施例中的视频处理系统工作流程如下:
S1 寻找发现MAIN_DEV步骤,当设备首次使用时,或者没有配置MAIN_DEV的网络IP时,或者已经配置了MAIN_DEV的网络IP但是注册失败时,会激发本步骤。本步骤DEC_DEV_1、DEC_DEV_2、DEC_DEV_3、ENC_DEV_1、ENC_DEV_2会向特定组播地址例如238.255.255.255发送“hi”信令,“hi”主要目的是让MAIN_DEV发现。
S2 MAIN_DEV设备,接收到组播地址238.255.255.255的消息“hi”后,应答“ack_hi”,“ack_hi”主要目的是让DEC_DEV_1、DEC_DEV_2、DEC_DEV_3、ENC_DEV_1、ENC_DEV_2知道MAIN_DEV设备的网络ip地址,以便后续注册。
S3 注册过程,DEC_DEV_1、DEC_DEV_2、DEC_DEV_3、ENC_DEV_1、ENC_DEV_2向MAIN_DEV发起注册请求“regdev”,该信令主要携带媒体端口,如果是DEC_DEV就是内部接收媒体的端口,如果是ENC_DEV就是内部发送媒体的端口,接收发送主要针对MAIN_DEV设备。
S4 注册过程响应,MAIN_DEV响应注册请求,MAIN_DEV向DEC_DEV_1、DEC_DEV_2、DEC_DEV_3、ENC_DEV_1、ENC_DEV_2发送响应“ack_regdev”。表示注册成功,“ack_regdev”中带有保活周期。保活期间MAIN_DEV会一直认为设备可用。
S5 保活过程,DEC_DEV_1、DEC_DEV_2、DEC_DEV_3、ENC_DEV_1、ENC_DEV_2向MAIN_DEV发起链路保活请求“alive”。
S6 保活过程响应,MAIN_DEV响应链路保活请求,向DEC_DEV_1、DEC_DEV_2、DEC_DEV_3、ENC_DEV_1、ENC_DEV_2发送“ack_alive”,完成一次完成的保活。注意,当MAIN_DEV保活周期内接收不到“alive”消息,此时MAIN_DEV会请求保活向DEC_DEV_1、DEC_DEV_2、DEC_DEV_3、ENC_DEV_1、ENC_DEV_2发送“alive_ask”,如果还是接收不到“alive”消息就清除设备信息。“alive_ask”消息的目的有两个,确认保活超时,还有就是当MAIN_DEV要使用编解码设备DEC_DEV或ENC_DEV时应先发送一次“alive_ask”,当接收到“alive”后,就可以确定此刻设备可用。
S7 远端设备与本端MAIN_DEV设备进行H323或SIP呼叫信令交互,入会信令交互完成后,获得到交互的公共编解码能力,得到的公共编码能力下发给ENC_DEV_1主视频编码设备,和DEC_DEV_1主视频解码设备,因为本地主视频也要通过解码显示。MAIN_DEV向ENC_DEV_1和DEC_DEV_1发送command:“enc_code”编码能力。得到的公共解码能力下发给DEC_DEV_2,DEC_DEV_2负责远端主视频解码,MAIN_DEV向DEC_DEV_2发送command:“dec_code”解码能力。ENC_DEV_1、DEC_DEV_1、DEC_DEV_2接收到enc_code和dec_code根据内容初始化编解码器完成设备入会初始化。
S8 解码远端发送过来的主视频,当MAIN_DEV接收到远端发来的主视码流rtp包后,进行相应的媒体业务解包rtp,fec等等过程,最后组成一帧一帧的数据包,成帧后发给DEC_DEV_2设备解码,DEC_DEV_2解码后输出显示。
S9 本地主视频编码后发送给远端,ENC_DEV_1采集摄像头的数据后,根据公共编码能力进行编码,编码一帧一帧的数据发给2个模块,MAIN_DEV和DEC_DEV_1,发给MAIN_DEV后由MAIN_DEV设备模块打包rtp后发给远端,发给DEC_DEV_1用于本地解码显示输出。
上述S1至S9即可实现视频会议中对于视频的编码以及解码处理,和上述步骤类似的,由DEC_DEV_3完成辅视频解码显示,当呼叫中带有辅视频时,带辅视频能力确定后,下发给相应的编解码设备,如果是接收辅流端,就是发给DEC_DEV_3,如果是发送辅流端,就是发给ENC_DEV_2,媒体也是类似主视频完成媒体收发打包辅视频码流等等。
具体实施例4
本具体实施例提供了另一种视频处理系统实际运用场景,图8是根据本发明具体实施例提供的视频处理系统结构示意图(二),如图8所示,本具体实施例中,远端主视频解码、本地辅视频解码或远端辅视频解码在1台DEC_DEV物理设备上,主视频编码、辅视频编码分别在2台ENC_DEV物理设备上,本地会场主视频和远端会场主视频或辅视频,分开在2台电视机上显示输出,这2台电视机,一台用于专门显示本地主视频,另外一台用于显示远端主视频或辅视频,显示远端主视频或辅视频可以合成2画面显示,或者切换其他独占画面模式等等。上述具体实施例中本地主视频无需进行解码,ENC_DEV本主编码设备直接连接电视输出图像。
具体而言,图8示意的视频处理系统中有3台视频编码设备以及视频解码设备,其中,DEC_DEV_1和DEC_DEV_2在同一个物理设备(电视机1)上实现,DEC_DEV_1负责远端主视频解码,DEC_DEV_2负责远端或本地辅视频解码,解码后图像输出在“电视机1”中,可以合成为2画面如图所示,也可以单独显示远端主视频,或者本端辅视频或远端辅视频单独大画面显示等等。ENC_DEV_1逻辑编码设备由一个单独的物理设备实现,ENC_DEV_1负责本地主视频编码,ENC_DEV_1逻辑设备所在的物理设备,同时存在视频输入和输出,可以是2个HDMI一个输入另外一个输出,其中一个HDMI接入“摄像头1”输入视频源,另外一个HDMI作为输出连接“电视机2”,这样“摄像头1”采集数据后可以直接输出到“电视机2”用来显示本地主视频。ENC_DEV_2逻辑编码设备由一个单独的物理设备实现,负责本地辅视频解码。本地辅视频需要显示可以解码后通过“电视机1”输出图像。
图9是根据本发明具体实施例提供的视频处理系统中注册管理交互示意图(二),图10是根据本发明具体实施例提供的视频处理系统中编码或解码交互示意图(二),如图9与图10所示,本具体实施例中的视频处理系统工作流程如下:
S1 寻找发现MAIN_DEV步骤,DEC_DEV_1、DEC_DEV_2、ENC_DEV_1、ENC_DEV_2会向特定组播地址例如238.255.255.255发送“hi”信令,“hi”主要目的是让MAIN_DEV发现。
S2 MAIN_DEV设备,接收到组播地址238.255.255.255的消息“hi”后,应答“ack_hi”,“ack_hi”主要目的是让DEC_DEV_1、DEC_DEV_2、ENC_DEV_1、ENC_DEV_2知道MAIN_DEV设备的网络ip地址,以便后续注册。
S3 注册过程,DEC_DEV_1、DEC_DEV_2、ENC_DEV_1、ENC_DEV_2向MAIN_DEV发起注册请求“regdev”,该信令主要携带媒体端口,如果是DEC_DEV就是内部接收媒体的端口,如果是ENC_DEV就是内部发送媒体的端口,接收发送主要针对MAIN_DEV设备。
S4 注册过程响应,MAIN_DEV响应注册请求,MAIN_DEV向DEC_DEV_1、DEC_DEV_2、ENC_DEV_1、ENC_DEV_2发送响应“ack_regdev”,表示注册成功。
S5 保活过程,DEC_DEV_1、DEC_DEV_2、ENC_DEV_1以及ENC_DEV_2向MAIN_DEV发起链路保活请求“alive”。
S6 保活过程响应,MAIN_DEV响应链路保活请求,向DEC_DEV_1、DEC_DEV_2、ENC_DEV_1、ENC_DEV_2发送“ack_alive”,完成一次完成的保活。
S7 远端设备与本端MAIN_DEV设备进行H323或SIP呼叫信令交互,入会信令交互完成后,获得到交互的公共编解码能力,得到的公共编码能力下发给ENC_DEV_1主视频编码设备,MAIN_DEV向ENC_DEV_1发送command:“enc_code”编码能力。得到的公共解码能力下发给DEC_DEV_1,DEC_DEV_1负责远端主视频解码,MAIN_DEV向DEC_DEV_1发送command:“dec_code”解码能力。ENC_DEV_1、DEC_DEV_1接收到enc_code和dec_code根据内容初始化编解码器完成设备入会初始化。
S8 解码远端发送过来的主视频,当MAIN_DEV接收到远端发来的主视码流rtp包后,进行相应的媒体业务解包rtp,fec等等过程,最后组成一帧一帧的数据包,成帧后发给DEC_DEV_1设备解码,DEC_DEV_1解码后输出显示。
S9 本地主视频编码后发送给远端,ENC_DEV_1采集摄像头的数据后,根据公共编码能力进行编码,编码一帧一帧的数据发给MAIN_DEV,后由MAIN_DEV设备模块打包rtp后发给远端。
上述视频处理系统的部署方式适用远程教育场景,“电视机1”显示远端主视频和辅视频放在教室前面,让所有同学都到可以看到,“电视机2”显示本地主视频,可以专门给本地会场的教师收看。
具体实施例5
本具体实施例还提供了一种另一种视频处理系统实际运用场景,图11是根据本发明具体实施例提供的视频处理系统结构示意图(三),如图11所示,远端主视频解码、本地辅视频解码或远端辅视频解码在2台DEC_DEV物理设备上,主视频编码、辅视频编码分别在2台ENC_DEV物理设备上,本主、远主、辅视频分别在3台显示设备输出。
具体而言,编解码实际物理设备共有4台,其中DEC_DEV_1和DEC_DEV_2在不同物理设备上实现,ENC_DEV_1和ENC_DEV_2也是在不同物理设备上实现。DEC_DEV_1和DEC_DEV_2分别对应连接“电视机1”和“电视机2”,显示远端主视频和辅视频,这个辅视频包括本地辅视频和远端辅视频。ENC_DEV_1为编码设备,在采集“摄像头1”图像同时,输出显示到“电视机3”作为本主。本具体实施例中的多显示输出也可以通过显示矩阵接到电视机上实现自由切换,非常适合大型会场和远程教育的教师部署。
具体实施例6
本具体实施例还提供了一种另一种视频处理系统实际运用场景,图12是根据本发明具体实施例提供的视频处理系统结构示意图(四),如图12所示,编解码实际物理设备共有2台,其中DEC_DEV_1和DEC_DEV_2在同一个物理设备上实现,ENC_DEV_1和ENC_DEV_2也是在同一个物理设备上实现。DEC_DEV_1和DEC_DEV_2所在的物理设备连接“电视机1”输出,可将远端主视频以及远端辅视频解码显示到“电视机1”中,合成2画面同时显示输出,或者单独大画面切换等等。ENC_DEV_1和ENC_DEV_2所在的物理设备上连接“电视机2”,可以分别显示本主和本辅视频的图像。
具体实施例7
本具体实施例还提供了一种另一种视频处理系统实际运用场景,图13是根据本发明具体实施例提供的视频处理系统结构示意图(五),如图13所示,MAIN_DEV主体设备采用一个“Android盒子硬件设备1”来实现,主体设备MAIN_DEV功能主要是视频会议终端业务实现和GUI操作部分,可以采用一个Android app软件安装到“Android盒子硬件设备1”的方式来实现MAIN_DEV的业务,“Android盒子硬件设备1”外接一个小显示器,用来显示GUI操作控制等等,也可以是一个触屏显示器直接操作控制视频会议终端。
ENC_DEV_1为本地主视频编码的实现,图中可以看到,采用的是“FPGA+ARM硬件架构”,ARM用来跑linux系统,FPGA专注硬件编码数据处理,需要开发一套软件包括FPGA的编码控制程序烧写到FPGA中,还有ENC_DEV_1的媒体业务实现的linux程序安装到linux系统中,组成一个强大的编码器,连接到摄像头,同时回显到“电视机1”中当做本地主视频的显示。ENC_DEV_1也可以用Android盒子或PC机等硬件设备实现。
ENC_DEV_2为本地辅视频编码的实现,ENC_DEV_2采用一个“PC机电脑”实现,如果是windows系统的PC机电脑,可以开发一套windows系统上运行的软件,主要功能是把“PC机电脑”虚拟成为一个ENC_DEV设备,采集屏幕编码,或者采集输入的第三方视频码流编码作为辅视频。
DEC_DEV_1、DEC_DEV_2、DEC_DEV_3,这3个解码设备由于一台“Android盒子硬件设备2”实现,分别对应DEC_DEV_1解码远端主视频,DEC_DEV_2解码本地主视频,也就是解码ENC_DEV_1的码流本地主视频,DEC_DEV_2解码辅视频。输出可以合成3画面或者单独大画面切换等等。
本具体实施例中硬件实体实现包括但不限于以上方案,也可以有其他组合实现不同编解码设备等等,如MAIN_DEV可以和解码设备DEC_DEV在一个硬件实体上实现等等无穷组合实现各种需求。
实施例2
在本实施例中提供了一种视频处理方法,图14是根据本发明实施例提供的视频处理方法的流程图(一),如图14所示,所述方法包括如下步骤:
步骤S202,接收视频会议管理主体发送的公共编码能力;其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
步骤S204,根据公共编码能力对于视频编码设备获取的视频码流进行编码。
通过本实施例中的方法,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频编码结果作为公共编码能力,并将公共编码能力发送至视频编码设备,以使得视频编码设备根据上述公共编码能力分别进行视频处理;因此,本实施例中的方法可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
需要进一步说明的是,上述步骤的执行主体为视频编码设备。
在一可选实施例中,上述步骤S202中,接收视频会议管理主体发送的公共编码能力之前,包括:
发送第一注册请求至视频会议管理主体,其中,第一注册请求用于指示视频会议管理主体与视频编码设备之间建立连接。
在一可选实施例中,上述步骤S202中,发送第一注册请求至视频会议管理主体之前,包括:
向预设地址发送第一寻址信息,其中,第一寻址信息用于指示视频会议管理主体向视频编码设备返回第一寻址确认信息;
根据第一寻址确认信息向视频会议管理主体发送第一注册请求。
在一可选实施例中,上述步骤S202中,发送第一注册请求至视频会议管理主体之后,包括:
在预设周期内向视频会议管理主体发送第一保活信息,其中,第一保活信息用于指示视频会议管理主体向视频编码设备返回第一保活确认信息。
在一可选实施例中,上述步骤S202中,接收视频会议管理主体发送的公共编码能力,包括:
将视频编码设备的编码能力信息发送至视频会议管理主体,其中,编码能力信息用于指示视频会议管理主体将公共编码能力发送至视频编码设备。
在一可选实施例中,视频编码设备获取的视频码流括以下至少之一:
本地主视频码流、本地辅视频码流。
在一可选实施例中,当系统还包括至少一个视频解码设备时,方法还包括:
接受视频会议管理主体发送的错误信息进行编码,错误信息由视频解码设备发送至视频会议管理主体;
其中,错误信息用于指示视频解码设备发生解码错误。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例3
在本实施例中提供了一种视频处理方法,图15是根据本发明实施例提供的视频处理方法的流程图(二),如图15所示,所述方法包括如下步骤:
步骤S302,获取公共编码能力,其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
步骤S304,发送公共编码能力至视频编码设备,使得视频编码设备根据公共编码能力对于视频编码设备获取的视频码流进行编码。
通过本实施例中的方法,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频编码结果作为公共编码能力,并将公共编码能力发送至视频编码设备,以使得视频编码设备根据上述公共编码能力分别进行视频处理;因此,本实施例中的方法可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
需要进一步说明的是,上述步骤的执行主体为视频会议管理主体。
在一可选实施例中,上述步骤S304中,发送公共编码能力至视频编码设备之前,包括:
接收视频编码设备发送的第一注册请求;
响应第一注册请求与视频编码设备之间建立连接。
在一可选实施例中,上述步骤S304中,接收视频编码设备发送的第一注册请求之前,包括:
获取视频编码设备向预设地址发送的第一寻址信息;
根据第一寻址信息向视频编码设备返回第一寻址确认信息;
接收视频编码设备根据第一寻址确认信息发送的第一注册请求。
在一可选实施例中,上述步骤S304中,接收视频编码设备发送的第一注册请求之后,包括:
接收视频编码设备在预设周期内发送的第一保活信息;
根据第一保活信息向视频编码设备返回第一保活确认信息。
在一可选实施例中,上述步骤S304中,发送公共编码能力至视频编码设备,包括:
获取视频编码设备的编码能力信息,根据编码能力信息将公共编码能力发送至视频编码设备。
在一可选实施例中,视频编码设备获取的视频码流包括以下至少之一:
本地主视频码流、本地辅视频码流。
在一可选实施例中,当系统还包括至少一个视频解码设备时,方法还包括:
接收视频解码设备发送的错误信息,并将错误信息发送至视频编码设备进行编码;其中,错误信息用于指示视频解码设备发生解码错误。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例4
在本实施例中提供了一种视频处理方法,图16是根据本发明实施例提供的视频处理方法的流程图(三),如图16所示,所述方法包括如下步骤:
步骤S402,接收视频会议管理主体发送的公共解码能力;其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
步骤S404,根据公共解码能力对于视频解码设备获取的视频码流包进行解码。
通过本实施例中的方法,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频解码结果作为公共解码能力,并将公共解码能力发送至视频解码设备,以使得视频解码设备根据上述公共解码能力分别进行视频处理;因此,本实施例中的方法可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
需要进一步说明的是,上述步骤的执行主体为视频解码设备。
在一可选实施例中,上述步骤S402中,接收视频会议管理主体发送的公共解码能力之前,包括:
发送第二注册请求至视频会议管理主体,其中,第二注册请求用于指示视频会议管理主体与视频解码设备之间建立连接。
在一可选实施例中,上述步骤S402中,发送第二注册请求至视频会议管理主体之前,包括:
向预设地址发送第二寻址信息,其中,第二寻址信息用于指示视频会议管理主体向视频解码设备返回第二寻址确认信息;
根据第二寻址确认信息向视频会议管理主体发送第二注册请求。
在一可选实施例中,上述步骤S402中,发送第二注册请求至视频会议管理主体之后,包括:
在预设周期内向视频会议管理主体发送第二保活信息,其中,第二保活信息用于指示视频会议管理主体向视频解码设备返回第二保活确认信息。
在一可选实施例中,上述步骤S402中,接收视频会议管理主体发送的公共解码能力,包括:
将视频解码设备的解码能力信息发送至视频会议管理主体,其中,解码能力信息用于指示视频会议管理主体将公共解码能力发送至视频解码设备。
在一可选实施例中,视频解码设备获取的视频码流包括以下至少之一:
本地主视频码流包、本地辅视频码流包、远程主视频码流包、远程辅视频码流包。
在一可选实施例中,当系统还包括至少一个视频编码设备时,视频解码设备获取的视频码流由以下对象中的至少之一发送:
视频会议管理主体、视频编码设备。
在一可选实施例中,当系统还包括至少一个视频编码设备时,方法还包括:
向视频会议管理主体发送错误信息,使得视频会议管理主体将错误信息发送至视频编码设备进行编码;其中,错误信息用于指示视频解码设备发生解码错误。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例5
在本实施例中提供了一种视频处理方法,图17是根据本发明实施例提供的视频处理方法的流程图(四),如图17所示,所述方法包括如下步骤:
步骤S502,获取公共解码能力,其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
步骤S504,发送公共解码能力至视频解码设备,使得视频解码设备根据公共解码能力对于视频解码设备获取的视频码流包进行解码。
通过本实施例中的方法,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频解码结果作为公共解码能力,并将公共解码能力发送至视频解码设备,以使得视频解码设备根据上述公共解码能力分别进行视频处理;因此,本实施例中的方法可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
需要进一步说明的是,上述步骤的执行主体为视频会议管理主体。
在一可选实施例中,上述步骤S504中,发送公共解码能力至视频解码设备之前,包括:
接收视频解码设备发送的第二注册请求;
响应第二注册请求与视频解码设备之间建立连接。
在一可选实施例中,上述步骤S504中,接收视频解码设备发送的第二注册请求之前,包括:
获取视频解码设备向预设地址发送的第二寻址信息;
根据第二寻址信息向视频解码设备返回第二寻址确认信息;
接收视频解码设备根据第二寻址确认信息发送的第二注册请求。
在一可选实施例中,上述步骤S504中,接收视频解码设备发送的第二注册请求之后,包括:
接收视频解码设备在预设周期内发送的第二保活信息;
根据第二保活信息向视频解码设备返回第二保活确认信息。
在一可选实施例中,上述步骤S504中,发送公共解码能力至视频解码设备,包括:
获取视频解码设备的解码能力信息,根据解码能力信息将公共解码能力发送至视频解码设备。
在一可选实施例中,视频解码设备获取的视频码流包包括以下至少之一:
本地主视频码流包、本地辅视频码流包。
在一可选实施例中,当系统还包括至少一个视频编码设备时,视频解码设备获取的视频码流由以下对象中的至少之一发送:
视频会议管理主体、视频编码设备。
在一可选实施例中,当系统还包括至少一个视频解码设备时,方法还包括:
接收视频解码设备发送的错误信息,将错误信息发送至视频编码设备进行编码;其中,错误信息用于指示视频解码设备发生解码错误。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例6
在本实施例中还提供了一种视频处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图18是根据本发明实施例的视频处理装置的结构框图(一),如图18所示,该装置包括:
第一接收模块601,用于接收视频会议管理主体发送的公共编码能力;其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
编码模块602,用于根据公共编码能力对于视频编码设备获取的视频码流进行编码。
通过本实施例中的装置,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频编码结果作为公共编码能力,并将公共编码能力发送至视频编码设备,以使得视频编码设备根据上述公共编码能力分别进行视频处理;因此,本实施例中的装置可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
在一可选实施例中,上述第一接收模块601中,接收视频会议管理主体发送的公共编码能力之前,包括:
发送第一注册请求至视频会议管理主体,其中,第一注册请求用于指示视频会议管理主体与视频编码设备之间建立连接。
在一可选实施例中,上述第一接收模块601中,发送第一注册请求至视频会议管理主体之前,包括:
向预设地址发送第一寻址信息,其中,第一寻址信息用于指示视频会议管理主体向视频编码设备返回第一寻址确认信息;
根据第一寻址确认信息向视频会议管理主体发送第一注册请求。
在一可选实施例中,上述第一接收模块601中,发送第一注册请求至视频会议管理主体之后,包括:
在预设周期内向视频会议管理主体发送第一保活信息,其中,第一保活信息用于指示视频会议管理主体向视频编码设备返回第一保活确认信息。
在一可选实施例中,上述第一接收模块601中,接收视频会议管理主体发送的公共编码能力,包括:
将视频编码设备的编码能力信息发送至视频会议管理主体,其中,编码能力信息用于指示视频会议管理主体将公共编码能力发送至视频编码设备。
在一可选实施例中,视频编码设备获取的视频码流括以下至少之一:
本地主视频码流、本地辅视频码流。
在一可选实施例中,当系统还包括至少一个视频解码设备时,方法还包括:
接受视频会议管理主体发送的错误信息进行编码,错误信息由视频解码设备发送至视频会议管理主体;
其中,错误信息用于指示视频解码设备发生解码错误。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例7
在本实施例中还提供了一种视频处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图19是根据本发明实施例的视频处理装置的结构框图(二),如图19所示,该装置包括:
第一获取模块701,用于获取公共编码能力,其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
第一发送模块702,用于发送公共编码能力至视频编码设备;其中,公共编码能力用于指示视频编码设备对于视频编码设备获取的视频数据进行编码。
通过本实施例中的装置,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频编码结果作为公共编码能力,并将公共编码能力发送至视频编码设备,以使得视频编码设备根据上述公共编码能力分别进行视频处理;因此,本实施例中的装置可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
在一可选实施例中,上述第一发送模块702中,发送公共编码能力至视频编码设备之前,包括:
接收视频编码设备发送的第一注册请求;
响应第一注册请求与视频编码设备之间建立连接。
在一可选实施例中,上述第一发送模块702中,接收视频编码设备发送的第一注册请求之前,包括:
获取视频编码设备向预设地址发送的第一寻址信息;
根据第一寻址信息向视频编码设备返回第一寻址确认信息;
接收视频编码设备根据第一寻址确认信息发送的第一注册请求。
在一可选实施例中,上述第一发送模块702中,接收视频编码设备发送的第一注册请求之后,包括:
接收视频编码设备在预设周期内发送的第一保活信息;
根据第一保活信息向视频编码设备返回第一保活确认信息。
在一可选实施例中,上述第一发送模块702中,发送公共编码能力至视频编码设备,包括:
获取视频编码设备的编码能力信息,根据编码能力信息将公共编码能力发送至视频编码设备。
在一可选实施例中,视频编码设备获取的视频码流包括以下至少之一:
本地主视频码流、本地辅视频码流。
在一可选实施例中,当系统还包括至少一个视频解码设备时,方法还包括:
接收视频解码设备发送的错误信息,并将错误信息发送至视频编码设备进行编码;其中,错误信息用于指示视频解码设备发生解码错误。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例8
在本实施例中还提供了一种视频处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图20是根据本发明实施例的视频处理装置的结构框图(三),如图20所示,该装置包括:
第二接收模块802,用于接收视频会议管理主体发送的公共解码能力;其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
解码模块804,用于根据公共解码能力对于视频解码设备获取的视频码流包进行解码。
通过本实施例中的装置,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频解码结果作为公共解码能力,并将公共解码能力发送至视频解码设备,以使得视频解码设备根据上述公共解码能力分别进行视频处理;因此,本实施例中的装置可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
在一可选实施例中,上述第二接收模块802中,接收视频会议管理主体发送的公共解码能力之前,包括:
发送第二注册请求至视频会议管理主体,其中,第二注册请求用于指示视频会议管理主体与视频解码设备之间建立连接。
在一可选实施例中,上述第二接收模块802中,发送第二注册请求至视频会议管理主体之前,包括:
向预设地址发送第二寻址信息,其中,第二寻址信息用于指示视频会议管理主体向视频解码设备返回第二寻址确认信息;
根据第二寻址确认信息向视频会议管理主体发送第二注册请求。
在一可选实施例中,上述第二接收模块802中,发送第二注册请求至视频会议管理主体之后,包括:
在预设周期内向视频会议管理主体发送第二保活信息,其中,第二保活信息用于指示视频会议管理主体向视频解码设备返回第二保活确认信息。
在一可选实施例中,上述第二接收模块802中,接收视频会议管理主体发送的公共解码能力,包括:
将视频解码设备的解码能力信息发送至视频会议管理主体,其中,解码能力信息用于指示视频会议管理主体将公共解码能力发送至视频解码设备。
在一可选实施例中,视频解码设备获取的视频码流包括以下至少之一:
本地主视频码流包、本地辅视频码流包、远程主视频码流包、远程辅视频码流包。
在一可选实施例中,当系统还包括至少一个视频编码设备时,视频解码设备获取的视频码流由以下对象中的至少之一发送:
视频会议管理主体、视频编码设备。
在一可选实施例中,当系统还包括至少一个视频编码设备时,方法还包括:
向视频会议管理主体发送错误信息,使得视频会议管理主体将错误信息发送至视频编码设备进行编码;其中,错误信息用于指示视频解码设备发生解码错误。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例9
在本实施例中还提供了一种视频处理装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图21是根据本发明实施例的视频处理装置的结构框图(四),如图21所示,该装置包括:
第二获取模块901,用于获取公共解码能力,其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
第二发送模块902,用于发送公共解码能力至视频解码设备;其中,公共解码能力用于指示视频解码设备对于视频解码设备获取的视频数据包进行解码。
通过本实施例中的装置,由于视频会议管理主体将本地视频会议终端与远程视频会议终端之间的视频解码结果作为公共解码能力,并将公共解码能力发送至视频解码设备,以使得视频解码设备根据上述公共解码能力分别进行视频处理;因此,本实施例中的装置可以解决相关技术中视频会议过程中多路视频码流采用集中处理导致用户使用成本以及研发成本无法控制的问题,进而达到控制视频会议终端产品在视频处理中的研发及使用成本的效果。
在一可选实施例中,上述第二发送模块902中,发送公共解码能力至视频解码设备之前,包括:
接收视频解码设备发送的第二注册请求;
响应第二注册请求与视频解码设备之间建立连接。
在一可选实施例中,上述第二发送模块902中,接收视频解码设备发送的第二注册请求之前,包括:
获取视频解码设备向预设地址发送的第二寻址信息;
根据第二寻址信息向视频解码设备返回第二寻址确认信息;
接收视频解码设备根据第二寻址确认信息发送的第二注册请求。
在一可选实施例中,上述第二发送模块902中,接收视频解码设备发送的第二注册请求之后,包括:
接收视频解码设备在预设周期内发送的第二保活信息;
根据第二保活信息向视频解码设备返回第二保活确认信息。
在一可选实施例中,上述第二发送模块902中,发送公共解码能力至视频解码设备,包括:
获取视频解码设备的解码能力信息,根据解码能力信息将公共解码能力发送至视频解码设备。
在一可选实施例中,视频解码设备获取的视频码流包包括以下至少之一:
本地主视频码流包、本地辅视频码流包。
在一可选实施例中,当系统还包括至少一个视频编码设备时,视频解码设备获取的视频码流由以下对象中的至少之一发送:
视频会议管理主体、视频编码设备。
在一可选实施例中,当系统还包括至少一个视频解码设备时,方法还包括:
接收视频解码设备发送的错误信息,将错误信息发送至视频编码设备进行编码;其中,错误信息用于指示视频解码设备发生解码错误。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例10
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,接收视频会议管理主体发送的公共编码能力;其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
S2,根据公共编码能力对于视频编码设备获取的视频码流进行编码。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例11
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取公共编码能力,其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
S2,发送公共编码能力至视频编码设备,使得视频编码设备根据公共编码能力对于视频编码设备获取的视频码流进行编码。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例12
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,接收视频会议管理主体发送的公共解码能力;其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
S2,根据公共解码能力对于视频解码设备获取的视频码流包进行解码。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例13
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
S1,获取公共解码能力,其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
S2,发送公共解码能力至视频解码设备,使得视频解码设备根据公共解码能力对于视频解码设备获取的视频码流包进行解码。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例14
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,接收视频会议管理主体发送的公共编码能力;其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
S2,根据公共编码能力对于视频编码设备获取的视频码流进行编码。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
实施例15
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取公共编码能力,其中,公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
S2,发送公共编码能力至视频编码设备,使得视频编码设备根据公共编码能力对于视频编码设备获取的视频码流进行编码。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
实施例16
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,接收视频会议管理主体发送的公共解码能力;其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
S2,根据公共解码能力对于视频解码设备获取的视频码流包进行解码。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
实施例17
本发明的实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
可选地,在本实施例中,上述处理器可以被设置为通过计算机程序执行以下步骤:
S1,获取公共解码能力,其中,公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
S2,发送公共解码能力至视频解码设备,使得视频解码设备根据公共解码能力对于视频解码设备获取的视频码流包进行解码。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (49)

1.一种视频处理系统,其特征在于,所述视频处理系统位于本地视频会议终端中,包括:
视频会议管理主体,用于获取公共编码能力和/或公共解码能力;其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
至少一个视频编码设备,用于根据所述视频会议管理主体发送的所述公共编码能力对所述视频编码设备获取的视频码流进行编码;所述视频编码设备与所述视频会议管理主体相连接;和/或,
至少一个视频解码设备,用于根据所述视频会议管理主体发送的所述公共解码能力对所述视频解码设备获取的视频码流包进行解码;所述视频解码设备与所述视频会议管理主体相连接;
其中,所述视频 会议管理主体、所述视频编码设备以及所述视频编码设备为独立的分体设备。
2.根据权利要求1所述的系统,其特征在于,当所述系统包括所述至少一个视频编码设备时,所述视频编码设备还用于:
向所述视频会议管理主体发送第一注册请求,所述视频会议管理主体响应所述第一注册请求与所述视频编码设备之间相互连接。
3.根据权利要求2所述的系统,其特征在于,所述向所述视频会议管理主体发送第一注册请求之前,所述视频编码设备还用于:
向预设地址发送第一寻址信息,所述视频会议管理主体根据所述第一寻址信息向所述视频编码设备返回第一寻址确认信息;
所述视频编码设备根据所述第一寻址确认信息向所述视频会议管理主体发送所述第一注册请求。
4.根据权利要求2所述的系统,其特征在于,所述向所述视频会议管理主体发送第一注册请求之后,所述视频编码设备还用于:
在预设周期内向所述视频会议管理主体发送第一保活信息,所述视频会议管理主体根据所述第一保活信息向所述视频编码设备返回第一保活确认信息。
5.根据权利要求1至4任一项中所述的系统,其特征在于,当所述系统包括所述至少一个视频编码设备时,所述视频会议管理主体还用于:
获取所述视频编码设备的编码能力信息,根据所述编码能力信息将所述公共编码能力发送至所述视频编码设备。
6.根据权利要求1至4任一项中所述的系统,其特征在于,当所述系统包括所述至少一个视频编码设备时,所述视频码流包括以下至少之一:
本地主视频码流、本地辅视频码流。
7.根据权利要求1至4任一项中所述的系统,其特征在于,当所述系统包括所述至少一个视频编码设备和至少一个视频解码设备时,所述视频编码设备还用于:
接受所述视频会议管理主体发送的错误信息,根据所述公共编码能力对于所述错误信息进行编码;其中,所述错误信息用于指示所述视频解码设备发生解码错误。
8.根据权利要求1所述的系统,其特征在于,当所述系统包括所述至少一个视频解码设备时,所述视频解码设备还用于:
向所述视频会议管理主体发送第二注册请求,所述视频会议管理主体响应所述第二注册请求与所述视频解码设备之间相互连接。
9.根据权利要求8所述的系统,其特征在于,所述向所述视频会议管理主体发送第二注册请求之前,所述视频解码设备还用于:
向预设地址发送第二寻址信息,所述视频会议管理主体根据所述第二寻址信息向所述视频解码设备返回第二寻址确认信息;
所述视频解码设备根据所述第二寻址确认信息向所述视频会议管理主体发送所述第二注册请求。
10.根据权利要求8所述的系统,其特征在于,所述向所述视频会议管理主体发送第二注册请求之后,所述视频解码设备还用于:
在预设周期内向所述视频会议管理主体发送第二保活信息,所述视频会议管理主体根据所述第二保活信息向所述视频解码设备返回第二保活确认信息。
11.根据权利要求1、8至10任一项中所述的系统,其特征在于,当所述系统包括所述至少一个视频解码设备时,所述视频会议管理主体还用于:
获取所述视频解码设备的解码能力信息,根据所述解码能力信息将所述公共解码能力发送至所述视频解码设备。
12.根据权利要求1、8至10任一项中所述的系统,其特征在于,当所述系统包括所述至少一个视频解码设备时,所述视频码流包包括以下至少之一:
本地主视频码流包、本地辅视频码流包、远程主视频码流包、远程辅视频码流包。
13.根据权利要求1、8至10任一项中所述的系统,其特征在于,当所述系统包括所述至少一个视频编码设备和至少一个视频解码设备时,所述视频解码设备还用于:
在所述视频解码设备发生解码错误时,向所述视频会议管理主体发送的错误信息;所述视频会议管理主体将所述错误信息发送至所述视频编码设备进行编码。
14.一种根据权利要求1至13任一项中所述视频处理系统的视频处理方法,其特征在于,当所述系统包括至少一个所述视频编码设备时,所述方法包括:
接收视频会议管理主体发送的公共编码能力;其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
根据所述公共编码能力对于所述视频编码设备获取的视频码流进行编码。
15.根据权利要求14所述的方法,其特征在于,所述接收视频会议管理主体发送的公共编码能力之前,包括:
发送第一注册请求至所述视频会议管理主体,其中,所述第一注册请求用于指示所述视频会议管理主体与所述视频编码设备之间建立连接。
16.根据权利要求15所述的方法,其特征在于,所述发送第一注册请求至所述视频会议管理主体之前,包括:
向预设地址发送第一寻址信息,其中,所述第一寻址信息用于指示所述视频会议管理主体向所述视频编码设备返回第一寻址确认信息;
根据所述第一寻址确认信息向所述视频会议管理主体发送所述第一注册请求。
17.根据权利要求15所述的方法,其特征在于,所述发送第一注册请求至所述视频会议管理主体之后,包括:
在预设周期内向所述视频会议管理主体发送第一保活信息,其中,所述第一保活信息用于指示所述视频会议管理主体向所述视频编码设备返回第一保活确认信息。
18.根据权利要求14至17任一项中所述的方法,其特征在于,所述接收所述视频会议管理主体发送的公共编码能力,包括:
将所述视频编码设备的编码能力信息发送至所述视频会议管理主体,其中,所述编码能力信息用于指示所述视频会议管理主体将所述公共编码能力发送至所述视频编码设备。
19.根据权利要求14至17任一项中所述的方法,其特征在于,所述视频编码设备获取的视频码流括以下至少之一:
本地主视频码流、本地辅视频码流。
20.根据权利要求14至17任一项中所述的方法,其特征在于,当所述系统还包括至少一个所述视频解码设备时,所述方法还包括:
接受所述视频会议管理主体发送的错误信息进行编码,所述错误信息由所述视频解码设备发送至所述视频会议管理主体;
其中,所述错误信息用于指示所述视频解码设备发生解码错误。
21.一种根据权利要求1至13任一项中所述视频处理系统的视频处理方法,其特征在于,当所述系统包括至少一个所述视频编码设备时,所述方法包括:
获取公共编码能力,其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
发送公共编码能力至视频编码设备,使得所述视频编码设备根据所述公共编码能力对于所述视频编码设备获取的视频码流进行编码。
22.根据权利要求21所述的方法,其特征在于,所述发送公共编码能力至视频编码设备之前,包括:
接收所述视频编码设备发送的第一注册请求;
响应所述第一注册请求与所述视频编码设备之间建立连接。
23.根据权利要求22所述的方法,其特征在于,所述接收所述视频编码设备发送的第一注册请求之前,包括:
获取所述视频编码设备向预设地址发送的第一寻址信息;
根据所述第一寻址信息向所述视频编码设备返回第一寻址确认信息;
接收所述视频编码设备根据所述第一寻址确认信息发送的所述第一注册请求。
24.根据权利要求22所述的方法,其特征在于,所述接收所述视频编码设备发送的第一注册请求之后,包括:
接收所述视频编码设备在预设周期内发送的第一保活信息;
根据所述第一保活信息向所述视频编码设备返回第一保活确认信息。
25.根据权利要求21至24任一项中所述的方法,其特征在于,所述发送公共编码能力至视频编码设备,包括:
获取所述视频编码设备的编码能力信息,根据所述编码能力信息将所述公共编码能力发送至所述视频编码设备。
26.根据权利要求21至24任一项中所述的方法,其特征在于,所述视频编码设备获取的视频码流包括以下至少之一:
本地主视频码流、本地辅视频码流。
27.根据权利要求21至24任一项中所述的方法,其特征在于,当所述系统还包括至少一个所述视频解码设备时,所述方法还包括:
接收所述视频解码设备发送的错误信息,并将所述错误信息发送至所述视频编码设备进行编码;其中,所述错误信息用于指示所述视频解码设备发生解码错误。
28.一种根据权利要求1至13任一项中所述视频处理系统的视频处理方法,其特征在于,当所述系统包括至少一个所述视频解码设备时,所述方法包括:
接收视频会议管理主体发送的公共解码能力;其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
根据所述公共解码能力对于所述视频解码设备获取的视频码流包进行解码。
29.根据权利要求28所述的方法,其特征在于,所述接收视频会议管理主体发送的公共解码能力之前,包括:
发送第二注册请求至所述视频会议管理主体,其中,所述第二注册请求用于指示所述视频会议管理主体与所述视频解码设备之间建立连接。
30.根据权利要求29所述的方法,其特征在于,所述发送第二注册请求至所述视频会议管理主体之前,包括:
向预设地址发送第二寻址信息,其中,所述第二寻址信息用于指示所述视频会议管理主体向所述视频解码设备返回第二寻址确认信息;
根据所述第二寻址确认信息向所述视频会议管理主体发送所述第二注册请求。
31.根据权利要求29所述的方法,其特征在于,所述发送第二注册请求至所述视频会议管理主体之后,包括:
在预设周期内向所述视频会议管理主体发送第二保活信息,其中,所述第二保活信息用于指示所述视频会议管理主体向所述视频解码设备返回第二保活确认信息。
32.根据权利要求28至31任一项中所述的方法,其特征在于,所述接收所述视频会议管理主体发送的公共解码能力,包括:
将所述视频解码设备的解码能力信息发送至所述视频会议管理主体,其中,所述解码能力信息用于指示所述视频会议管理主体将所述公共解码能力发送至所述视频解码设备。
33.根据权利要求28至31任一项中所述的方法,其特征在于,所述视频解码设备获取的视频码流包括以下至少之一:
本地主视频码流包、本地辅视频码流包、远程主视频码流包、远程辅视频码流包。
34.根据权利要求28至31任一项中所述的方法,其特征在于,当所述系统还包括至少一个所述视频编码设备时,所述视频解码设备获取的视频码流由以下对象中的至少之一发送:
所述视频会议管理主体、所述视频编码设备。
35.根据权利要求28至31任一项中所述的方法,其特征在于,当所述系统还包括至少一个所述视频编码设备时,所述方法还包括:
向所述视频会议管理主体发送错误信息,使得所述视频会议管理主体将所述错误信息发送至视频编码设备进行编码;其中,所述错误信息用于指示所述视频解码设备发生解码错误。
36.一种根据权利要求1至13任一项中所述视频处理系统的视频处理方法,其特征在于,当所述系统包括至少一个所述视频解码设备时,所述方法包括:
获取公共解码能力,其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
发送公共解码能力至视频解码设备,使得所述视频解码设备根据所述公共解码能力对于所述视频解码设备获取的视频码流包进行解码。
37.根据权利要求36所述的方法,其特征在于,所述发送公共解码能力至视频解码设备之前,包括:
接收所述视频解码设备发送的第二注册请求;
响应所述第二注册请求与所述视频解码设备之间建立连接。
38.根据权利要求37所述的方法,其特征在于,所述接收所述视频解码设备发送的第二注册请求之前,包括:
获取所述视频解码设备向预设地址发送的第二寻址信息;
根据所述第二寻址信息向所述视频解码设备返回第二寻址确认信息;
接收所述视频解码设备根据所述第二寻址确认信息发送的所述第二注册请求。
39.根据权利要求37所述的方法,其特征在于,所述接收所述视频解码设备发送的第二注册请求之后,包括:
接收所述视频解码设备在预设周期内发送的第二保活信息;
根据所述第二保活信息向所述视频解码设备返回第二保活确认信息。
40.根据权利要求36至39任一项中所述的方法,其特征在于,所述发送公共解码能力至视频解码设备,包括:
获取所述视频解码设备的解码能力信息,根据所述解码能力信息将所述公共解码能力发送至所述视频解码设备。
41.根据权利要求36至39任一项中所述的方法,其特征在于,所述视频解码设备获取的视频码流包包括以下至少之一:
本地主视频码流包、本地辅视频码流包。
42.根据权利要求36至39任一项中所述的方法,其特征在于,当所述系统还包括至少一个所述视频编码设备时,所述视频解码设备获取的视频码流由以下对象中的至少之一发送:
所述视频会议管理主体、所述视频编码设备。
43.根据权利要求36至39任一项中所述的方法,其特征在于,当所述系统还包括至少一个所述视频解码设备时,所述方法还包括:
接收所述视频解码设备发送的错误信息,将所述错误信息发送至所述视频编码设备进行编码;其中,所述错误信息用于指示所述视频解码设备发生解码错误。
44.一种根据权利要求1至13任一项中所述视频处理系统的视频处理装置,其特征在于,当所述系统包括至少一个所述视频编码设备,所述装置包括:
第一接收模块,用于接收视频会议管理主体发送的公共编码能力;其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
编码模块,用于根据所述公共编码能力对于所述视频编码设备获取的视频码流进行编码。
45.一种根据权利要求1至13任一项中所述视频处理系统的视频处理装置,其特征在于,当所述系统包括至少一个所述视频编码设备,所述装置包括:
第一获取模块,用于获取公共编码能力,其中,所述公共编码能力用于指示本地视频会议终端与远程视频会议终端之间的视频编码结果;
第一发送模块,用于发送公共编码能力至视频编码设备;其中,所述公共编码能力用于指示所述视频编码设备对于所述视频编码设备获取的视频数据进行编码。
46.一种根据权利要求1至13任一项中所述视频处理系统的视频处理装置,其特征在于,当所述系统包括至少一个所述视频解码设备,所述装置包括:
第二接收模块,用于接收视频会议管理主体发送的公共解码能力;其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
解码模块,用于根据所述公共解码能力对于所述视频解码设备获取的视频码流包进行解码。
47.一种根据权利要求1至13任一项中所述视频处理系统的视频处理装置,其特征在于,当所述系统包括至少一个所述视频解码设备,所述装置包括:
第二获取模块,用于获取公共解码能力,其中,所述公共解码能力用于指示本地视频会议终端与远程视频会议终端之间的视频解码结果;
第二发送模块,用于发送公共解码能力至视频解码设备;其中,所述公共解码能力用于指示所述视频解码设备对于所述视频解码设备获取的视频数据包进行解码。
48.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求14至20、权利要求21至27、权利要求28至35、权利要求36至43任一项中所述的方法。
49.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行所述权利要求14至20、权利要求21至27、权利要求28至35、权利要求36至43任一项中所述的方法。
CN201811643630.5A 2018-12-29 2018-12-29 视频处理系统及方法、装置、存储介质、电子装置 Active CN111385518B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811643630.5A CN111385518B (zh) 2018-12-29 2018-12-29 视频处理系统及方法、装置、存储介质、电子装置
EP19901858.1A EP3905667A4 (en) 2018-12-29 2019-12-30 VIDEO PROCESSING SYSTEM, METHOD AND APPARATUS, STORAGE MEDIA AND ELECTRONIC DEVICE
PCT/CN2019/130000 WO2020135876A1 (zh) 2018-12-29 2019-12-30 视频处理系统及方法、装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811643630.5A CN111385518B (zh) 2018-12-29 2018-12-29 视频处理系统及方法、装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN111385518A CN111385518A (zh) 2020-07-07
CN111385518B true CN111385518B (zh) 2021-10-22

Family

ID=71127533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811643630.5A Active CN111385518B (zh) 2018-12-29 2018-12-29 视频处理系统及方法、装置、存储介质、电子装置

Country Status (3)

Country Link
EP (1) EP3905667A4 (zh)
CN (1) CN111385518B (zh)
WO (1) WO2020135876A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573006B (zh) * 2021-07-21 2024-04-05 北京融讯科创技术有限公司 专线视频会议通信方法、装置、设备和存储介质
CN114422744B (zh) * 2021-12-23 2023-06-09 华能招标有限公司 远程评标视频会议过程的视频画面显示方法及装置
CN114679548A (zh) * 2022-03-25 2022-06-28 航天国盛科技有限公司 基于avc架构的多画面合成方法、系统及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统
CN102123268A (zh) * 2011-03-15 2011-07-13 深圳市捷视飞通科技有限公司 一种视频会议终端及系统
CN104836980A (zh) * 2015-05-08 2015-08-12 烽火通信科技股份有限公司 基于智能终端和ip摄像头实现视频通话的系统及方法
CN108124159A (zh) * 2016-11-30 2018-06-05 北京视联动力国际信息技术有限公司 一种四核终端和四核终端的数据处理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5600644A (en) * 1995-03-10 1997-02-04 At&T Method and apparatus for interconnecting LANs
US7627629B1 (en) * 2002-10-30 2009-12-01 Cisco Technology, Inc. Method and apparatus for multipoint conferencing
JP5034110B2 (ja) * 2007-12-21 2012-09-26 Necディスプレイソリューションズ株式会社 電子会議システム、通信端末、データ通信方法およびプログラム
US8380790B2 (en) * 2008-12-15 2013-02-19 Microsoft Corporation Video conference rate matching
CN101854463B (zh) * 2010-06-04 2012-07-04 中国联合网络通信集团有限公司 一种双模机顶盒的实现方法和装置
CN102404787B (zh) * 2010-09-15 2014-07-09 华为技术有限公司 信号传输方法、基站及系统
US9154737B2 (en) * 2012-11-02 2015-10-06 Cisco Technology, Inc. User-defined content magnification and multi-point video conference system, method and logic
AU2014382177B2 (en) * 2014-02-06 2017-03-16 Lg Electronics Inc. Method for performing Wi-Fi display service and device for same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统
CN102123268A (zh) * 2011-03-15 2011-07-13 深圳市捷视飞通科技有限公司 一种视频会议终端及系统
CN104836980A (zh) * 2015-05-08 2015-08-12 烽火通信科技股份有限公司 基于智能终端和ip摄像头实现视频通话的系统及方法
CN108124159A (zh) * 2016-11-30 2018-06-05 北京视联动力国际信息技术有限公司 一种四核终端和四核终端的数据处理方法

Also Published As

Publication number Publication date
WO2020135876A1 (zh) 2020-07-02
CN111385518A (zh) 2020-07-07
EP3905667A1 (en) 2021-11-03
EP3905667A4 (en) 2022-11-30

Similar Documents

Publication Publication Date Title
CN110874959B (zh) 一种多终端同屏教学系统及教学方法
EP2863632B1 (en) System and method for real-time adaptation of a conferencing system to current conditions of a conference session
CN104244088B (zh) 显示控制器、屏幕图像传送装置和屏幕图像传送方法
US8830294B2 (en) Method and system for video conference control, videoconferencing network equipment, and videoconferencing site
CN111385518B (zh) 视频处理系统及方法、装置、存储介质、电子装置
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
US9172912B2 (en) Telepresence method, terminal and system
CN110392047A (zh) 数据传输方法、装置及设备
CN105262974A (zh) 一种实现多人屏幕无线共享的方法
EP2731331A1 (en) Media transmission method and system based on telepresence
CN102447875A (zh) 一种对视频会议终端集中监控的方法和系统及相关装置
CN102196243A (zh) 一种视频数据处理方法及其装置和系统
US8384759B2 (en) Video conferencing apparatus and method for configuring a communication session
CN106227492A (zh) 拼接墙与移动智能终端互联方法和装置
CN104185034A (zh) 一种具有多屏互动管理、网络通信和视频输出功能的装置
CN103856809A (zh) 一种多点同屏方法、系统及终端设备
US20160241683A1 (en) Method and device for processing capability negotiation, and telepresence endpoint
CN112637671A (zh) 一种屏幕共享方法及系统
US20070211138A1 (en) System and method for configuring devices to facilitate video telephony
CN100366080C (zh) 在会议电视系统中实现单画面和多画面切换的方法
WO2004059975A1 (fr) Procede et systeme de sortie d'image multiple
CN110740286A (zh) 一种视频会议控制方法、多点控制单元及视频会议终端
CN110662101A (zh) 一种基于udp协议的网络视频多路显示方法及装置
CN112565799B (zh) 视频数据处理方法和装置
CN211830976U (zh) 一种视频会议平台

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant