CN110636244A - 一种视频会议服务器、系统、控制方法及存储介质 - Google Patents

一种视频会议服务器、系统、控制方法及存储介质 Download PDF

Info

Publication number
CN110636244A
CN110636244A CN201810659997.XA CN201810659997A CN110636244A CN 110636244 A CN110636244 A CN 110636244A CN 201810659997 A CN201810659997 A CN 201810659997A CN 110636244 A CN110636244 A CN 110636244A
Authority
CN
China
Prior art keywords
image
monitoring information
video
monitoring
image station
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810659997.XA
Other languages
English (en)
Other versions
CN110636244B (zh
Inventor
朱贵丽
王艳儒
龚琼
张作群
许磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201810659997.XA priority Critical patent/CN110636244B/zh
Priority to PCT/CN2019/092832 priority patent/WO2020001444A1/zh
Publication of CN110636244A publication Critical patent/CN110636244A/zh
Application granted granted Critical
Publication of CN110636244B publication Critical patent/CN110636244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Abstract

本发明公开了一种视频会议服务器、系统、控制方法及存储介质,本发明通过将普通的会场终端设为图像台,然后由视频会议服务器根据图像台监控信息将媒体码流进行处理后,发送给图像台进行解码,从而有效解决了现有技术中视频会议系统中需要专门配置图像台的问题。

Description

一种视频会议服务器、系统、控制方法及存储介质
技术领域
本发明涉及通信技术领域,特别是涉及一种视频会议服务器、系统、控制方法及存储介质。
背景技术
图像台是会议管理员实时观看与会终端画面的一种监控设备,接收视频会议系统服务器端发过来的视音频码流,解码接收到的视音频码流,然后输出到显示设备。通过图像台可以有效保障重要会议顺利进行,已经在企业、事业单位和政府机关得到广泛应用。但是现有的图像台设备是一种专门设备,需要另外采购部署,而现有的图像台设备的价格昂贵。
发明内容
本发明实施例提供了一种视频会议服务器、系统、控制方法及存储介质,以解决现有技术中视频会议系统中需要专门配置图像台的问题。
本发明第一实施例提供了一种视频会议服务器,该视频会议服务器包括:
web模块,用于将视频会议系统中的一个或多个会场终端设为图像台;
处理模块,用于根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台。
可选地,当所述图像台为多个时,所述图像台全部设置在监控室,或者,分别设置在所述监控室和预设的会场内。
可选地,所述web模块还用于,根据接收到的用户指令,将视频会议系统中的一个或多个会场终端设为图像台。
可选地,所述web模块还用于,根据接收到的用户指令设置会议配置信息;
所述会议配置信息包括以下中的一种或多种:会议时长、会议能力以及图像台的图像台监控信息;
所述图像台监控信息包括以下中的一种或多种:监控画面、监控内容和监控布局。
可选地,所述处理模块进一步包括:
多点控制应用MC,用于根据所述会议配置信息与所述图像台和所述会场终端进行能力交互,判断所述图像台和所述会场终端是否具有会议能力,并在判定为是的情况下,向视频会议媒体处理器MP发送所述图像台监控信息;
所述MP,用于根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元VPU下发所述图像台监控信息;
所述VPU,用于根据所述图像台监控信息对接收到的会场终端的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台。
可选地,所述MP还用于,根据所述图像台监控信息进行视频处理资源和网络处理资源的计算、管理和分配,并向分配的VPU下发所述图像台监控信息。
可选地,该服务器还包括:网络处理单元NPU;
所述VPU还用于,根据所述图像台监控信息对接收到的媒体码流进行合成处理,并把合成后的监控图像发送给分配的NPU;
所述NPU,用于将所述监控图像发送给与所述图像台监控信息所对应的图像台。
可选地,所述web模块还用于,根据用户指令修改所述图像台监控信息;
所述MC还用于,将修改后的图像台监控信息发送给所述MP;
所述MP还用于,根据修改后的图像台监控信息进行媒体资源的计算、管理和分配,并向分配的VPU下发修改后的图像台监控信息。
可选地,所述web模块还用于,根据用户指令设置所述图像台采集的视频流是否允许被看;
当所述web模块根据用户指令设置所述图像台采集的视频流为不允许被看时,所述MC还用于,向所述图像台发送流控消息,以使所述图像台将发送码流流控到零。
本发明第二实施例提供了一种视频会议系统,该视频会议系统包括:图像台、会场终端以及本发明第一实施例中任意一项所述的视频会议服务器;
所述视频会议服务器进一步包括:
web模块,用于将视频会议系统中的一个或多个会场终端设为图像台;
处理模块,用于根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台;
所述图像台,用于解码视频会议服务器发送来的视音频码流,并输出到显示设备;
所述会场终端,用于发送视音频码流到所述视频会议服务器,接收并所述视频会议服务器发送的视音频码流,解码并输出到显示设备。
本发明第三实施例提供了一种视频会议控制方法,该方法包括:
将视频会议系统中的一个或多个会场终端设为图像台;
根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台。
可选地,当所述图像台为多个时,所述图像台全部设置在监控室,或者,分别设置在所述监控室和预设的会场内。
可选地,所述将视频会议系统中的一个或多个会场终端设为图像台,具体包括:根据接收到的用户指令,将视频会议系统中的一个或多个会场终端设为图像台。
可选地,该方法还包括:
根据接收到的用户指令设置会议配置信息;
所述会议配置信息包括以下中的一种或多种:会议时长、会议能力、会场终端的以及各个图像台的图像台监控信息;
所述图像台监控信息包括以下中的一种或多种:监控画面、监控内容和监控布局。
可选地,所述根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台,具体包括:
通过多点控制应用MC根据所述会议配置信息与所述图像台和所述会场终端进行能力交互,判断所述图像台和所述会场终端是否具有会议能力,并在判定为是的情况下,向视频会议媒体处理器MP发送所述图像台监控信息;
所述MP根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元VPU下发所述图像台监控信息;
所述VPU根据所述图像台监控信息对接收到的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台。
可选地,所述MP根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元VPU下发所述图像台监控信息,具体包括:
所述MP根据所述图像台监控信息进行视频处理资源和网络处理资源的计算、管理和分配,并向分配的VPU下发所述图像台监控信息。
可选地,所述分配的VPU根据所述图像台监控信息对接收到的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台,具体包括:所述VPU根据所述图像台监控信息对接收到的媒体码流进行合成处理,并把合成后的监控图像发送给分配的所述NPU;所述NPU将所述监控图像发送给与所述图像台监控信息所对应的图像台。
可选地,该方法还包括:根据用户指令,通过会控页面修改所述图像台监控信息;所述MC将修改后的图像台监控信息发送给所述MP;所述MP根据修改后的图像台监控信息进行媒体资源的计算、管理和分配,并向分配的所述VPU下发修改后的图像台监控信息。
可选地,该方法还包括:根据用户指令设置所述图像台采集的视频流是否允许被看;当所述图像台采集的视频流为不允许被看时,通过所述MC向所述图像台发送流控消息,以使所述图像台将发送码流流控到零。
本发明第四实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有信号映射方法的计算机程序,所述计算机程序被至少一个处理器执行时,以实现上述应用于本发明第三实施例任一种所述的视频会议控制方法。
本发明实施例有益效果如下:
本发明实施例通过将普通的会场终端设为图像台,然后由视频会议服务器根据图像台监控信息将媒体码流进行处理后,发送给图像台进行解码,从而有效解决了现有技术中视频会议系统中需要专门配置图像台的问题。
附图说明
图1是本发明实施例提供的一种视频会议服务器的结构示意图;
图2是本发明实施例提供的一种视频会议系统的结构示意图;
图3是本发明实施例提供的视频会议服务器的结构示意图;
图4是本发明实施例提供的一种视频会议系统的结构示意图;
图5是本发明实施例提供的一种视频会议控制方法的流程示意图;
图6是本发明实施例提供的另一种视频会议控制方法的流程示意图;
图7是本发明实施例提供的再一种视频会议控制方法的流程示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
本发明实施例通过利用视频会议系统中的现有的会场终端设备实现现有的图像台的监控功能,从而实现资源的合理利用和任意会场能够观看监控画面。下面将通过几个具体的例子对本发明所述的方法进行详细的解释和说明:
本发明第一实施例提供了一种视频会议服务器,参见图1,该视频会议服务器包括:
web模块,用于将视频会议系统中的一个或多个会场终端设为图像台;
处理模块,用于根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台。
也就是说,本发明实施例通过将普通的会场终端设为图像台,然后由视频会议服务器根据图像台监控信息将媒体码流进行处理后,发送给图像台进行解码,从而有效解决了现有技术中视频会议系统中需要专门配置图像台的问题。
并且,本发明实施例由于使用现有的会场终端来代替图像台,所以本发明实施例也在一定程度上节省了视频会议系统的设备成本。
另外,由于现有的图像台配置的输出路数大都在十几路,但是现场可能仅用到1-2路,在一定程度上造成了资源浪费,而本发明由于是采用现有的普通会场终端来实现图像台的功能,所以本发明实施例也可有效避免上述资源浪费的问题。
具体实施时,本发明实施例可设置多个图像台,当所述图像台为多个时,所述图像台全部设置在监控室,或者,分别设置在所述监控室和预设的会场内。
即,本发明实施例可实现对图像台的灵活设置,具体地,本发明可将图像台设置在监控室,也可以设置在任意会场中,例如,如图2所示,本发明实施例在监控室设置两台图像台,专门进行会场监控,并在会场n设置一个图像台和一个会场终端,使得该会场即可以实现进行传统模式的会议,也可以实现观看监控画面的功能,本发明实施例在会场m设置1台会场终端,使得该会场仅进行传统模式的会议,而无监控功能。
总体来说,本发明实施例的图像台的数量和设置位置均可以根据实际需要进行设定,相对于现有技术中图像台必须设置在监控室的设置方式,本发明实施例可实现对监控室的灵活设定,从而大大提升了用户体验。
本发明实施例的核心就是利用视频会议系统中的现有的会场终端设备实现现有的图像台的监控功能,从而实现资源的合理利用和任意会场能够观看监控画面。
具体实施时,本发明实施例所述web模块是根据接收到的用户指令,将视频会议系统中的一个或多个会场终端设为图像台。
也就是说,本发明实施例可实现根据用户的选择来任意设定现有视频会议系统中会场终端设为图像台,从而实现图像台的灵活设置。
本发明实施例所述web模块是根据接收到的用户指令设置会议配置信息;
具体来说,本发明实施例中用户是通过在会议草稿中来设置会议配置信息。
具体地,本发明实施例所述会议配置信息包括以下中的一种或多种:会议时长、会议能力以及各个图像台的图像台监控信息,等等,具体实施时,本领域的技术人员可以根据实际需要进行任意设定,本发明对此不作具体限定;
需要说明的是,本发明实施例所述的会议能力包括要求图像台和会场终端所具有的视频类型、音频类型、加解密能力以及抗丢包能力等等。
本发明实施例所述的视频类型包括高清、标清等等
本发明实施例所述的音频类型包括图像台和会场终端可支持的音频播放格式等等。
具体实施时,本发明实施例所述图像台监控信息包括监控画面、监控内容和监控布局;
也就是说,本发明实施例的视频会议服务器通过根据图像台的监控画面、监控内容和监控布局,处理完成监控图像,并发送给图像台,由图像台进行解码后发送给显示设备。
需要说明的是,在具体实施时,本领域的技术人员可以根据实际需要来设定其他的图像台监控信息,本发明对此不作具体限定。
具体实施时,本发明实施例所述处理模块进一步包括:
多点控制应用(MultiPoint Controller,MC),MC根据所述会议配置信息与所述图像台和所述会场终端进行能力交互,判断所述图像台和所述会场终端是否具有会议能力,并在判定为是的情况下,向视频会议媒体处理器(Media Processer,MP)发送所述图像台监控信息;
MP根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元(Video Process Unit,VPU)下发所述图像台监控信息;
VPU根据所述图像台监控信息对接收到的会场终端的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台。
具体来说,本发明实施例通过MC与图像台和会场终端进行能力交互,并在能力交互成功后,通过MP进行媒体资源的计算、管理和分配,然后通过分配的VPU对媒体码流合成监控图像,并将该监控图像发送给图像台。
具体实施时,本发明实施例的所述VPU是根据所述图像台监控信息对接收到的媒体码流进行合成处理,并把合成后的监控图像发送给与所述图像台监控信息所对应的图像台。
即,本发明实施例是通过VPU根据图像台监控信息实现对相应的媒体码流合成监控图像,并将该监控图像发送给图像台。
具体实施时,本发明实施例所述的服务器还包括:网络处理单元(NetworkProcess Unit,NPU);
由于视频处理VPU资源和网络处理NPU资源是有限的,所以本发明实施例需要通过MP对视频处理VPU资源和网络处理NPU资源进行计算、管理和分配,具体地,本发明实施例通过MP来根据所述图像台监控信息进行视频处理VPU资源和网络处理NPU资源的计算、管理和分配,并向分配的VPU下发所述图像台监控信息;
所述VPU根据所述图像台监控信息对接收到的媒体码流进行合成处理,并把合成后的监控图像发送给分配的所述NPU;
最后由NPU将监控图像发送给相应的图像台。
简单来说,本发明实施例是通过MC实现与图像台和会场终端进行能力交互,在能力交互通过后,由MP视频处理VPU资源和网络处理NPU资源的计算和分配,再由VPU合成监控图像,最后由NPU将监控图像发送给图像台。
具体实施时,本发明实施例所述web模块还用于根据用户指令设置所述图像台采集的视频流是否允许被看;当所述web模块根据用户指令设置所述图像台采集的视频流为不允许被看时,所述MC还用于,向所述图像台发送流控消息,以使所述图像台将发送码流流控到零。
具体来说,本发明实施例可根据用户要求来设置,图像台是否将其自身监测的图像发送给视频会议服务器,当用户设置图像台采集的视频流不允许被看时,通过MC向所述图像台发送流控消息,以控制图像台将发送码流流控到零,即图像台不向视频会议服务器发送音视频码流。
具体实施时,本发明实施例所述web模块还用于根据用户指令修改所述图像台监控信息;所述MC还用于将修改后的图像台监控信息发送给所述MP;所述MP还用于根据修改后的图像台监控信息进行媒体资源的计算、管理和分配,并向分配的所述VPU下发修改后的图像台监控信息。
具体来说,本发明实施例中用户可通过会控页面修改图像台监控信息,并通过MC将修改后的图像台监控信息发送给MP,由MP根据修改后的图像台监控信息重新进行媒体资源的计算、管理和分配。
图3是本发明实施例的视频会议服务器的结构示意图,下面将结合图3对本发明实施例的视频会议服务器进行详细的解释和说明:
web模块,负责图像台信息配置(即,实现将视频会议系统中的一个或多个会场终端设为图像台)、会议配置信息的配置和提供开会按钮;
MC,负责按照会议配置信息,与图像台和会场终端进行能力交互,并向图像台下发流控消息;
图像台,负责接收视频会议服务器发送的视频监控画面,解码视频码流并输出到显示设备;
MP模块,接收MC下发的图像台监控信息进行媒体资源计算和分配,通知相应的VPU模块和NPU模块;
VPU模块,负责接收MP下发的图像台监控信息,根据图像台监控信息对从NPU接收的媒体码流进行处理,并把处理好的监控图像传输给NPU;
NPU模块,负责与图像台和会场终端进行媒体码流的收发,并向视频会议服务器发送媒体码流等功能;
会场终端,负责接收视频会议服务器发送的会议画面,解码视频码流并输出到显示设备。
本发明第二实施例提供一种视频会议系统,参见图4,包括:图像台、会场终端以及本发明第一实施例中任意一种所述的视频会议服务器;
所述视频会议服务器进一步包括:
web模块,用于将视频会议系统中的一个或多个会场终端设为图像台;
处理模块,用于根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台;
所述图像台,用于解码视频会议服务器发送来的视音频码流,并输出到显示设备;
所述会场终端,用于发送视音频码流到所述视频会议服务器,接收并所述视频会议服务器发送的视音频码流,解码并输出到显示设备。
也就是说,本发明实施例通过将普通的会场终端设为图像台,然后由视频会议服务器根据图像台监控信息将媒体码流进行处理后,发送给图像台进行解码,从而有效解决了现有技术中视频会议系统中需要专门配置图像台的问题。
本发明实施例的相关内容可参见本发明第一实施例部分进行理解,在此不做详细介绍。
本发明第三实施例提供了一种视频会议的控制方法,参见图5,所述包括:
S501、将视频会议系统中的一个或多个会场终端设为图像台;
S501、根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台。
也就是说,本发明实施例通过将普通的会场终端设为图像台,然后由视频会议服务器根据图像台监控信息将媒体码流进行处理后,发送给图像台进行解码,从而有效解决了现有技术中视频会议系统中需要专门配置图像台的问题。
具体实施时,本发明实施例可设置多个图像台,当所述图像台为多个时,所述图像台全部设置在监控室,或者,分别设置在所述监控室和预设的会场内。
即,本发明实施例可实现对图像台的灵活设置,具体地,本发明可将图像台设置在监控室,也可以设置在任意会场中,例如,如图2所示,本发明实施例在监控室设置两台图像台,专门进行会场监控,并在会场n设置一个图像台和一个会场终端,使得该会场即可以实现进行传统模式的会议,也可以实现观看监控画面的功能,本发明实施例在会场m设置1台会场终端,使得该会场仅进行传统模式的会议,而无监控功能。
总体来说,本发明实施例的图像台的数量和设置位置均可以根据实际需要进行设定,相对于现有技术中图像台必须设置在监控室的设置方式,本发明实施例可实现对监控室的灵活设定,从而大大提升了用户体验。
本发明实施例的核心就是利用视频会议系统中的现有的会场终端设备实现现有的图像台的监控功能,从而实现资源的合理利用和任意会场能够观看监控画面。
具体实施时,本发明实施例所述将视频会议系统中的一个或多个会场终端设为图像台,具体包括:根据接收到的用户指令,将视频会议系统中的一个或多个会场终端设为图像台。
也就是说,本发明实施例可实现根据用户的选择来任意设定视频会议系统中会场终端设为图像台,从而实现图像台的灵活设置。
本发明实施例所述web模块是根据接收到的用户指令设置会议配置信息;
具体来说,本发明实施例中用户是通过在会议草稿中来设置会议配置信息。
具体地,本发明实施例所述会议配置信息包括以下中的一种或多种:会议时长、会议能力以及各个图像台的图像台监控信息,等等,具体实施时,本领域的技术人员可以根据实际需要进行任意设定,本发明对此不作具体限定;
需要说明的是,本发明实施例所述的会议能力包括要求图像台和会场终端所具有的视频类型、音频类型、加解密能力以及抗丢包能力等等。
本发明实施例所述的视频类型包括高清、标清等等
本发明实施例所述的音频类型包括图像台和会场终端可支持的音频播放格式等等。
具体实施时,本发明实施例所述图像台监控信息包括监控画面、监控内容和监控布局;
也就是说,本发明实施例的视频会议服务器通过根据图像台的监控画面、监控内容和监控布局,处理完成监控图像,并发送给图像台,由图像台进行解码后发送给显示设备。
需要说明的是,在具体实施时,本领域的技术人员可以根据实际需要来设定其他的图像台监控信息,本发明对此不作具体限定。
具体实施时,本发明实施例所述根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台,具体包括:通过多点控制应用MC根据所述会议配置信息与所述图像台和所述会场终端进行能力交互,判断所述图像台和所述会场终端是否具有会议能力,并在判定为是的情况下,向视频会议媒体处理器MP发送所述图像台监控信息;所述MP根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元VPU下发所述图像台监控信息;所述VPU根据所述图像台监控信息对接收到的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台。
具体来说,本发明实施例通过MC与图像台和会场终端进行能力交互,并在能力交互成功后,通过MP进行媒体资源的计算、管理和分配,然后通过分配的VPU对媒体码流合成监控图像,并将该监控图像发送给图像台。
具体实施时,本发明实施例的MP是根据所述图像台监控信息进行视频处理资源和网络处理资源的计算、管理和分配,并向分配的VPU下发所述图像台监控信息。
并且,本发明实施例VPU根据所述图像台监控信息对接收到的媒体码流进行合成处理,并把合成后的监控图像发送给分配的所述NPU,然后NPU将所述监控图像发送给与所述图像台监控信息所对应的图像台。
简单来说,本发明实施例是通过MC实现与图像台和会场终端进行能力交互,在能力交互通过后,由MP视频处理VPU资源和网络处理NPU资源的计算和分配,再由VPU合成监控图像,最后由NPU将监控图像发送给图像台。
具体实施时,本发明实施例所述方法还包括:
根据用户指令,通过会控页面修改所述图像台监控信息;
所述MC将修改后的图像台监控信息发送给所述MP;
所述MP根据修改后的图像台监控信息进行媒体资源的计算、管理和分配,并向分配的所述VPU下发修改后的图像台监控信息。
也就是说,本发明实施例可根据用户要求来设置,图像台是否将其自身监测的图像发送给视频会议服务器,当用户设置图像台采集的视频流不允许被看时,通过MC向所述图像台发送流控消息,以控制图像台将发送码流流控到零,即图像台不向视频会议服务器发送音视频码流。
具体实施时,本发明实施例所述方法还包括:根据用户指令设置所述图像台采集的视频流是否允许被看,当所述图像台采集的视频流为不允许被看时,通过所述MC向所述图像台发送流控消息,以使所述图像台将发送码流流控到零。
即,本发明实施例中用户可通过会控页面修改图像台监控信息,并通过MC将修改后的图像台监控信息发送给MP,由MP根据修改后的图像台监控信息重新进行媒体资源的计算、管理和分配。
本发明第四实施例,本实施例是在上述实施例的基础上,结合附图2、3以及图6和图7介绍一个本发明的视频会议的控制方法的应用实例。
本发明实施例通过使用已有的会场终端实现图像台的监控功能,实现现有资源的最大利用,并实现在任意会场能够观看监控画面的功能。
具体来说,本发明实施例通过将普通的会场终端配置为图像台,实现会场监控的功能。在会议草稿中灵活预设图像台的监控信息,包括监控画面、监控内容和监控布局等信息;同时可以配置图像台的本地画面是否允许被看。且会议过程中,在会控页面可以修改图像台监控信息,包括监控画面、监控内容和监控布局等信息。
本发明实施例的视频会议系统包括:
图像台:图像台的硬件设备为视频会议系统中的传统的会场终端设备。图像台部署在监控室或会场内,通过IP网络或E1专线与视频会议服务器进行连接。负责接收服务器发送的视频监控画面,解码视频码流并输出到显示设备。
多点控制单元:Multipoint Control Unit,本文简称MCU。是视频会议系统的视频会议服务器,负责视频会议流程和媒体码流的处理。负责图像台的角色管理和图像台流程处理,预设图像台监控画面,并根据预设进行画面编码。接收会场终端发送给视频会议服务器的媒体码流,根据会议配置进行媒体码流的编解码,并把处理后的媒体码流发送给会场终端和图像台设备。它还具备对视频会议系统进行有效控制的功能,以及对视频会议系统进行有效管理的功能。
WEB模块:视频会议系统页面,给用户提供操作页面,进行配置图像台和会议配置信息并进行开会。
MC:MultiPoint Controller,多点控制应用,负责按照会议配置信息,与图像台和普通终端进行能力交互,并向图像台下发流控消息。
MP:Media Processer视频会议媒体处理。实现媒体业务处理所需的媒体处理资源(VPU资源和NPU资源)的计算和分配。它是对单个MCU上的某个单板或节点的资源计算和分配。可以理解为微观上的资源计算、管理和分配。接收MC下发的图像台监控信息进行媒体资源计算和分配,通知VPU图像处理信息和NPU媒体收发信息。
VPU:Video Process Unit视频处理单元。负责接收MP下发的图像台监控信息,根据图像台监控信息对从NPU接收的媒体码流进行处理,并把处理好的图像传输给NPU。
NPU:Network Process Unit,MCU上的网络处理单元,负责与会场终端设备的媒体码流的收发,向图像台发送媒体码流等功能。
图2是本发明实施例提供的一种视频会议系统的结构示意图,如图2所示,所述系统包括视频会议服务器、监控室、会场n、会场m,其中,
所述视频会议服务器,负责图像台的角色管理和图像台流程处理,预设图像台监控画面,并根据预设进行画面编码。接收会场终端发送给服务器的媒体码流,根据会议配置信息进行媒体码流的编解码,并把处理后的媒体码流发送给会场终端和图像台设备。它还具备对视频会议系统进行有效控制的功能,以及对视频会议系统进行有效管理的功能。
所述监控,部署多台图像台,专门进行会场监控;
所述会场n,部署1台会场终端和1台图像台,即可以进行传统模式的会议,也可以观看监控画面;
所述会场m,部署1台会场终端,进行传统模式的会议,无监控功能。
图3是本发明的系统架构示意图;如图3所示,所述系统包括WEB模块、MC、图像台、MP、VPU、NPU和会场终端,其中,
WEB模块,负责图像台信息配置、会议信息配置和提供开会按钮;
MC,负责按照会议配置信息,与图像台和普通终端进行能力交互,并向图像台下发图像台控制消息;
图像台,负责接收视频会议服务器发送的视频监控画面,解码视频码流并输出到显示设备;
MP,接收MC模块下发的媒体处理信息进行媒体资源计算和分配,通知VPU图像处理信息和NPU媒体收发信息;
VPU,负责接收MP下发的图像处理信息,根据图像处理信息对从NPU接收的媒体码流进行处理,并把处理好的图像传输给NPU;
本发明实施例的图像处理信息包括针对图像台的图像台监控信息以及针对会场终端的图像处理信息,本发明实施例针对图像台监控信息合成监控图像,通过NPU发送给图像台,并针对会场终端的图像处理信息也进行相应的处理,并发送给会场终端,由于针对会场终端的图像处理部分是现有技术,所以本发明实施例在此不作详细说明。
NPU,负责根据所述媒体收发信息,实现与终端设备的媒体码流的收发,向图像台和会场终端发送媒体码流等功能;
会场终端,负责接收服务器发送的会议画面,解码视频码流并输出到显示设备。
图6是本发明实施例提供的另一种视频会议的控制方法,如图6所示,本发明实施例的视频会议的控制方法包括:
步骤601:视频会议系统配置图像台;
步骤602:创建会议草稿,添加图像台,并预设图像台监控信息;
设置监控的多画面数,例如,设置1-25画面;
设置子画面监控内容,例如设置主视频、辅视频,等等;
设置图像台是否可以被看;
步骤603:通过web页面的开会按钮触发召开会议;
步骤604:web向MC发送开会信息,MC判断会议是否已经召开;如果会议已经召开,则进行步骤620流程结束;否则继续;
步骤605:MC通知MP进行资源计算,计算会议资源和图像台资源是否足够;
本发明实施例所述的会议资源包括视频处理资源和网络处理资源,在开会前,本发明实施例通过该步骤用以确定视频会议系统是否具有开会能力。
步骤606:如果会议资源不足,则MP向MC反馈资源不足的消息,MC进行关会,然后进行步骤620流程结束;否则继续;
步骤607:MP向MC发送资源计算结果,MC进行开会;
步骤608:MC与图像台和会场终端进行能力交互,并判断能力交互是否成功;
步骤609:如果能力交互失败,则MC停止图像台监控,然后进行步骤620流程结束;否则继续;
步骤610:MC根据会议配置中“图像台是否被看”,如果允许被看,则进行步骤613,否则继续;
步骤611:MC向图像台发送流控消息;
步骤612:图像台将发送码流流控到0;
步骤613:MC向MP下发图像台监控消息;
步骤614:MP分配图像处理结点,即,MP根据图像台监控信息进行媒体资源的计算、管理和分配;
步骤615:MP向VPU下发图像台监控消息;
步骤616:VPU根据监控指令,合成监控图像;
步骤617::VPU把监控图像发送给NPU;
步骤618:NPU接收VPU发送的监控码流,并发送给会场终端和图像台;
步骤619:图像台和会场终端进行解码并显示监控图像;
步骤620:流程结束。
图7是本发明的会控修改图像台监控信息流程示意图;如图7所示,本发明实施例修改图像台监控信息包括以下步骤:
步骤701:在会控页面web修改图像台监控信息;
步骤702:web向MC下发图像台的监控变更消息;
步骤703:MC向MP下发图像台的监控变更消息;
步骤704:MP分配图像处理结点;
步骤705:MP向VPU下发图像台监控消息;
步骤706:VPU根据监控指令,合成监控图像;
步骤707:VPU把监控图像发送给NPU;
步骤708:NPU接收VPU发送的监控码流,并发送给终端;
步骤709:图像台解码并显示监控图像;
步骤710:流程结束。
本发明实施例的方法利用视频会议系统中的现有的会场终端设备实现现有的图像台的监控功能,从而实现资源的合理利用和任意会场能够观看监控画面。
本发明第五实施例提供一种提供计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如下方法步骤:
将视频会议系统中的一个或多个会场终端设为图像台;
根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台。
上述方法步骤的具体实施例过程可参见第三实施例,本实施例在此不再重复赘述。
另外,需要说明的是,本发明实施例所述的存储介质与计算机可读存储介质是同一介质。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式,这些均属于本发明的保护之内。

Claims (20)

1.一种视频会议服务器,其特征在于,包括:
web模块,用于将视频会议系统中的一个或多个会场终端设为图像台;
处理模块,用于根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台。
2.如权利要求1所述的服务器,其特征在于,
当所述图像台为多个时,所述图像台全部设置在监控室,或者,分别设置在所述监控室和预设的会场内。
3.如权利要求1所述的服务器,其特征在于,
所述web模块还用于,根据接收到的用户指令,将视频会议系统中的一个或多个会场终端设为图像台。
4.如权利要求1-3中任意一项所述的服务器,其特征在于,
所述web模块还用于,根据接收到的用户指令设置会议配置信息;
所述会议配置信息包括以下中的一种或多种:会议时长、会议能力以及图像台的图像台监控信息;
所述图像台监控信息包括以下中的一种或多种:监控画面、监控内容和监控布局。
5.如权利要求4所述的服务器,其特征在于,所述处理模块进一步包括:
多点控制应用MC,用于根据所述会议配置信息与所述图像台和所述会场终端进行能力交互,判断所述图像台和所述会场终端是否具有会议能力,并在判定为是的情况下,向视频会议媒体处理器MP发送所述图像台监控信息;
所述MP,用于根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元VPU下发所述图像台监控信息;
所述VPU,用于根据所述图像台监控信息对接收到的会场终端的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台。
6.如权利要求5所述的服务器,其特征在于,
所述MP还用于,根据所述图像台监控信息进行视频处理资源和网络处理资源的计算、管理和分配,并向分配的VPU下发所述图像台监控信息。
7.如权利要求5所述的服务器,其特征在于,还包括:网络处理单元NPU;
所述VPU还用于,根据所述图像台监控信息对接收到的媒体码流进行合成处理,并把合成后的监控图像发送给分配的NPU;
所述NPU,用于将所述监控图像发送给与所述图像台监控信息所对应的图像台。
8.如权利要求4所述的服务器,其特征在于,
所述web模块还用于,根据用户指令修改所述图像台监控信息;
所述MC还用于,将修改后的图像台监控信息发送给所述MP;
所述MP还用于,根据修改后的图像台监控信息进行媒体资源的计算、管理和分配,并向分配的VPU下发修改后的图像台监控信息。
9.如权利要求1-3中任意一项所述的服务器,其特征在于,
所述web模块还用于,根据用户指令设置所述图像台采集的视频流是否允许被看;
当所述web模块根据用户指令设置所述图像台采集的视频流为不允许被看时,所述MC还用于,向所述图像台发送流控消息,以使所述图像台将发送码流流控到零。
10.一种视频会议系统,其特征在于,包括:图像台、会场终端以及权利要求1-9中任意一项所述的视频会议服务器;
所述视频会议服务器进一步包括:
web模块,用于将视频会议系统中的一个或多个会场终端设为图像台;
处理模块,用于根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台;
所述图像台,用于解码视频会议服务器发送来的视音频码流,并输出到显示设备;
所述会场终端,用于发送视音频码流到所述视频会议服务器,接收并所述视频会议服务器发送的视音频码流,解码并输出到显示设备。
11.一种视频会议的控制方法,其特征在于,包括:
将视频会议系统中的一个或多个会场终端设为图像台;
根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台。
12.如权利要求11所述的方法,其特征在于,
当所述图像台为多个时,所述图像台全部设置在监控室,或者,分别设置在所述监控室和预设的会场内。
13.如权利要求11所述的方法,其特征在于,所述将视频会议系统中的一个或多个会场终端设为图像台,具体包括:
根据接收到的用户指令,将视频会议系统中的一个或多个会场终端设为图像台。
14.如权利要求11-13中任意一项所述的方法,其特征在于,还包括:
根据接收到的用户指令设置会议配置信息;
所述会议配置信息包括以下中的一种或多种:会议时长、会议能力、会场终端的以及各个图像台的图像台监控信息;
所述图像台监控信息包括以下中的一种或多种:监控画面、监控内容和监控布局。
15.如权利要求14所述的方法,其特征在于,所述根据预设的图像台监控信息,对接收到的媒体码流进行处理后,发送给与所述图像台监控信息所对应的图像台,具体包括:
通过多点控制应用MC根据所述会议配置信息与所述图像台和所述会场终端进行能力交互,判断所述图像台和所述会场终端是否具有会议能力,并在判定为是的情况下,向视频会议媒体处理器MP发送所述图像台监控信息;
所述MP根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元VPU下发所述图像台监控信息;
所述VPU根据所述图像台监控信息对接收到的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台。
16.如权利要求15所述的方法,其特征在于,所述MP根据所述图像台监控信息进行媒体资源的计算、管理和分配,并向分配的视频处理单元VPU下发所述图像台监控信息,具体包括:
所述MP根据所述图像台监控信息进行视频处理资源和网络处理资源的计算、管理和分配,并向分配的VPU下发所述图像台监控信息。
17.如权利要求15所述的方法,其特征在于,所述分配的VPU根据所述图像台监控信息对接收到的媒体码流进行处理,并把处理后的图像发送给与所述图像台监控信息所对应的图像台,具体包括:
所述VPU根据所述图像台监控信息对接收到的媒体码流进行合成处理,并把合成后的监控图像发送给分配的所述NPU;
所述NPU将所述监控图像发送给与所述图像台监控信息所对应的图像台。
18.如权利要求14所述的方法,其特征在于,还包括:
根据用户指令,通过会控页面修改所述图像台监控信息;
所述MC将修改后的图像台监控信息发送给所述MP;
所述MP根据修改后的图像台监控信息进行媒体资源的计算、管理和分配,并向分配的所述VPU下发修改后的图像台监控信息。
19.如权利要求11-13中任意一项所述的方法,其特征在于,还包括:
根据用户指令设置所述图像台采集的视频流是否允许被看;
当所述图像台采集的视频流为不允许被看时,通过所述MC向所述图像台发送流控消息,以使所述图像台将发送码流流控到零。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有信号映射的计算机程序,所述计算机程序被至少一个处理器执行时,以实现权利要求11-19中任意一项所述的视频会议的控制方法。
CN201810659997.XA 2018-06-25 2018-06-25 一种视频会议服务器、系统、控制方法及存储介质 Active CN110636244B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810659997.XA CN110636244B (zh) 2018-06-25 2018-06-25 一种视频会议服务器、系统、控制方法及存储介质
PCT/CN2019/092832 WO2020001444A1 (zh) 2018-06-25 2019-06-25 一种视频会议服务器、系统、控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810659997.XA CN110636244B (zh) 2018-06-25 2018-06-25 一种视频会议服务器、系统、控制方法及存储介质

Publications (2)

Publication Number Publication Date
CN110636244A true CN110636244A (zh) 2019-12-31
CN110636244B CN110636244B (zh) 2022-03-29

Family

ID=68967103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810659997.XA Active CN110636244B (zh) 2018-06-25 2018-06-25 一种视频会议服务器、系统、控制方法及存储介质

Country Status (2)

Country Link
CN (1) CN110636244B (zh)
WO (1) WO2020001444A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023051153A1 (zh) * 2021-09-30 2023-04-06 中兴通讯股份有限公司 会议电视mcu巡检方法、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154210A1 (en) * 1993-10-01 2002-10-24 Lester F. Ludwig Videoconferencing hardware
CN1697517A (zh) * 2004-05-10 2005-11-16 深圳市中太多媒体通信有限公司 一种用操作员座席控制会议电视过程的方法及装置
CN101534411A (zh) * 2009-04-08 2009-09-16 深圳华为通信技术有限公司 一种基于图像的视讯会议控制方法、终端及系统
CN101710961A (zh) * 2009-12-09 2010-05-19 中兴通讯股份有限公司 电视会议中生成字幕的控制方法及装置
CN102065264A (zh) * 2009-11-18 2011-05-18 深圳市邦彦信息技术有限公司 一种无mcu的视频指挥/会议系统及方法
CN102137249A (zh) * 2010-12-31 2011-07-27 华为技术有限公司 一种视频通信的处理方法、系统和视频互通设备
CN102447875A (zh) * 2010-09-30 2012-05-09 中兴通讯股份有限公司 一种对视频会议终端集中监控的方法和系统及相关装置
CN102480613A (zh) * 2010-11-25 2012-05-30 中兴通讯股份有限公司 会议电视系统的终端的视频监控方法、装置及系统
US20140074537A1 (en) * 2012-09-05 2014-03-13 Crestron Electronics, Inc. Initiating Schedule Management Via Near Field Communication
CN105187760A (zh) * 2015-07-30 2015-12-23 武汉随锐亿山科技有限公司 一种多点控制单元集群系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000023132A (ja) * 1998-07-06 2000-01-21 Canon Inc データ通信制御装置及びその制御方法、及びデータ通信システム
CN100562095C (zh) * 2007-10-10 2009-11-18 中国联合网络通信集团有限公司 一种用即时消息系统实现视频会议的方法及系统
CN101742219A (zh) * 2008-11-17 2010-06-16 中兴通讯股份有限公司 一种会议电视图像台设备及其实现系统、方法
US9143729B2 (en) * 2010-05-12 2015-09-22 Blue Jeans Networks, Inc. Systems and methods for real-time virtual-reality immersive multimedia communications
CN102006452A (zh) * 2010-11-24 2011-04-06 中兴通讯股份有限公司 通过ip网络监控终端的方法及mcu
CN102111440B (zh) * 2010-12-31 2013-09-11 深圳市永达电子股份有限公司 一种支持动态交互的实时信息安全服务方法及系统
CN102387339B (zh) * 2011-10-24 2014-09-10 中兴通讯股份有限公司 视频会议与视频监控的融合方法及系统
CN106941598A (zh) * 2016-01-04 2017-07-11 中兴通讯股份有限公司 多画面码流合成方法、多画面码流合成控制方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020154210A1 (en) * 1993-10-01 2002-10-24 Lester F. Ludwig Videoconferencing hardware
CN1697517A (zh) * 2004-05-10 2005-11-16 深圳市中太多媒体通信有限公司 一种用操作员座席控制会议电视过程的方法及装置
CN101534411A (zh) * 2009-04-08 2009-09-16 深圳华为通信技术有限公司 一种基于图像的视讯会议控制方法、终端及系统
CN102065264A (zh) * 2009-11-18 2011-05-18 深圳市邦彦信息技术有限公司 一种无mcu的视频指挥/会议系统及方法
CN101710961A (zh) * 2009-12-09 2010-05-19 中兴通讯股份有限公司 电视会议中生成字幕的控制方法及装置
CN102447875A (zh) * 2010-09-30 2012-05-09 中兴通讯股份有限公司 一种对视频会议终端集中监控的方法和系统及相关装置
CN102480613A (zh) * 2010-11-25 2012-05-30 中兴通讯股份有限公司 会议电视系统的终端的视频监控方法、装置及系统
CN102137249A (zh) * 2010-12-31 2011-07-27 华为技术有限公司 一种视频通信的处理方法、系统和视频互通设备
US20140074537A1 (en) * 2012-09-05 2014-03-13 Crestron Electronics, Inc. Initiating Schedule Management Via Near Field Communication
CN105187760A (zh) * 2015-07-30 2015-12-23 武汉随锐亿山科技有限公司 一种多点控制单元集群系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
杨崑: "IP会议电视系统中通信控制和媒体处理功能的分离", 《电信科学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023051153A1 (zh) * 2021-09-30 2023-04-06 中兴通讯股份有限公司 会议电视mcu巡检方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN110636244B (zh) 2022-03-29
WO2020001444A1 (zh) 2020-01-02

Similar Documents

Publication Publication Date Title
US8830294B2 (en) Method and system for video conference control, videoconferencing network equipment, and videoconferencing site
CN102469295B (zh) 会议控制方法及相关设备和系统
RU2662731C2 (ru) Устройство серверного узла и способ
CN101895718B (zh) 视频会议系统多画面广播方法及其装置和系统
WO2011026382A1 (zh) 视频会议虚拟会场的呈现方法、设备及系统
CN101656863A (zh) 一种会议控制的方法、装置和系统
EP2403242A1 (en) Remote user signals identification method, remote conference processing method, apparatus and system
JP4700977B2 (ja) 多地点会議システム
CN103327287B (zh) 一种会议信号播放方法和装置、视频会议终端、移动设备
KR20140098573A (ko) 영상 회의 서비스 제공 장치 및 방법
CN113542660A (zh) 一种实现会议多画面高清显示的方法、系统及存储介质
CN105611219A (zh) 视频会议的处理方法及装置
CN111131759B (zh) 一种实时多媒体传输系统及其使用方法
CN104283857A (zh) 多媒体会议的建立方法、装置及系统
CN108156413B (zh) 视频会议的传输方法及装置、mcu
CN110636244B (zh) 一种视频会议服务器、系统、控制方法及存储介质
WO2016206471A1 (zh) 多媒体业务处理方法、系统及装置
CN106941598A (zh) 多画面码流合成方法、多画面码流合成控制方法及装置
CN112422880A (zh) 视频会议方法、终端设备及可读存储介质
CN115529433A (zh) 一种级联视频会议跨域轮巡方法、装置及电子设备
KR101861561B1 (ko) 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
CN105227895B (zh) Mcu堆叠中的视频布局及处理的方法
JP6255616B2 (ja) マルチコンテンツメディア通信方法、装置、およびシステム
KR20180105594A (ko) 영상 회의 서비스를 위한 다지점 접속 제어 장치 및 방법
CN112839197B (zh) 图像码流处理方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant