CN1968119A - 一种视频会议系统多mcu之间资源共享的方法 - Google Patents
一种视频会议系统多mcu之间资源共享的方法 Download PDFInfo
- Publication number
- CN1968119A CN1968119A CNA200610062508XA CN200610062508A CN1968119A CN 1968119 A CN1968119 A CN 1968119A CN A200610062508X A CNA200610062508X A CN A200610062508XA CN 200610062508 A CN200610062508 A CN 200610062508A CN 1968119 A CN1968119 A CN 1968119A
- Authority
- CN
- China
- Prior art keywords
- mcu1
- resource
- specific function
- mcu2
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明公开了一种视频会议系统多MCU之间资源共享的方法,所述的方法包括如下的步骤:a.将多点控制单元MCU2配置的特殊功能资源注册到没有配置特殊功能资源的MCU1;b.所述的MCU1与所述的特殊功能资源之间建立传送视音频信息的通道,视频会议召开时,所述的MCU1将视音频信息传送到所述的特殊功能资源进行处理,所述的特殊功能资源将处理后的视音频信息返回所述的MCU1。本发明克服现有技术的不足,使得没有配置特殊功能资源的MCU也通过共享其他MCU的特殊资源实现特殊功能的技术方案,多个MCU之间资源可以共享,提高了资源利用率,同时,不需要对每个MCU都配置特殊功能的资源,降低了组网成本。
Description
技术领域
本发明涉及视频会议系统技术领域,具体来说,涉及到视频会议系统多个MCU(Multipoint Control Unit多点控制单元)之间资源共享的技术。
背景技术
视讯会议系统是集视频通信、音频通信以及数据通信于一体的新一代交互式多媒体通信系统,是基于通信网络上的一种增值业务,可以满足两个或多个用户同时进行多媒体通信的需求。
视频会议系统的基本原理是:通过压缩算法对语音和图像数据进行压缩编码处理后,按传输网络相关协议将数据传输到接收目的地,在目的地经过解码解压处理后,恢复成原来的视频信号,从而达到传送视频的目的。
MCU是视讯会议系统核心设备,完成终端接入、会议控制、图像交换、混音、多画面组合(将多路视频图像按照指定显示格式组合为一路视频码流)、视频适配以及语音适配等功能。
在现有的视频会议系统中,每个MCU的资源都是独立管理与应用的,不同MCU之间的资源不能公用,即所有的资源都是MCU的专有资源。每个MCU至少包括呼叫处理、会议控制处理、图像交换处理、混音处理,这些为MCU的基本配置。
除了上述的基本配置之外,多画面组合、视频适配以及语音适配等功能属于MCU的特殊功能,只需要提供给有需要的客户。对于实现MCU的特殊功能的资源,如多画面组合、视频适配等特殊功能资源,不是MCU的基本配置,只是在用户有需要的时候才会使用,且这些特殊业务功能资源配置的费用比较高。
没有配置多画面资源的MCU的示意图如图1所示,因为没有配置多画面资源,该MCU只能召开单画面会议,其中的会场1和会场2的图像只能交替出现,而不能同时出现。
配置有多画面资源的MCU的示意图如图2所示,其中的会场1和会场2的图像可以按照如图2右边的多画面组合模式同时出现。
没有配置多画面资源的MCU1与配置有多画面资源的MCU2组成的组网模式如图3所示,该组网模式可以通过MCU之间的级联召开多画面会议,可以组成图3右方的多画面模式,不过MCU1上只能有一个会场加入到多画面中,原因是现有技术中,两个MCU之间的级联会议,在MCU之间只能建立一条视频通道,进而导致MCU1上只能发送一路视频码流到MCU2上,无法将MCU1上的多个会场组合成多画面。这种组网方式时,由于MCU1上没有多画面资源,且不能独立使用MCU2上的资源,MCU1也无法单独召开多画面会议。
从上面的描述可知,现有技术中各个MCU之间资源不能共享,导致没有配置特殊功能资源的MCU临时需要的一些功能(如多画面功能)无法实现,如果对每个MCU都配置这些特殊功能资源,某些MCU组网时很少应用的功能(如多画面资源、视频适配资源等)也需要配置相应的模块,每台MCU的成本会很高,且这些资源的利用率会很低,进而导致成本增加和资源浪费。
发明内容
本发明的主要目的在于提供一种会议电视系统多MCU之间资源共享的方法,以解决没有配置特殊功能资源的MCU通过共享的方式实现特殊功能的问题。
为实现上述目的,本发明采用如下的方案:
一种视频会议系统多MCU之间资源共享的方法,所述的方法包括如下的步骤:
a、将多点控制单元MCU2配置的特殊功能资源注册到没有配置特殊功能资源的MCU1;
b、所述的MCU1与所述的特殊功能资源之间建立传送视音频信息的通道,视频会议召开时,所述的MCU1将视音频信息传送到所述的特殊功能资源进行处理,所述的特殊功能资源将处理后的视音频信息返回所述的MCU1。
其中步骤a具体包括:
a1、所述的MCU2将其配置的特殊功能资源注册到所述的MCU1;
其中步骤b具体包括:
b1、所述的MCU1与所述的MCU2之间建立传送视音频信息的通道,视频会议召开时,所述的MCU1将视频信息传送到所述的MCU2;
b2、所述的MCU2将所述的视音频信息传送到所述的特殊功能资源进行处理,所述的特殊功能资源将处理后的视音频信息返回所述的MCU1。
其中步骤a具体包括:
a1、将所述的MCU2配置的特殊功能资源分别注册到所述的MCU1和MCU2;
其中步骤b具体包括:
b1、所述的MCU1和MCU2分别与所述的特殊功能资源之间建立传送所述视音频信息的通道,视频会议召开时,所述的MCU1和/或MCU2将视音频信息传送到所述的特殊功能资源;
b2、所述的特殊功能资源对所述的视音频信息进行处理后返回给所述的MCU1和/或MCU2。
所述的特殊功能资源为多画面资源,所述的传送视音频信息的通道为视频码流的传送通道,所述的处理后的视音频信息为所述的MCU1的多个会场的图像组合成的多画面图像。
其中步骤b之后还包括:
所述的MCU1接收所述的多画面图像后发送给所述的多个会场。
所述的特殊功能资源为语音适配资源,所述的传送视音频信息的通道为语音码流的传送通道,所述的处理后的视音频信息为经过所述的语音适配资源进行格式转换后的语音码流。
所述的特殊功能资源为视频适配资源,所述的传送视音频信息的通道为视频码流的传送通道,所述的处理后的视音频信息为经过所述的视频适配资源进行格式转换后的视频码流。
本发明克服现有技术的不足,采用将配置有特殊功能资源的MCU的特殊功能资源共享给没有配置特殊功能资源的MCU,使得没有配置特殊功能资源的MCU也通过共享其他MCU的特殊资源实现特殊功能的技术方案,使得多个MCU之间资源可以共享,提高了资源利用率,同时,不需要对每个MCU都配置特殊功能的资源,降低了组网成本。
附图说明
图1为没有配置多画面资源的MCU的组网示意图;
图2为配置有多画面资源的MCU的组网示意图;
图3为没有配置多画面资源的MCU1与配置有多画面资源的MCU2的组网示意图;
图4为本发明实施例一组网示意图;
图5为本发明实施例一流程图;
图6为本发明实施例二组网示意图;
图7为本发明实施例二流程图。
具体实施方式
本发明的基本原理是将配置有特殊功能资源的MCU(以下称MCU2)的特殊功能资源共享给没有配置特殊功能资源的MCU(以下称MCU1),使得MCU1能够在没有配置特殊功能资源的情况下通过共享MCU2的资源实现特殊功能,降低MCU1的配置成本,同时也提高MCU2的资源利用率。
以下结合附图和具体实施例进行详细说明。
本发明实施例中的特殊功能资源以多画面资源为例,MUC1仅仅有基本配置,没有多画面资源,不能召开多画面会议;MCU2配置有多画面资源,可以召开多画面会议。
本发明实施例所述的MCU1共享MCU2的资源有两种方式:一种是将所有多画面资源同时上报给两个MCU,采用先申请先占用的原则,资源满足的条件下,两个MCU可以共同使用;另一种就是将所有多画面资源分为两部分,分别上报给两个MCU,每个MCU都独立使用上报的资源,一个MCU不能抢占另一个MCU上的资源,即使另一个MCU上的多画面资源没有使用。
实施例一:实现多画面功能的多画面模块集成在MCU2内部
如图4所示,多画面模块集成在MCU2内部时,多画面模块可以认为是MCU2内部的一个模块,不能与外界设备单独通信,在这种组网方式下,由于MCU1不能直接将视频码流发送到MCU2的多画面模块,即不能直接与多画面模块建立视频通道,需要MCU1与MCU2的控制模块之间建立通信,需要MCU2的控制模块与MCU1的控制模块配合,在MCU1与MCU2之间建立视频通道,以供视频码流传送。
本实施例的工作原理如图5所示,具体包括如下的步骤:
1、MCU2将多画面资源注册到MCU1,此时MCU1系统有多画面资源,可以召开多画面会议;
2、MCU1召开由会场1与会场2参与的多画面会议;
3、会议召开后,MCU1通知MCU2建立视频码流传送通道;
4、MCU1到MCU2方向建立多条单向视频通道(具体通道数由参与多画面组合的会场数确定),以便MCU1发送多路视频码流到MCU2,MCU2到MCU1方向建立1条视频通道,供MCU2将组合后的多画面视频码流发送到MCU1,本实施例中MCU1召开由会场1与会场2参与的多画面会议,会议中需要组合一个由会场1与会场2组合的4画面,MCU1到MCU2方向需要建立2条单向视频通道,一条通道传送会场1的视频码流,一条通道传送会场2的视频码流,MCU2到MCU1方向需要建立一条单向视频通道;
5、MCU1通过上述的通道之一传送会场1的视频码流到MCU2,通过上述的另一条通道传送会场2的视频码流给MCU2,MCU2对收到的视频码流进行视频解码,再进行图像滤波,得到多画面中会场对应位置大小的图像(如会场1在多画面的左上角),然后按照用户希望组合的多画面模式进行编码(如会场1在四画面的左上角,会场2在四画面的右上角),将多个图像组合成一路完整的视频码流。
6、MCU2将组合后的多画面视频码流发送给MCU1,MCU1将多画面视频码流发送给会场1与会场2,会场1与会场2就可以看到由会场1与会场2组合的4画面,如图4右上方的多画面组合1。
实施例二:多画面模块独立于MCU2
如图6所示,多画面模块独立于MCU2时,多画面模块可以认为是MCU的外置模块,可以与外界设备独立通信,MCU1可以直接与多画面模块建立视频通道,不需要通过MCU2的控制模块。
本实施例的工作原理如图7所示,具体包括如下的步骤:
1、多画面模块分别注册到MCU1与MCU2,此时MCU1与MCU2享有独立的多画面资源,MCU1与MCU2之间不需要建立任何信息,即MCU1与MCU2都不需要知道对方的存在;
2、MCU1召开由会场1与会场2参与的多画面会议,MCU2召开由会场3和会场4参与的多画面会议;
3、会议召开后,MCU1、MCU2分别与多画面模块建立视频码流传送通道,MCU1建立两条到多画面模块的单向视频通道,一条通道用来传送会场1的视频码流,一条通道用来传送会场2的视频码流,多画面模块到MCU1方向需要建立一条单向视频通道,用来将组合后的视频码流传送到MCU1;同理,MCU2建立两条到多画面模块的单向视频通道,一条通道用来传送会场3的视频码流,一条通道用来传送会场4的视频码流,多画面模块到MCU2方向需要建立一条单向视频通道,用来将组合后的视频码流传送到MCU2;
4、MCU1通过上述的通道之一传送会场1的视频码流到多画面模块,通过上述的另一条通道传送会场2的视频码流给多画面模块,多画面模块对会场1和会场2的视频码流进行处理;MCU2通过上述的通道之一传送会场3的视频码流到多画面模块,通过上述的另一条通道传送会场4的视频码流给多画面模块,多画面模块对会场3和会场4的视频码流进行处理;
5、多画面模块根据控制信令确认当前设置的多画面属于哪个MCU,将对应MCU的组合多画面码流发送给对应的MCU;
6、MCU1将多画面视频码流发送给会场1与会场2,会场1与会场2就可以看到由会场1与会场2组合的4画面,如图5右上方的多画面组合1;MCU2将多画面视频码流发送给会场3与会场4,会场3与会场4就可以看到由会场3与会场4组合的4画面,如图5右上方的多画面组合2。
当然,上述的MCU1与MCU2也可以不同时召开会议,而是在不同的时间内分别的召开会议,分别使用多画面资源。
此外,特殊功能资源除了上述的多画面资源之外,还有视频适配资源和语音适配资源,其资源共享的原理与上述实施例大致一致,以视频适配资源为例:如果MCU2上配置有视频适配资源,而MCU1上没有配置,但MCU1召开由会场1和会场2参加的视频会议,会场1与会场2采用不同的视频收发协议,此时MCU1需要进行视频适配,MCU1可以采用本发明所述的方案共享MCU2的视频适配资源,此时MCU1通过MCU2与MCU2的视频适配资源或者直接与MCU2的视频适配资源之间建立的传输视频码流的通道为双向的单条通道,MCU1将会场1的视频码流发送到视频适配模块,视频适配模块对会场1的视频码流进行解码,然后按照会场2的视频协议进行视频编码,将处理后的视频码流回传给发送码流过来的MCU1,MCU1再将码流发送给会场2,这时会场2就能正常解析会场1的视频码流。
Claims (7)
1、一种视频会议系统多MCU之间资源共享的方法,其特征在于,所述的方法包括如下的步骤:
a、将多点控制单元MCU2配置的特殊功能资源注册到没有配置特殊功能资源的MCU1;
b、所述的MCU1与所述的特殊功能资源之间建立传送视音频信息的通道,视频会议召开时,所述的MCU1将视音频信息传送到所述的特殊功能资源进行处理,所述的特殊功能资源将处理后的视音频信息返回所述的MCU1。
2、根据权利要求1所述的方法,其特征在于,其中步骤a具体包括:
a1、所述的MCU2将其配置的特殊功能资源注册到所述的MCU1;
其中步骤b具体包括:
b1、所述的MCU1与所述的MCU2之间建立传送视音频信息的通道,视频会议召开时,所述的MCU1将视音频信息传送到所述的MCU2;
b2、所述的MCU2将所述的视频信息传送到所述的特殊功能资源进行处理,所述的特殊功能资源将处理后的视音频信息返回所述的MCU1。
3、根据权利要求1所述的方法,其特征在于,其中步骤a具体包括:
a1、将所述的MCU2配置的特殊功能资源分别注册到所述的MCU1和MCU2;
其中步骤b具体包括:
b1、所述的MCU1和MCU2分别与所述的特殊功能资源之间建立传送所述视音频信息的通道,视频会议召开时,所述的MCU1和/或MCU2将视音频信息传送到所述的特殊功能资源;
b2、所述的特殊功能资源对所述的视音频信息进行处理后返回给所述的MCU1和/或MCU2。
4、根据权利要求1所述的方法,其特征在于,所述的特殊功能资源为多画面资源,所述的传送视音频信息的通道为视频码流的传送通道,所述的处理后的视音频信息为所述的MCU1的多个会场的图像组合成的多画面图像。
5、根据权利要求4所述的方法,其特征在于,其中步骤b之后还包括:
所述的MCU1接收所述的多画面图像后发送给所述的多个会场。
6、根据权利要求1所述的方法,其特征在于,所述的特殊功能资源为语音适配资源,所述的传送视音频信息的通道为语音码流的传送通道,所述的处理后的视音频信息为经过所述的语音适配资源进行格式转换后的语音码流。
7、根据权利要求1所述的方法,其特征在于,所述的特殊功能资源为视频适配资源,所述的传送视音频信息的通道为视频码流的传送通道,所述的处理后的视音频信息为经过所述的视频适配资源进行格式转换后的视频码流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200610062508XA CN100454821C (zh) | 2006-09-07 | 2006-09-07 | 一种视频会议系统多mcu之间资源共享的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB200610062508XA CN100454821C (zh) | 2006-09-07 | 2006-09-07 | 一种视频会议系统多mcu之间资源共享的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1968119A true CN1968119A (zh) | 2007-05-23 |
CN100454821C CN100454821C (zh) | 2009-01-21 |
Family
ID=38076688
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200610062508XA Active CN100454821C (zh) | 2006-09-07 | 2006-09-07 | 一种视频会议系统多mcu之间资源共享的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100454821C (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101272266B (zh) * | 2008-04-24 | 2011-04-20 | 华为技术有限公司 | 一种音视频会议中实现文件共享的方法、装置及系统 |
WO2011057507A1 (zh) * | 2009-11-11 | 2011-05-19 | 华为终端有限公司 | 突出视频会议现场氛围的方法和装置 |
CN101355683B (zh) * | 2007-07-23 | 2011-07-13 | 中兴通讯股份有限公司 | 一种宽带专线会议电视系统图像自动匹配的方法 |
WO2012062153A1 (zh) * | 2010-11-08 | 2012-05-18 | 中兴通讯股份有限公司 | 在级联会议中实现多画面的方法、系统及mcu |
CN101540872B (zh) * | 2009-02-23 | 2012-07-04 | 华为终端有限公司 | 媒体控制服务器多通道级联的控制方法、装置和系统 |
CN104519307A (zh) * | 2014-12-12 | 2015-04-15 | 华为软件技术有限公司 | 会议管理系统、多画面合成设备、分会场设备、视频会议实现方法及系统 |
CN104836983A (zh) * | 2015-05-26 | 2015-08-12 | 苏州科达科技股份有限公司 | 视频会议资源管理系统及资源服务器 |
CN110996037A (zh) * | 2019-11-14 | 2020-04-10 | 苏州中车建设工程有限公司 | 一种多点视频会议画面显示系统及其控制方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000188743A (ja) * | 1998-12-21 | 2000-07-04 | Nec Corp | 多地点テレビ会議装置における一斉放送方式 |
JP2000253374A (ja) * | 1999-02-26 | 2000-09-14 | Hitachi Ltd | テレビ会議制御システム及びテレビ会議システム |
US6687234B1 (en) * | 1999-10-05 | 2004-02-03 | Siemens Information & Communication Networks, Inc. | Apparatus and method for optimal conference call renegotiation in telephony over LAN systems |
WO2001035655A2 (en) * | 1999-11-08 | 2001-05-17 | Polycom Israel Ltd. | A method for controlling one or more multipoint control units with one multipoint control unit |
CN1195381C (zh) * | 2002-12-27 | 2005-03-30 | 北京鼎视通软件技术有限公司 | 一种多画面输出方法及系统 |
CN100542099C (zh) * | 2003-11-24 | 2009-09-16 | 王生安 | 一种多点控制单元及其基于ip网的共享方法与会议系统 |
CN100337477C (zh) * | 2004-04-02 | 2007-09-12 | 华为技术有限公司 | 一种视讯业务实现方法 |
CN100346647C (zh) * | 2004-12-31 | 2007-10-31 | 北京航空航天大学 | 一种在互联网上多点视频会议多屏幕显示的方法 |
-
2006
- 2006-09-07 CN CNB200610062508XA patent/CN100454821C/zh active Active
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101355683B (zh) * | 2007-07-23 | 2011-07-13 | 中兴通讯股份有限公司 | 一种宽带专线会议电视系统图像自动匹配的方法 |
CN101272266B (zh) * | 2008-04-24 | 2011-04-20 | 华为技术有限公司 | 一种音视频会议中实现文件共享的方法、装置及系统 |
CN101540872B (zh) * | 2009-02-23 | 2012-07-04 | 华为终端有限公司 | 媒体控制服务器多通道级联的控制方法、装置和系统 |
US8392535B2 (en) | 2009-02-23 | 2013-03-05 | Huawei Device Co., Ltd. | Method, device and system for controlling multichannel cascade between two media control servers |
WO2011057507A1 (zh) * | 2009-11-11 | 2011-05-19 | 华为终端有限公司 | 突出视频会议现场氛围的方法和装置 |
CN102065266B (zh) * | 2009-11-11 | 2012-07-25 | 华为终端有限公司 | 突出视频会议现场氛围的方法和装置 |
WO2012062153A1 (zh) * | 2010-11-08 | 2012-05-18 | 中兴通讯股份有限公司 | 在级联会议中实现多画面的方法、系统及mcu |
CN104519307A (zh) * | 2014-12-12 | 2015-04-15 | 华为软件技术有限公司 | 会议管理系统、多画面合成设备、分会场设备、视频会议实现方法及系统 |
CN104519307B (zh) * | 2014-12-12 | 2018-01-12 | 华为软件技术有限公司 | 会议管理系统、多画面合成设备、分会场设备、视频会议实现方法及系统 |
CN104836983A (zh) * | 2015-05-26 | 2015-08-12 | 苏州科达科技股份有限公司 | 视频会议资源管理系统及资源服务器 |
CN104836983B (zh) * | 2015-05-26 | 2018-11-20 | 苏州科达科技股份有限公司 | 视频会议资源管理系统及资源服务器 |
CN110996037A (zh) * | 2019-11-14 | 2020-04-10 | 苏州中车建设工程有限公司 | 一种多点视频会议画面显示系统及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
CN100454821C (zh) | 2009-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11503250B2 (en) | Method and system for conducting video conferences of diverse participating devices | |
CN1968119A (zh) | 一种视频会议系统多mcu之间资源共享的方法 | |
KR100880150B1 (ko) | 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법 | |
CN101262587B (zh) | 一种实现多画面视频会议的方法及多点控制单元 | |
CN101031065A (zh) | 一种在视频业务中实现画面切换的方法、装置及系统 | |
CN1885785A (zh) | Mcu级联系统和该系统的创建及通信方法 | |
CN1910926A (zh) | 用于处理视频通信差错的方法和装置 | |
CN1918912A (zh) | 用于产生持续出席图像的装置和方法 | |
CN101404748B (zh) | 用于大规模高清网络视频会议的视频数据传输系统及方法 | |
CN101034960A (zh) | 一种远程多人会议的实现方法及相应系统 | |
US20120206563A1 (en) | Method and System for Composing Video Images from a Plurality of Endpoints | |
WO2013113281A1 (zh) | 传输多媒体数据的方法、装置及系统 | |
CN103873812A (zh) | 宽带多媒体集群系统调度台的自适应分辨率h.264视频编码方法 | |
CN101350908A (zh) | 用于网络视频会议的视频数据传输系统及方法 | |
CN1754368A (zh) | 通信服务单元以及连接顺序执行方法 | |
WO2019128266A1 (zh) | 视频会议的传输方法及装置、mcu | |
CN1917672A (zh) | 数字集群系统的讲话权控制方法及通信方法 | |
CN1199460C (zh) | 视讯系统中的图像分层编码和交换方法 | |
CN1933480A (zh) | 一种多媒体数据转换网关的方法 | |
CN1620133A (zh) | 在会议电视系统中实现单画面和多画面切换的方法 | |
CN1870746A (zh) | 一种实时召开视讯会议的方法和系统 | |
CN1855930A (zh) | 一种基于会话初始协议的传送会议控制消息的实现方法 | |
CN1581970A (zh) | 码流的带宽均衡方法 | |
CN1622617A (zh) | 一种多点控制单元及其基于ip网的共享方法与会议系统 | |
CN1244234C (zh) | 基于dct空间的多路画面混合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |