CN102800311B - 一种语音检测方法和系统 - Google Patents
一种语音检测方法和系统 Download PDFInfo
- Publication number
- CN102800311B CN102800311B CN201110138406.2A CN201110138406A CN102800311B CN 102800311 B CN102800311 B CN 102800311B CN 201110138406 A CN201110138406 A CN 201110138406A CN 102800311 B CN102800311 B CN 102800311B
- Authority
- CN
- China
- Prior art keywords
- voice data
- voice
- data packet
- detection
- server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 143
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000005538 encapsulation Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000000694 effects Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Landscapes
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提出一种语音检测方法和系统，其中方法包括：语音发送设备将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；语音发送设备将普通语音数据包和检测语音数据包发送至服务器；服务器将接收到的检测语音数据包发送至语音发送设备；语音发送设备对来自服务器的检测语音数据包进行解封装，形成语音数据，播放所述语音数据。本发明能够使发送方检测出本端语音传输到接收方之后的语音效果。
Description
技术领域
本发明涉及语音聊天技术领域，尤其涉及一种语音检测的方法和系统。
背景技术
目前的语音聊天软件中由于个人电脑的配置不同、上网环境不同等原因，导致用户经常出现听不见声音、不知道对方是否能够听到自己声音，不清楚音量或音频设备对语音效果产生多少影响等问题。
目前的音频效果检测都是对本地声音的效果检测，即计算机通过声卡输入通道采集到用户的音频数据，做简单的缓冲处理，然后传递给声卡的输出通道进行播放。这种方式只能检测到发送方在本机的声音而不能检测接收方实际听到的效果，然而，由于网络和其它条件的限制，接收方和发送方听到的声音可能差距很大；并且，在现有的即时通讯软件中，接收方播放网络音频的方法通常是先下载缓存多个音频数据包，等待下载完成后播放，如果有某一个音频数据包下载失败，则丢弃该音频数据包，这种方式更加大了接收方和发送方声音的差距。
可见，现有的语音聊天软件的语音检测功能的无法使语音发送方检测到本端语音传输到接收方之后的语音效果。
发明内容
本发明提供了一种语音检测系统和方法，能够使发送方检测出本端语音传输到接收方之后的语音效果。
本发明还提供了用于语音检测的语音发送设备和服务器，能够使发送方检测出本端语音传输到接收方之后的语音效果。
本发明的技术方案是这样实现的：
一种语音检测系统，包括语音发送设备和服务器，所述语音发送设备和服务器通过网络连接；其中，
所述语音发送设备，用于将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；还用于将生成的普通语音数据包和检测语音数据包发送至服务器；还用于对来自服务器的检测语音数据包进行解封装，形成语音数据，播放所述语音数据；
所述服务器，用于将接收到的检测语音数据包发送至语音发送设备。
上述系统中，语音发送设备封装普通语音数据包及检测语音数据包的方式为：将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包；
语音发送设备对检测语音数据包进行解封装形成语音数据的方式为：对检测语音数据包进行解封装，形成语音数据段，将所述语音数据段重组为语音数据。
上述系统还包括语音接收设备；
服务器还用于，将接收到的普通语音数据包发送至语音接收设备；
语音接收设备，用于对来自服务器的普通语音数据包进行解封装，将解封装形成的语音数据段重组为语音数据，播放所述语音数据。
上述服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
上述语音发送设备还用于，对检测语音数据包进行解封装之后，判断自身是否处于语音检测状态，如果是，则将解封装形成的语音数据段重组为语音数据，播放所述语音数据；否则丢弃解封装形成的语音数据段。
一种语音检测方法，包括：
语音发送设备将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；将普通语音数据包和检测语音数据包发送至服务器；
语音发送设备接收服务器发送的检测语音数据包，对所述检测语音数据包进行解封装，形成语音数据，播放所述语音数据；其中，所述服务器发送的检测语音数据包来自于所述语音发送设备。
上述方法中，语音发送设备将语音数据封装成普通语音数据包及检测语音数据包的步骤可以包括：语音发送设备将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包；
语音发送设备对检测语音数据包进行解封装，形成语音数据的步骤可以包括：语音发送设备对检测语音数据包进行解封装，形成语音数据段，将所述语音数据段重组为语音数据。
上述方法还可以包括：
服务器将接收到的普通语音数据包发送至语音接收设备；
语音接收设备对来自服务器的普通语音数据包进行解封装，将解封装形成的语音数据段重组为语音数据，播放所述语音数据。
上述方法中，服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
上述方法中，语音发送设备对检测语音数据包进行解封装之后，并在将解封装形成的语音数据段重组为语音数据之前，可以进一步包括：
语音发送设备判断自身是否处于语音检测状态，如果是，则继续执行所述重组语音数据段的步骤；否则丢弃所述语音数据段。
一种用于语音检测的语音发送设备，所述语音发送设备用于，将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；将生成的普通语音数据包和检测语音数据包发送至服务器；还用于对服务器发送的检测语音数据包进行解封装，形成语音数据，播放所述语音数据；其中，所述服务器发送的检测语音数据包来自于所述语音发送设备。
上述语音发送设备封装普通语音数据包及检测语音数据包的方式可以为：将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包；
上述语音发送设备对服务器发送的检测语音数据包进行解封装形成语音数据的方式可以为：对检测语音数据包进行解封装，形成语音数据段，将所述语音数据段重组为语音数据。
上述语音发送设备还可以用于，对检测语音数据包进行解封装之后，判断自身是否处于语音检测状态，如果是，则将解封装形成的语音数据段重组为语音数据，播放所述语音数据；否则丢弃解封装形成的语音数据段。
一种用于语音检测的服务器，所述服务器用于，接收来自语音发送设备的普通语音数据包及用于语音检测的检测语音数据包，将所述检测语音数据包返回至所述语音发送设备；其中，所述检测语音数据包包含语音数据段和检测标识。
上述服务器还可以用于，将所述普通语音数据包发送至语音接收设备。
上述服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
可见，本发明提出的语音检测方法、系统及装置，能够将接收方的语音实现效果在发送方无差别地模拟出来，从而使发送方检测出本端语音传输到接收方之后的语音效果。
附图说明
图1为本发明提出的语音检测方法流程图；
图2为本发明中语音数据包的传输路径示意图。
具体实施方式
本发明提出一种语音检测方法，如图1为本发明提出的语音检测方法流程图，包括：
步骤101：语音发送设备将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，其中，所述检测语音数据包包含语音数据段和检测标识；
步骤102：语音发送设备将普通语音数据包和检测语音数据包发送至服务器；
步骤103：服务器将接收到的检测语音数据包发送至语音发送设备；
步骤104：语音发送设备对来自服务器的检测语音数据包进行解封装，形成语音数据，播放所述语音数据。
步骤101中，语音发送设备可以将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包。
语音发送设备选择部分语音数据段封装成检测语音数据包，这里选择的方式可以有多种。例如，随机选择连续的多个语音数据段，按照固定的周期选择连续的多个语音数据段，当语音发送设备接收到用户的语音检测指令时开始选择连续的多个语音数据段，等等。本发明对此不做限制。
相应地，在步骤104中，语音发送设备对检测语音数据包进行解封装后，形成语音数据段，之后可以将语音数据段重组为语音数据。
上述方法中，将语音数据分段后进行封装和传输，实现了语音数据的灵活传输，从而减少语音传输对网络带宽的压力；并且，选择部分语音数据段封装成检测语音数据包，同样起到了减少网络带宽压力的效果。
上述方法还可以包括：
服务器将接收到的普通语音数据包发送至语音接收设备；语音接收设备对来自服务器的普通语音数据包进行解封装，将解封装形成的语音数据段重组为语音数据，播放所述语音数据。
如图2为本发明中语音数据包的传输路径示意图，其中，语音发送设备将普通语音数据包和检测语音数据包发送至服务器；服务器将接收到的检测语音数据包返回至语音发送设备，用于发送端的语音检测，而将普通语音数据包继续发送至语音接收设备，用于正常的语音聊天。
由于检测语音数据包和普通语音数据包都要经过网络传输，语音发送设备可以基本无差别地模拟出语音接收设备的声音效果，从而达到语音检测的目的。用户只需不断调节音量或者选择合适的音频设备等简单操作就可以完成本地声音设备检测和网络音频调解等。
上述过程中，服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
上述步骤104中，语音发送设备对检测语音数据包进行解封装之后，并在将解封装形成的语音数据段重组为语音数据之前，可以进一步包括：语音发送设备判断自身是否处于语音检测状态，如果是，则继续执行所述重组语音数据段的步骤；否则丢弃所述语音数据段。
上述过程中，语音发送设备通过将本地采集的声音信号经过编码，形成原始的语音数据；相应地，在语音发送设备和语音接收设备播放语音数据时，需要先将该语音数据进行解码，然后播放解码后得到的声音信号。
另外，语音发送设备和语音接收设备将语音数据段重组为语音数据时，可以采用现有技术中的网络抖动(Jitter)处理等方式进行重组。
本发明还提出一种语音检测系统，包括语音发送设备和服务器，所述语音发送设备和服务器通过网络连接；其中，
语音发送设备，用于将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；还用于将生成的普通语音数据包和检测语音数据包发送至服务器；还用于对来自服务器的检测语音数据包进行解封装，形成语音数据，播放所述语音数据；
服务器，用于将接收到的检测语音数据包发送至语音发送设备。
上述系统中，语音发送设备封装普通语音数据包及检测语音数据包的方式可以为：将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包；
语音发送设备检测语音数据包进行解封装形成语音数据的方式可以为：对检测语音数据包进行解封装，形成语音数据段，将所述语音数据段重组为语音数据。
上述系统还可以包括语音接收设备，这样，
服务器还可以用于，将接收到的普通语音数据包发送至语音接收设备；
语音接收设备，用于对来自服务器的普通语音数据包进行解封装，将解封装形成的语音数据段重组为语音数据，播放所述语音数据。
上述系统中，服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
上述语音发送设备还可以用于，对检测语音数据包进行解封装之后，判断自身是否处于语音检测状态，如果是，则将解封装形成的语音数据段重组为语音数据，播放所述语音数据；否则丢弃解封装形成的语音数据段。
综上可见，本发明提出的方法和系统，通过网络中的中转服务器将发送方发给接收方的多媒体数据使用发给接收方的方法发回给发送方，发送方模拟接收方接收并回放多媒体数据，从而实时观察自己的多媒体信息并可以进行相关设置操作。通过这种方式，发送方既可以了解自身到服务器的路径是否正常，又可以了解接收方接收到的信号情况，从而达到检测对比和实时调整的目的。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (16)
1.一种语音检测系统，其特征在于，所述系统包括语音发送设备和服务器，所述语音发送设备和服务器通过网络连接；其中，
所述语音发送设备，用于将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；还用于将生成的普通语音数据包和检测语音数据包发送至服务器；还用于对来自服务器的检测语音数据包进行解封装，形成语音数据，播放所述语音数据；
所述服务器，用于将接收到的检测语音数据包发送至语音发送设备。
2.根据权利要求1所述的系统，其特征在于，所述语音发送设备封装普通语音数据包及检测语音数据包的方式为：将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包；
所述语音发送设备对检测语音数据包进行解封装形成语音数据的方式为：对检测语音数据包进行解封装，形成语音数据段，将所述语音数据段重组为语音数据。
3.根据权利要求2所述的系统，其特征在于，所述系统还包括语音接收设备；
所述服务器还用于，将接收到的普通语音数据包发送至语音接收设备；
所述语音接收设备，用于对来自服务器的普通语音数据包进行解封装，将解封装形成的语音数据段重组为语音数据，播放所述语音数据。
4.根据权利要求1、2或3所述的系统，其特征在于，所述服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
5.根据权利要求2或3所述的系统，其特征在于，所述语音发送设备还用于，对检测语音数据包进行解封装之后，判断自身是否处于语音检测状态，如果是，则将解封装形成的语音数据段重组为语音数据，播放所述语音数据；否则丢弃解封装形成的语音数据段。
6.一种语音检测方法，其特征在于，所述方法包括：
语音发送设备将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；将普通语音数据包和检测语音数据包发送至服务器；
语音发送设备接收服务器发送的检测语音数据包，对所述检测语音数据包进行解封装，形成语音数据，播放所述语音数据；其中，所述服务器发送的检测语音数据包来自于所述语音发送设备。
7.根据权利要求6所述的方法，其特征在于，所述语音发送设备将语音数据封装成普通语音数据包及检测语音数据包的步骤包括：语音发送设备将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包；
所述语音发送设备对检测语音数据包进行解封装，形成语音数据的步骤包括：语音发送设备对检测语音数据包进行解封装，形成语音数据段，将所述语音数据段重组为语音数据。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
服务器将接收到的普通语音数据包发送至语音接收设备；
语音接收设备对来自服务器的普通语音数据包进行解封装，将解封装形成的语音数据段重组为语音数据，播放所述语音数据。
9.根据权利要求6、7或8所述的方法，其特征在于，所述服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
10.根据权利要求7或8所述的方法，其特征在于，所述语音发送设备对检测语音数据包进行解封装之后，并在将解封装形成的语音数据段重组为语音数据之前，进一步包括：
语音发送设备判断自身是否处于语音检测状态，如果是，则继续执行所述重组语音数据段的步骤；否则丢弃所述语音数据段。
11.一种用于语音检测的语音发送设备，其特征在于，所述语音发送设备用于，将语音数据封装成普通语音数据包及用于语音检测的检测语音数据包，所述检测语音数据包包含语音数据段和检测标识；将生成的普通语音数据包和检测语音数据包发送至服务器；还用于对服务器发送的检测语音数据包进行解封装，形成语音数据，播放所述语音数据；其中，所述服务器发送的检测语音数据包来自于所述语音发送设备。
12.根据权利要求11所述的语音发送设备，其特征在于，所述语音发送设备封装普通语音数据包及检测语音数据包的方式为：将语音数据进行分段，将形成的各个语音数据段分别封装成普通语音数据包，并将形成的部分语音数据段分别封装成检测语音数据包；
所述语音发送设备对服务器发送的检测语音数据包进行解封装形成语音数据的方式为：对检测语音数据包进行解封装，形成语音数据段，将所述语音数据段重组为语音数据。
13.根据权利要求11或12所述的语音发送设备，其特征在于，所述语音发送设备还用于，对检测语音数据包进行解封装之后，判断自身是否处于语音检测状态，如果是，则将解封装形成的语音数据段重组为语音数据，播放所述语音数据；否则丢弃解封装形成的语音数据段。
14.一种用于语音检测的服务器，其特征在于，所述服务器用于，接收来自语音发送设备的普通语音数据包及用于语音检测的检测语音数据包，将所述检测语音数据包返回至所述语音发送设备；其中，所述检测语音数据包包含语音数据段和检测标识。
15.根据权利要求14所述的服务器，其特征在于，所述服务器还用于，将所述普通语音数据包发送至语音接收设备。
16.根据权利要求14或15所述的服务器，其特征在于，所述服务器收到语音数据包后，如果该语音数据包中包含检测标识，则判定该语音数据包为检测语音数据包；否则，判定该语音数据包为普通语音数据包。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110138406.2A CN102800311B (zh) | 2011-05-26 | 2011-05-26 | 一种语音检测方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110138406.2A CN102800311B (zh) | 2011-05-26 | 2011-05-26 | 一种语音检测方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102800311A CN102800311A (zh) | 2012-11-28 |
| CN102800311B true CN102800311B (zh) | 2015-08-12 |
Family
ID=47199402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110138406.2A Active CN102800311B (zh) | 2011-05-26 | 2011-05-26 | 一种语音检测方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102800311B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106504742B (zh) * | 2016-11-14 | 2019-09-20 | 海信集团有限公司 | 合成语音的传输方法、云端服务器和终端设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101247432A (zh) * | 2007-07-18 | 2008-08-20 | 北京高信达网络科技有限公司 | 一种VoIP语音数据实时监控的方法及装置 |
| CN101534353A (zh) * | 2009-03-31 | 2009-09-16 | 华为技术有限公司 | 一种无线网络语音质量测量方法及终端 |
| CN101719966A (zh) * | 2009-12-18 | 2010-06-02 | 中兴通讯股份有限公司 | 通话音质的监控方法、监控终端以及系统 |
| CN101740036A (zh) * | 2009-12-14 | 2010-06-16 | 深圳华为通信技术有限公司 | 通话音量自动调节方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6427137B2 (en) * | 1999-08-31 | 2002-07-30 | Accenture Llp | System, method and article of manufacture for a voice analysis system that detects nervousness for preventing fraud |
-
2011
- 2011-05-26 CN CN201110138406.2A patent/CN102800311B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101247432A (zh) * | 2007-07-18 | 2008-08-20 | 北京高信达网络科技有限公司 | 一种VoIP语音数据实时监控的方法及装置 |
| CN101534353A (zh) * | 2009-03-31 | 2009-09-16 | 华为技术有限公司 | 一种无线网络语音质量测量方法及终端 |
| CN101740036A (zh) * | 2009-12-14 | 2010-06-16 | 深圳华为通信技术有限公司 | 通话音量自动调节方法及装置 |
| CN101719966A (zh) * | 2009-12-18 | 2010-06-02 | 中兴通讯股份有限公司 | 通话音质的监控方法、监控终端以及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102800311A (zh) | 2012-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9877130B2 (en) | Synchronization of signals for multiple data sinks | |
| CN103797810B (zh) | 同步的无线显示设备 | |
| US10826876B1 (en) | Obscuring network traffic characteristics | |
| KR20190029551A (ko) | Ｍｍｔ 시스템을 위한 미디어 데이터 전송 장치 및 방법, 그리고 미디어 데이터 수신 장치 및 방법 | |
| CN107438990B (zh) | 用于递送定时信息的方法和设备 | |
| CN104301802A (zh) | 用于流式传输音频或视频数据的数字装置、网络和方法 | |
| CN109561395A (zh) | 一种蓝牙传输方法及装置 | |
| CN109819303A (zh) | 数据输出方法及相关设备 | |
| KR101085508B1 (ko) | 통신 단말 장치, 배신장치, 에러 통지방법 및 에러 통지 프로그램을 기록한 기록매체 | |
| CN108282685A (zh) | 一种音视频同步的方法及监控系统 | |
| CN107105337B (zh) | 无线多媒体播放方法和装置 | |
| CN102800311B (zh) | 一种语音检测方法和系统 | |
| WO2017157168A1 (zh) | 一种实现视频通话的方法、终端、系统和计算机存储介质 | |
| KR20130008438A (ko) | 멀티미디어 패킷 전송망에서 전방향 오류 정정 제어 방법 | |
| US8935320B2 (en) | Method, apparatus and system for media position control | |
| US20120218422A1 (en) | Method of transmitting audio and video streams in real time | |
| FI116439B (fi) | Videon ja audion synkronointi | |
| JP2003264590A (ja) | パケット伝送システムとそのデータ送信装置及びデータ受信装置 | |
| CN106488281A (zh) | 一种电视音频的播放方法及控制系统、电视、通信系统 | |
| CN107835446A (zh) | 媒体状态呈现及控制方法和装置 | |
| CN104602113B (zh) | 一种实现远程无线保真显示的方法、装置及系统 | |
| US11758108B2 (en) | Image transmission method, image display device, image processing device, image transmission system, and image transmission system with high-transmission efficiency | |
| CN106572115B (zh) | 智能终端播放网络视频的屏幕镜像方法及发射及接收装置 | |
| JP2005094661A (ja) | 映像・音声の同時伝送方法ならびにシステム、および、これに用いる送信装置ならびに受信装置 | |
| CN106506438A (zh) | 一种获取服务质量信息的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |