CN113472806B - 保护隐私的语音交互方法、装置、系统、设备及存储介质 - Google Patents
保护隐私的语音交互方法、装置、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN113472806B CN113472806B CN202110795646.3A CN202110795646A CN113472806B CN 113472806 B CN113472806 B CN 113472806B CN 202110795646 A CN202110795646 A CN 202110795646A CN 113472806 B CN113472806 B CN 113472806B
- Authority
- CN
- China
- Prior art keywords
- encrypted
- voice signal
- voice
- terminal
- cloud server
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000002452 interceptive effect Effects 0.000 claims abstract description 129
- 238000004458 analytical method Methods 0.000 claims abstract description 31
- 238000004891 communication Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 18
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
Landscapes
- Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供一种保护隐私的语音交互方法、装置、系统、设备及存储介质，所述方法包括：终端获取用户输入的语音信号；对所述语音信号进行加密，得到加密语音信号；将所述加密语音信号发送至云端服务器；所述云端服务器对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；将所述加密交互数据发送至所述终端；所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。本发明的语音交互方法，在整个语音交互过程中，云端服务器完全基于加密的信息进行分析处理，避免了用户个人信息被泄露的问题，有效的保护了用户的隐私。
Description
技术领域
本发明涉及语音处理技术领域，特别涉及一种保护隐私的语音交互方法、装置、系统、设备及存储介质。
背景技术
随着人工智能技术的进步，人机语音交互也取得了长足的发展，各种语音助手应用(Application，APP)和人机交互机器人大肆兴起。在汽车领域，全双工语音交互模式开始逐步出现，全双工语音交互模式的特点是一次唤醒后，在之后的一定时间内，可以多次进行交互。
在全双工语音交互模式下，整个汽车的智能系统全程录音，并且把全程录音都进行理解并回复。这种模式所录取的用户的语音信息包括用户的声音特征、语音的内容信息等，其中，声音特征包括说话的用户的声纹特征、年龄特征、性别特征和健康特征等，内容信息包括向汽车发出的指令信息，也包括用户表达的其他内容，例如用户之间聊天的内容、用户之间讨论的重要议题等。
由于汽车车机的内存、算力以及获取外部知识库的能力有限，因此在很多情况下，会将录取的语音信息发送至云端进行处理，这种处理方式增加了用户隐私泄露的风险。为了避免隐私泄露，现有技术提出了隐藏声学特征的方法，例如把录取的语音信息通过变音处理消除掉个体的独有特征，但是这种方法对语音信息中所表达的内容信息未做任何保护，因而并不能很好地保护用户的隐私。
另外，现有技术中，汽车并未向司乘人员进行隐私泄露的警示，司乘人员可能很难意识到自己在什么时候泄露了隐私。
发明内容
针对现有技术的上述问题，本发明的目的在于提供一种保护隐私的语音交互方法、装置、系统、设备及存储介质，能够避免用户个人信息被泄露的问题，有效保护用户的隐私。
为了解决上述问题，本发明提供一种保护隐私的语音交互方法，包括：
终端获取用户输入的语音信号；对所述语音信号进行加密，得到加密语音信号；将所述加密语音信号发送至云端服务器；
所述云端服务器对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；将所述加密交互数据发送至所述终端；
所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。
进一步地，所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行包括：
对所述加密交互数据进行解密，得到解密的交互数据，所述解密的交互数据包括交互操作及其对应的目标执行对象；
向所述目标执行对象发送执行所述交互操作的操作指令，以使得所述目标执行对象执行所述交互操作。
进一步地，所述方法还包括：
所述终端确定所述语音信号对应的隐私安全等级；
所述终端根据所述隐私安全等级确定对应的预警方式；
所述终端按照所述预警方式进行针对所述语音信号的隐私泄露预警。
具体地，所述终端确定所述语音信号对应的隐私安全等级包括：
判断所述语音信号是否为有效语音；
当所述语音信号不是有效语音时，确定所述语音信号对应的隐私安全等级为第一等级；
当所述语音信号是有效语音时，判断是否需要将所述语音信号发送至云端服务器进行处理；
当不需要将所述语音信号发送至云端服务器进行处理时，确定所述语音信号对应的隐私安全等级为第二等级；
当需要将所述语音信号发送至云端服务器进行处理时，判断发送至所述云端服务器的语音信号是否为加密语音信号；
当发送至所述云端服务器的语音信号是加密语音信号时，确定所述语音信号对应的隐私安全等级为第三等级；
当发送至所述云端服务器的语音信号不是加密语音信号时，确定所述语音信号对应的隐私安全等级为第四等级。
本发明另一方面提供一种保护隐私的语音交互方法，包括：
获取终端发送的加密语音信号，所述加密语音信号由所述终端对用户输入的语音信号进行加密得到；
对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；
将所述加密交互数据发送至所述终端，以使得所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。
可选择地，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据包括：
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
对所述加密语音文本进行语义分析，得到对应的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
可选择地，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据包括：
获取终端发送的加密环境信息，所述加密环境信息由所述终端对当前场景中的环境信息进行加密得到；
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
基于所述加密环境信息对所述加密语音文本进行语义分析，得到所述加密语音文本在所述当前场景中的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
本发明另一方面提供一种保护隐私的语音交互装置，包括：
获取模块，用于获取终端发送的加密语音信号，所述加密语音信号由所述终端对用户输入的语音信号进行加密得到；
分析模块，用于对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；
发送模块，用于将所述加密交互数据发送至所述终端，以使得所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。
本发明另一方面提供一种保护隐私的语音交互系统，包括终端和云端服务器，所述终端和所述云端服务器通信连接，
所述终端，用于获取用户输入的语音信号；对所述语音信号进行加密，得到加密语音信号；将所述加密语音信号发送至云端服务器；
所述云端服务器，用于对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；将所述加密交互数据发送至所述终端；
所述终端，还用于对所述加密交互数据进行解密，确定对应的交互操作并执行。
本发明另一方面提供一种电子设备，包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的保护隐私的语音交互方法。
本发明另一方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的保护隐私的语音交互方法。
由于上述技术方案，本发明具有以下有益效果：
根据本发明实施例的语音交互方法，通过终端获取并加密用户输入的语音信号，并发送至云端服务器，所述云端服务器直接对接收到的加密语音信号进行分析，生成对应的加密交互数据并反馈至所述终端，在整个语音交互过程中，所述云端服务器完全基于加密的信息进行处理，任何人都无法从云端服务器上获得用户的原始语音数据，避免了用户个人信息被泄露的问题，有效的保护了用户的隐私，降低了用户隐私泄露带来的风险。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明一个实施例提供的实施环境示意图；
图2是本发明一个实施例提供的保护隐私的语音交互方法的流程图；
图3是本发明一个实施例提供的一个可选的加密链路的示意图；
图4是本发明一个实施例提供的另一个可选的加密链路的示意图；
图5是本发明另一个实施例提供的保护隐私的语音交互方法的流程图；
图6是本发明一个实施例提供的保护隐私的语音交互装置的结构示意图；
图7是本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面将参考附图并结合实施例来详细说明本发明的工作原理。
参考说明书附图1，其示出了本发明一个实施例提供的保护隐私的语音交互方法的实施环境示意图，如图1所示，该实施环境可以包括至少一个终端110和云端服务器120，所述云端服务器120和各个终端110可以通过网络进行直接或间接地通信。
所述终端110可以包括智能手机、平板电脑、笔记本电脑、台式计算机、数字助理、智能音箱、智能可穿戴设备、车载终端、服务器等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等，但并不局限于此。所述终端110上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux系统、windows系统等。
所述云端服务器120可以是一个独立运行的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统。所述云端服务器120可以为所述终端110提供后台服务。
在实际应用中，所述终端110可以实时采集用户的语音信号并加密，将加密语音信号发送至所述云端服务器120，所述云端服务器120可以对接收到的加密语音信号进行分析处理，生成相应的加密交互数据反馈给所述终端110，以使得所述终端110解密所述加密交互数据并执行相应的交互操作。具体地，所述终端110上可以安装有各种客户端应用，例如音视频播放器、地图类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端和社交平台软件等等。所述终端110对所述加密交互数据进行解密后，可以控制相应的目标应用来执行相应的交互操作。
需要说明的是，图1仅仅是一种示例。本领域技术人员可以理解，虽然图1中只示出了2个终端110，但并不构成对本发明实施例的限定，可以包括比图示更多或更少的终端110。
实施例1
参考说明书附图2，其示出了本发明一个实施例提供的一种保护隐私的语音交互方法的流程，该方法可以应用于图1所示的实施环境中，具体的如图2所示，所述方法可以包括以下步骤：
S210：终端获取用户输入的语音信号。
本发明实施例中，所述终端中可以设置有语音采集模块，用于采集用户输入的语音，得到所述语音信号。其中，所述语音采集模块可以为声音传感器、麦克风等，所述语音信号可以包括用户的声音特征和语音内容等信息，所述声音特征可以包括用户的声纹特征、年龄特征、性别特征和健康特征等，所述语音内容可以包括用户发出的指令信息以及用户表达的其他内容，例如用户之间聊天的内容、用户之间讨论的重要议题等。
S220：所述终端对所述语音信号进行加密，得到加密语音信号。
本发明实施例中，可以将获取的语音信号发送至云端服务器进行处理，以降低终端的系统资源消耗。在发送所述语音信号前，可以采用预设加密算法对所述语音信号进行加密，所述预设加密算法可以根据实际情况进行设定，例如可以为同态加密等，本发明实施例对此不作限制。
在一个可能的实施例中，还可以先根据终端的内存、算力以及获取外部知识库的能力等信息判断所述终端是否能够满足当前处理需求，在所述终端不能够满足当前处理需求时，再将所述语音信号发送至云端服务器进行处理。
S230：所述终端将所述加密语音信号发送至云端服务器。
相应地，所述云端服务器接收所述终端发送的所述加密语音信号。
S240：所述云端服务器对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据。
本发明实施例中，所述云端服务器接收到所述终端发送的加密语音信号后，可以直接对所述加密语音信号进行处理，并生成对应的加密交互数据，而不需要对所述加密语音信号进行解密。
在实际应用中，可以采用现有技术中对加密数据进行分析处理的各种技术来对所述加密语音信号进行分析，得到分析结果，例如可以采用同态加密技术等，本发明实施例对此不作限制。
可选择地，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据可以包括：
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
对所述加密语音文本进行语义分析，得到对应的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
具体地，结合参考说明书附图3，其示出了本发明一个实施例提供的加密链路的示意图，如图3所示，所述云端服务器可以包括语音识别(Automatic Speech Recognition，ASR)模块、语义理解(Natural Language Understanding，NLU)模块、对话管理(DialogueManager，DM)模块等，其中，各个模块的作用如下：
ASR模块的主要作用是将所述加密语音信号识别为加密语音文本，虽然ASR模块可以获知用户在说什么，但其无法理解用户的意思，对语义的理解会交由NLU模块来处理。
NLU模块的主要作用是理解加密语音文本的内容，确定用户的意图。示例性地，假设用户表达：“给我唱一首歌吧”，NLU模块可以判断用户的意图是“播放音乐”。
DM模块的主要作用是根据用户的意图生成对应的加密交互数据，所述加密交互数据可以包括针对所述语音信号的交互操作信息，所述交互操作信息可以包括执行某些动作或者展示某些回复信息等。示例性地，假设用户的意图是“播放音乐”，那么可以生成包括“推荐一首歌并播放”这一交互操作的加密交互数据。
需要说明的是，本发明实施例中，在整个处理过程中，所述云端服务器均是对加密的信息进行处理，得到的也是加密的信息，在所述云端服务器上不能看到任何明文的信息，也不能对加密的信息进行解密，因此可以很好地避免用户隐私的泄露。
可选择地，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据可以包括：
获取终端发送的加密环境信息，所述加密环境信息由所述终端对当前场景中的环境信息进行加密得到；
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
基于所述加密环境信息对所述加密语音文本进行语义分析，得到所述加密语音文本在所述当前场景中的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
具体地，所述终端还可以包括环境信息采集模块，用于采集当前场景中的环境信息，所述终端可以将采集的环境信息进行加密，得到加密环境信息并发送至所述云端服务器。所述云端服务器可以基于接收到的加密环境信息对所述加密语音文本进行语义理解，得到在当前场景中的加密语义。
具体地，结合参考说明书附图4，其示出了本发明另一个实施例提供的加密链路的示意图，如图4所示，所述云端服务器可以包括ASR模块、NLU模块、DM模块等，其中，所述ASR模块和所述DM模块的主要作用可以参考如图3所示的方法实施例的内容，本发明实施例在此不再赘述，所述NLU模块的主要作用是基于所述加密环境信息来理解加密语音文本的内容，确定在当前场景中用户的意图。
需要说明的是，同一个语音文本在不同的场景中可能会有不同的意图，示例性地，假设用户表达：“给我唱一首歌吧”，如果当前场景是用户与他人对话，那么可以确定用户的意图是“让他人唱歌”，即终端不需要进行回复，如果当前场景是刚唤醒终端，那么可以确定用户的意图是“播放音乐”，即终端需要进行回复，例如可以生成包括“推荐一首歌并播放”这一交互操作的加密交互数据。
在一个具体的实施例中，所述终端可以为车载终端，所述车载终端可以包括语音采集模块和环境信息采集模块，所述车载终端可以将语音采集模块采集的语音信号和环境信息采集模块采集的环境信息分别进行加密，并发送至云端服务器，所述云端服务器可以利用ASR模块对加密语音信号进行语音识别，得到对应的加密语音文本，利用NLU模块基于加密环境信息对加密语音文本进行语义分析，得到当前场景中的加密语义信息，利用DM模块生成加密交互数据反馈至所述车载终端。其中，所述环境信息可以包括车载终端的唤醒时间、预设时间内的历史交互数据、车内人数、车内设备(如空调车窗)的状态、车辆行驶状态、车辆导航状态等信息中的部分或者全部信息，所述预设时间可以根据实际情况进行设置，本发明实施例对此不作限制。
S250：所述云端服务器将所述加密交互数据发送至所述终端。
相应地，所述终端接收所述云端服务器发送的加密交互数据。
S260：所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。
具体地，所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行可以包括：
对所述加密交互数据进行解密，得到解密的交互数据，所述解密的交互数据包括交互操作及其对应的目标执行对象；
向所述目标执行对象发送执行所述交互操作的操作指令，以使得所述目标执行对象执行所述交互操作。
本发明实施例中，所述终端接收到所述加密交互数据后，可以采用相应的解密算法进行解密，以得到所述加密交互数据对应的交互操作和目标执行对象，所述终端可以生成执行所述交互操作的操作指令并发送给所述目标执行对象，所述目标执行对象可以响应于所述操作指令来执行所述交互操作，得到执行结果。
示例性地，假设解密的交互数据包括“推荐一首歌并播放”的交互操作，该交互操作的目标执行对象为“音乐播放器”，那么终端可以生成“推荐并播放歌曲”的操作指令发送至音乐播放器，以使得所述音乐播放器推荐一首歌并播放。
在一个可能的实施例中，所述解密的交互数据可以只包括交互操作，所述终端确定所述交互操作后，可以根据所述交互操作来确定对应的目标执行对象，并向所述目标执行对象发送执行所述交互操作的操作指令，以使得所述目标执行对象执行所述交互操作。
综上所述，根据本发明实施例的语音交互方法，通过终端获取并加密用户输入的语音信号，并发送至云端服务器，所述云端服务器直接对接收到的加密语音信号进行分析，生成对应的加密交互数据并反馈至所述终端，在整个语音交互过程中，所述云端服务器完全基于加密的信息进行处理，任何人都无法从云端服务器上获得用户的原始语音数据，避免了用户个人信息被泄露的问题，有效的保护了用户的隐私，降低了用户隐私泄露带来的风险。
在一个可能的实施例中，所述方法还可以包括以下步骤：
所述终端确定所述语音信号对应的隐私安全等级；
所述终端根据所述隐私安全等级确定对应的预警方式；
所述终端按照所述预警方式进行针对所述语音信号的隐私泄露预警。
具体地，所述终端确定所述语音信号对应的隐私安全等级可以包括：
判断所述语音信号是否为有效语音；
当所述语音信号不是有效语音时，确定所述语音信号对应的隐私安全等级为第一等级；
当所述语音信号是有效语音时，判断是否需要将所述语音信号发送至云端服务器进行处理；
当不需要将所述语音信号发送至云端服务器进行处理时，确定所述语音信号对应的隐私安全等级为第二等级；
当需要将所述语音信号发送至云端服务器进行处理时，判断发送至所述云端服务器的语音信号是否为加密语音信号；
当发送至所述云端服务器的语音信号是加密语音信号时，确定所述语音信号对应的隐私安全等级为第三等级；
当发送至所述云端服务器的语音信号不是加密语音信号时，确定所述语音信号对应的隐私安全等级为第四等级。
具体地，在判断所述语音信号是否为有效语音时，可以先确定所述语音信号的信噪比或判断所述语音信号是否为白噪声，当所述语音信号的信噪比低于预设阈值或所述语音信号为白噪声时，可以确定所述语音信号不是有效语音，否则可以确定所述语音信号是有效语音。其中，所述预设阈值可以根据实际情况进行确定，本发明实施例对此不作限制。
具体地，在判断是否需要将所述语音信号发送至云端服务器进行处理时，可以先确定终端的内存、算力等是否能够满足当前处理需求，当能够满足当前处理需求时，可以确定不需要将所述语音信号发送至云端服务器进行处理，当不能满足当前处理需求时，可以确定需要将所述语音信号发送至云端服务器进行处理。示例性地，用户的有些语音，比如简单的命令“打开空调”，车载终端具有处理这样语音的能力，就不需要发送到云端服务器进行处理。
在实际应用中，可以预先为不同的隐私安全等级设置对应的预警方式，当确定所述声音信号对应的隐私安全等级后，即可确定对应的预警方式，所述预警方式可以包括声音预警、灯光预警、文字预警和振动预警等方式中的一种或多种。可选择地，可以通过不同的声音、不同颜色的灯光、不同大小的文字和/或不同频率的振动来区分不同的隐私安全等级。
示例性地，假设所述终端为车载终端，所述语音采集模块为麦克风，可以预先定义语音交互中的4个隐私安全等级：
第一等级：麦克风录音，但是语音信号不是有效语音(即录音无意义或为噪音)，此时认为语音信号不需要处理。
第二等级：麦克风录音，语音信号是有效语音，但是不需要将所述语音信号发送至云端服务器进行处理(即通过离线链路进行处理)。
第三等级：麦克风录音，语音信号是有效语音，将所述语音信号发送至云端服务器进行处理，且发送的是加密语音信号。
第四等级：麦克风录音，语音信号是有效语音，将所述语音信号发送至云端服务器进行处理，且发送的是未加密的语音信号。
其中，可以对第一等级设置亮蓝色信号灯的预警方式，对第二等级设置亮绿色信号灯的预警方式，对第三等级设置亮黄色信号灯的预警方式，对第四等级设置亮红色信号灯的预警方式。那么当车载终端判断麦克风录音(即正在处理语音信号)时，即可根据所述语音信号的不同隐私安全等级亮起不同颜色的信号灯，对车辆乘员进行隐私泄露预警。
具体地，可以在车辆各个座位附近，分别安置一个信号灯，当录取语音信号时，可以利用声源定位技术判定正在处理的语音信号的来源，控制相应座位的信号灯亮起所述语音信号的隐私安全等级对应的颜色，车辆乘员即可快速了解自己隐私的泄露情况。
可选择地，当麦克风没有录音时，可以设置隐私安全等级为第零等级，此时可以将信号灯设置为关闭。
在一些可能的实施例中，所述隐私安全等级的等级数量还可以设置为其它数量，相应地也可以通过其它策略来确定所述语音信号对应的隐私安全等级，为不同的隐私安全等级设置不同的预警方式，本发明实施例对此不作限制。示例性地，可以只设置2个隐私安全等级，当发送至所述云端服务器的语音信号是加密语音信号时，确定对应的隐私安全等级为第一等级，并设置灯光预警方式，当发送至所述云端服务器的语音信号不是加密语音信号时，确定对应的隐私安全等级为第二等级，并设置声音预警方式，等等。
本发明实施例通过对不同的隐私安全等级设置不同的预警方式，在采集用户的语音后，通过与采集的语音信号的隐私安全等级相对应的预警方式进行隐私泄露预警，使得用户可以充分知晓当前语音被泄露的情况，防止其因为不知道存在隐私泄露风险而忽视对个人隐私的保护，更好地保证了用户的隐私安全。
实施例2
参考说明书附图5，其示出了本发明另一个实施例提供的一种保护隐私的语音交互方法的流程，该方法可以应用于图1中的云端服务器120中，具体的如图5所示，所述方法可以包括以下步骤：
S510：获取终端发送的加密语音信号，所述加密语音信号由所述终端对用户输入的语音信号进行加密得到。
S520：对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据。
可选择地，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据可以包括：
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
对所述加密语音文本进行语义分析，得到对应的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
可选择地，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据可以包括：
获取终端发送的加密环境信息，所述加密环境信息由所述终端对当前场景中的环境信息进行加密得到；
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
基于所述加密环境信息对所述加密语音文本进行语义分析，得到所述加密语音文本在所述当前场景中的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
S530：将所述加密交互数据发送至所述终端，以使得所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。
本发明实施例中，以上各个步骤的具体内容可以参考如图2所示的方法实施例的内容，本发明实施例在此不再赘述。
综上所述，根据本发明实施例的语音交互方法，通过终端获取并加密用户输入的语音信号，并发送至云端服务器，所述云端服务器直接对接收到的加密语音信号进行分析，生成对应的加密交互数据并反馈至所述终端，在整个语音交互过程中，所述云端服务器完全基于加密的信息进行处理，任何人都无法从云端服务器上获得用户的原始语音数据，避免了用户个人信息被泄露的问题，有效的保护了用户的隐私，降低了用户隐私泄露带来的风险。
参考说明书附图6，其示出了本发明一个实施例提供的一种保护隐私的语音交互装置600的结构，所述装置600可以设置于云端服务器120中。如图6所示，所述装置600可以包括：
获取模块610，用于获取终端发送的加密语音信号，所述加密语音信号由所述终端对用户输入的语音信号进行加密得到；
分析模块620，用于对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；
发送模块630，用于将所述加密交互数据发送至所述终端，以使得所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。
本发明另一个实施例还提供了一种保护隐私的语音交互系统，所述系统包括终端和云端服务器，所述终端和所述云端服务器通信连接，其中，
所述终端，用于获取用户输入的语音信号；对所述语音信号进行加密，得到加密语音信号；将所述加密语音信号发送至云端服务器；
所述云端服务器，用于对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；将所述加密交互数据发送至所述终端；
所述终端，还用于对所述加密交互数据进行解密，确定对应的交互操作并执行。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与相应方法实施例属于同一构思，其具体实现过程详见对应方法实施例，这里不再赘述。
本发明一个实施例还提供了一种电子设备，该电子设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述各种可选实施例中提供的保护隐私的语音交互方法。
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本发明实施例所提供的方法实施例可以在终端、服务器或者类似的运算装置中执行，即上述电子设备可以包括终端、服务器或者类似的运算装置。以运行在服务器上为例，如图7所示，其示出了本发明一个实施例提供的运行保护隐私的语音交互方法的服务器的结构示意图。该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Unit，CPU)710(例如，一个或一个以上处理器)和存储器730，一个或一个以上存储应用程序723或数据722的存储介质720(例如一个或一个以上海量存储设备)。其中，存储器730和存储介质720可以是短暂存储或持久存储。存储在存储介质720的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器710可以设置为与存储介质720通信，在服务器700上执行存储介质720中的一系列指令操作。服务器700还可以包括一个或一个以上电源760，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口740，和/或，一个或一个以上操作系统721，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口740可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器700的通信供应商提供的无线网络。在一个实例中，输入输出接口740包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口740可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯，所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
本领域普通技术人员可以理解，图7所示的结构仅为示意，服务器700还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。
本发明一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质可设置于电子设备之中以保存用于实现一种保护隐私的语音交互方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述各种可选实施例中提供的保护隐私的语音交互方法。
可选地，在本发明实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本发明一个实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的保护隐私的语音交互方法。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种保护隐私的语音交互方法，其特征在于，包括：
终端获取用户输入的语音信号；对所述语音信号进行加密，得到加密语音信号；将所述加密语音信号发送至云端服务器；
所述云端服务器对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；将所述加密交互数据发送至所述终端；
所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行；
其中，所述云端服务器对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据，包括：
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
对所述加密语音文本进行语义分析，得到对应的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
2.根据权利要求1所述的方法，其特征在于，所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行包括：
对所述加密交互数据进行解密，得到解密的交互数据，所述解密的交互数据包括交互操作及其对应的目标执行对象；
向所述目标执行对象发送执行所述交互操作的操作指令，以使得所述目标执行对象执行所述交互操作。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述终端确定所述语音信号对应的隐私安全等级；
所述终端根据所述隐私安全等级确定对应的预警方式；
所述终端按照所述预警方式进行针对所述语音信号的隐私泄露预警。
4.根据权利要求3所述的方法，其特征在于，所述终端确定所述语音信号对应的隐私安全等级包括：
判断所述语音信号是否为有效语音；
当所述语音信号不是有效语音时，确定所述语音信号对应的隐私安全等级为第一等级；
当所述语音信号是有效语音时，判断是否需要将所述语音信号发送至云端服务器进行处理；
当不需要将所述语音信号发送至云端服务器进行处理时，确定所述语音信号对应的隐私安全等级为第二等级；
当需要将所述语音信号发送至云端服务器进行处理时，判断发送至所述云端服务器的语音信号是否为加密语音信号；
当发送至所述云端服务器的语音信号是加密语音信号时，确定所述语音信号对应的隐私安全等级为第三等级；
当发送至所述云端服务器的语音信号不是加密语音信号时，确定所述语音信号对应的隐私安全等级为第四等级。
5.一种保护隐私的语音交互方法，其特征在于，包括：
获取终端发送的加密语音信号，所述加密语音信号由所述终端对用户输入的语音信号进行加密得到；
对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；
将所述加密交互数据发送至所述终端，以使得所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行；
其中，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据，包括：
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
对所述加密语音文本进行语义分析，得到对应的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
6.根据权利要求5所述的方法，其特征在于，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据包括：
获取终端发送的加密环境信息，所述加密环境信息由所述终端对当前场景中的环境信息进行加密得到；
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
基于所述加密环境信息对所述加密语音文本进行语义分析，得到所述加密语音文本在所述当前场景中的加密语义信息；
根据所述加密语义信息确定所述加密交互数据。
7.一种保护隐私的语音交互装置，其特征在于，包括：
获取模块，用于获取终端发送的加密语音信号，所述加密语音信号由所述终端对用户输入的语音信号进行加密得到；
分析模块，用于对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；
其中，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据，包括：
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
对所述加密语音文本进行语义分析，得到对应的加密语义信息；
根据所述加密语义信息确定所述加密交互数据；
发送模块，用于将所述加密交互数据发送至所述终端，以使得所述终端对所述加密交互数据进行解密，确定对应的交互操作并执行。
8.一种保护隐私的语音交互系统，包括终端和云端服务器，所述终端和所述云端服务器通信连接，其特征在于：
所述终端，用于获取用户输入的语音信号；对所述语音信号进行加密，得到加密语音信号；将所述加密语音信号发送至云端服务器；
所述云端服务器，用于对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据；将所述加密交互数据发送至所述终端；
其中，所述对所述加密语音信号进行分析，基于所述分析的结果生成对应的加密交互数据，包括：
对所述加密语音信号进行语音识别，得到对应的加密语音文本；
对所述加密语音文本进行语义分析，得到对应的加密语义信息；
根据所述加密语义信息确定所述加密交互数据；
所述终端，还用于对所述加密交互数据进行解密，确定对应的交互操作并执行。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求5-6任意一项所述的保护隐私的语音交互方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求5-6任意一项所述的保护隐私的语音交互方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795646.3A CN113472806B (zh) | 2021-07-14 | 2021-07-14 | 保护隐私的语音交互方法、装置、系统、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110795646.3A CN113472806B (zh) | 2021-07-14 | 2021-07-14 | 保护隐私的语音交互方法、装置、系统、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113472806A CN113472806A (zh) | 2021-10-01 |
| CN113472806B true CN113472806B (zh) | 2022-11-22 |
Family
ID=77878555
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110795646.3A Active CN113472806B (zh) | 2021-07-14 | 2021-07-14 | 保护隐私的语音交互方法、装置、系统、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113472806B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114944163B (zh) * | 2022-04-19 | 2023-02-28 | 合肥亚慕信息科技有限公司 | 基于人工智能算法数据交互系统 |
| CN114640547B (zh) * | 2022-05-18 | 2022-08-02 | 深圳市研强物联技术有限公司 | 一种用于智能录音设备的语音处理方法 |
| CN116321134B (zh) * | 2023-05-18 | 2023-09-08 | 成都瑞安云科技股份有限公司 | 一种语音通话的通话加密测试方法及系统 |
| CN116612906B (zh) * | 2023-07-20 | 2023-11-10 | 北方健康医疗大数据科技有限公司 | 一种基于人工智能的医疗问答服务方法、系统及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006373A (zh) * | 2010-11-24 | 2011-04-06 | 深圳市子栋科技有限公司 | 基于语音命令控制的车载服务系统及方法 |
| CN110460424A (zh) * | 2019-08-19 | 2019-11-15 | 兰州理工大学 | 一种支持隐私保护的语音数据加密方法及系统 |
| CN111128168A (zh) * | 2019-12-30 | 2020-05-08 | 斑马网络技术有限公司 | 语音控制方法、装置及存储介质 |
| CN111767021A (zh) * | 2020-06-28 | 2020-10-13 | 广州小鹏车联网科技有限公司 | 语音交互方法、车辆、服务器、系统和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2375165A1 (en) * | 2002-03-08 | 2003-09-08 | Diaphonics, Inc. | Voice data privacy and protection system |
| CN103974464A (zh) * | 2014-04-28 | 2014-08-06 | 佛山市北斗智兴科技有限公司 | 一种手机互联智能车载导航装置 |
| CN104754500A (zh) * | 2015-04-16 | 2015-07-01 | 芜湖宏景电子股份有限公司 | 基于蓝牙传输的车载终端与智能手机语音声控互联互控系统 |
| CN105743914B (zh) * | 2016-03-31 | 2019-03-22 | 宇龙计算机通信科技(深圳)有限公司 | 一种语音加密通信方法、主叫端、被叫端及系统 |
| CN107204185B (zh) * | 2017-05-03 | 2021-05-25 | 深圳车盒子科技有限公司 | 车载语音交互方法、系统及计算机可读存储介质 |
| CN109147366A (zh) * | 2018-09-10 | 2019-01-04 | 郑红升 | 一种基于智能控制和语音识别引导功能的车载系统 |
-
2021
- 2021-07-14 CN CN202110795646.3A patent/CN113472806B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006373A (zh) * | 2010-11-24 | 2011-04-06 | 深圳市子栋科技有限公司 | 基于语音命令控制的车载服务系统及方法 |
| CN110460424A (zh) * | 2019-08-19 | 2019-11-15 | 兰州理工大学 | 一种支持隐私保护的语音数据加密方法及系统 |
| CN111128168A (zh) * | 2019-12-30 | 2020-05-08 | 斑马网络技术有限公司 | 语音控制方法、装置及存储介质 |
| CN111767021A (zh) * | 2020-06-28 | 2020-10-13 | 广州小鹏车联网科技有限公司 | 语音交互方法、车辆、服务器、系统和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于情感化交互的产品拟人设计研究;高弋涵等;《轻工科技》;20150215(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113472806A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113472806B (zh) | 保护隐私的语音交互方法、装置、系统、设备及存储介质 | |
| US9093069B2 (en) | Privacy-sensitive speech model creation via aggregation of multiple user models | |
| US10446142B2 (en) | Crafting feedback dialogue with a digital assistant | |
| KR102100976B1 (ko) | 스택 데이터 구조 백그라운드의 디지털 어시스턴트 프로세싱 | |
| KR102421668B1 (ko) | 패킷화된 오디오 신호의 인증 | |
| US10909971B2 (en) | Detection of potential exfiltration of audio data from digital assistant applications | |
| US11153109B2 (en) | Intelligent teleconference operations in an internet of things (IoT) computing environment | |
| US9251325B2 (en) | Verifying passwords on a mobile device | |
| US8571865B1 (en) | Inference-aided speaker recognition | |
| CN116679903A (zh) | 车辆环境中的多个数字助理协调 | |
| US11329944B2 (en) | Prioritizing transmissions based on user engagement | |
| KR20200091895A (ko) | 네트워크 시스템의 분산 식별 | |
| US20200328990A1 (en) | Intelligent Scheduler for Chatbot Sessions | |
| US20180226075A1 (en) | Automated text-to-speech conversion, such as driving mode voice memo | |
| CN110659013A (zh) | 一种消息处理方法与装置、存储介质 | |
| US20210325201A1 (en) | Methods and systems for managing communication sessions | |
| US9374666B1 (en) | Beacon communication system and methods | |
| CN110324828A (zh) | 一种路况获取方法及系统、车载装置 | |
| CN106782498A (zh) | 语音信息播放方法、装置及终端 | |
| CN109634554B (zh) | 用于输出信息的方法和装置 | |
| US11257510B2 (en) | Participant-tuned filtering using deep neural network dynamic spectral masking for conversation isolation and security in noisy environments | |
| US20180035285A1 (en) | Semantic Privacy Enforcement | |
| CN111899747B (zh) | 用于合成音频的方法和装置 | |
| CN107610697B (zh) | 一种音频处理方法及电子设备 | |
| CN113409777A (zh) | 一种记录用户关注点的方法、车载主机及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |