CN110531632A - 控制方法及系统 - Google Patents
控制方法及系统 Download PDFInfo
- Publication number
- CN110531632A CN110531632A CN201910931240.6A CN201910931240A CN110531632A CN 110531632 A CN110531632 A CN 110531632A CN 201910931240 A CN201910931240 A CN 201910931240A CN 110531632 A CN110531632 A CN 110531632A
- Authority
- CN
- China
- Prior art keywords
- terminal
- instruction
- information
- server end
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004048 modification Effects 0.000 claims description 66
- 238000012986 modification Methods 0.000 claims description 66
- 239000007787 solid Substances 0.000 claims 1
- 230000004069 differentiation Effects 0.000 abstract description 5
- 244000062793 Sorghum vulgare Species 0.000 description 29
- 235000019713 millet Nutrition 0.000 description 29
- 238000004378 air conditioning Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 15
- 238000003058 natural language processing Methods 0.000 description 14
- 241000209094 Oryza Species 0.000 description 11
- 235000007164 Oryza sativa Nutrition 0.000 description 11
- 235000009566 rice Nutrition 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000002304 perfume Substances 0.000 description 2
- 235000013599 spices Nutrition 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 235000013547 stew Nutrition 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
- G05B15/02—Systems controlled by a computer electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/26—Pc applications
- G05B2219/2642—Domotique, domestic, home control, automation, smart house
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
Abstract
一种控制方法及系统，方法包括：第一终端将获取的第一指令转发至服务器端，其中，至少一个第二终端通过第一终端与服务器端进行交互，服务器端中存储有至少一个第二终端信息，至少一个第二终端信息对应于至少一个第一终端，服务器端接收第一指令，服务器端查询第一终端对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令，服务器端发送第二指令至第一终端，第一终端获取第二指令，并将第二指令转发至至少一个第二终端中的一个，以使得第二终端执行第二指令。为每一第一终端设置相应的第二终端信息，以提供差异化体验，解决了通用实体识别模型造成的过度召回问题。
Description
技术领域
本公开涉及智能家居控制技术领域，具体地，涉及一种控制方法及系统。
背景技术
智能家居控制，是指通过智能终端来控制其它智能设备，例如通过智能音箱来语音控制其它智能设备。智能家居控制中需要精确识别出用户的智能家居操作意图，并基于该操作意图准确识别出用户需要操作的设备及具体指令。允许用户为智能设备设置自定义昵称，可以提高用户的体验兴趣。相关技术中通常维护一个通用的实体识别模型，从用户指令中抽取设备名称后，利用通用的实体识别模型进行处理，虽能支持用户自定义昵称，但是会对其他用户过度召回，没有差异化体验。例如用户A为电视设置自定义昵称“稻香”，通用实体识别模型会将稻香当做设备实体抽取出来，但是用户B没有设备是“稻香”，当用户B发出“打开稻香”的指令时，实际是想播放稻香这首歌，但是通用实体识别模型会为用户B过度召回一个打开电视的操作，极大地影响了用户体验。
发明内容
本公开鉴于上述问题，提供了一种控制方法及系统。在服务器端为每一第一终端设置相应的第二终端信息，当任一第一终端接收到用户的语音指令时，当该语音指令用于智能家居控制并且该第一终端对应的第二终端信息中包括语音指令中的名称信息时，才能控制该名称信息对应的第二终端，从而为不同用户提供差异化体验，解决了通用实体识别模型造成的过度召回问题。
本公开实施例第一方面提供了一种用于服务器端的控制方法，所述服务器端通过第一终端与至少一个第二终端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，方法包括：接收所述第一终端发送的第一指令；查询所述第一终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；发送所述第二指令至所述第一终端，以使得所述第一终端将所述第二指令转发至所述至少一个第二终端中的一个，进而使所述第二终端执行所述第二指令。
可选地，所述第一终端对应至少一个用户，所述至少一个用户对应于所述至少一个第二终端信息，当所述第一终端对应一个以上所述用户时，所述方法还包括：接收所述第一终端发送的第一指令，所述第一指令中包含所述第一指令所对应的用户；查询所述用户对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
可选地，所述服务器端存储有至少一个第二终端模式，所述至少一个第二终端模式对应于所述至少一个用户，所述方法还包括：获取所述第一指令所对应用户的第二终端模式；所述根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令，包括：根据所述第一指令、第二终端信息以及第二终端模式生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
可选地，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令，包括：获取所述第一指令中的名称信息和操作信息；根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
可选地，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
可选地，当所述第一指令中的名称信息不包括固有名称，并且，所述第一指令中的自定义名称对应于至少两个第二终端时，所述根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令，包括：获取所述第一指令中的自定义名称及操作信息；根据所述操作信息以及第二终端信息确定出所述至少两个第二终端中的一个；根据所述操作信息生成对所确定出的第二终端进行控制的第二指令。
可选地，所述方法还包括：接收所述第一终端发送的第二终端信息修改指令；根据所述第二终端信息修改指令修改所述第二终端信息中的自定义名称。
可选地，所述根据所述操作信息生成对所述名称信息所对应的第二终端进行控制的第二指令，包括：利用多分类模型处理所述第一指令中的操作信息以及名称信息，生成所述第一指令所指向的至少一个操作意图以及每一操作意图对应的概率；根据最高概率的操作意图生成对所述第二终端进行控制的第二指令。
本公开实施例第二方面提供了一种用于第一终端的控制方法，至少一个第二终端通过所述第一终端与服务器端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，方法包括：将获取的第一指令转发至所述服务器端，以使得所述服务器端获取与所述第一终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；获取所述服务器端返回的所述第二指令，并将所述第二指令转发至所述至少一个第二终端中的一个，以使得所述第二终端执行所述第二指令。
可选地，所述第一终端对应至少一个用户，所述至少一个用户对应于所述至少一个第二终端信息，当所述第一终端对应一个以上所述用户时，所述将获取的第一指令转发至所述服务器端，包括：分析所述第一指令，得到所述第一指令所对应的用户；将所述第一指令以及所述第一指令所对应的用户转发至所述服务器端，以使得所述服务器端查询与所述用户对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
可选地，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述将获取的第一指令转发至所述服务器端，包括：将获取的第一指令中的名称信息和操作信息转发至所述服务器端，以使得所述服务器端根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
可选地，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
可选地，所述第一终端包括第一子终端和第二子终端，所述第一子终端通过所述第二子终端与所述服务器端进行交互，所述将获取的第一指令转发至所述服务器端，包括：所述第一子终端生成所述第一指令；所述第二子终端将所述第一指令转发至所述服务器端，以使得所述服务器端获取与所述第二子终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
本公开实施例第三方面提供了一种用于服务器端的控制系统，所述服务器端通过第一终端与至少一个第二终端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，系统包括：接收模块，用于接收所述第一终端发送的第一指令；查询模块，用于查询所述第一终端对应的第二终端信息；生成模块，用于根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；发送模块，用于发送所述第二指令至所述第一终端，以使得所述第一终端将所述第二指令转发至所述至少一个第二终端中的一个，进而使所述第二终端执行所述第二指令。
可选地，所述第一终端对应至少一个用户，所述至少一个用户对应于所述至少一个第二终端信息，当所述第一终端对应一个以上所述用户时，所述接收模块还用于接收所述第一终端发送的第一指令，所述第一指令中包含所述第一指令所对应的用户；所述查询模块还用于查询所述用户对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
可选地，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述生成模块包括：获取子模块，用于获取所述第一指令中的名称信息和操作信息；生成子模块，用于根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
可选地，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
可选地，当所述第一指令中的名称信息不包括固有名称，并且，所述第一指令中的自定义名称对应于至少两个第二终端时，所述获取子模块还用于获取所述第一指令中的自定义名称及操作信息；所述生成模块还包括确定子模块：所述确定子模块用于根据所述操作信息以及第二终端信息确定出所述至少两个第二终端中的一个；所述生成子模块还用于根据所述操作信息生成对所确定出的第二终端进行控制的第二指令。
本公开实施例第四方面提供了一种用于第一终端的控制系统，至少一个第二终端通过所述第一终端与服务器端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，系统包括：转发模块，用于将获取的第一指令转发至所述服务器端，以使得所述服务器端获取与所述第一终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；获取模块，用于获取所述服务器端返回的所述第二指令，并将所述第二指令转发至所述至少一个第二终端中的一个，以使得所述第二终端执行所述第二指令。
可选地，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述转发模块还用于将获取的第一指令中的名称信息和操作信息转发至所述服务器端，以使得所述服务器端根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
可选地，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
可选地，所述第一终端包括第一子终端和第二子终端，所述第一子终端通过所述第二子终端与所述服务器端进行交互，所述转发模块包括：生成子模块，设置在所述第一子终端中，用于生成所述第一指令；转发子模块，设置在所述第二子终端中，用于将所述第一指令转发至所述服务器端，以使得所述服务器端获取与所述第二子终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
本公开实施例第五方面提供了一种控制系统，包括：根据本公开第三方面所述的用于服务器端的控制系统以及根据本公开第四方面所述的用于第一终端的控制系统。
从上述本公开实施例可知，本公开提供的控制方法及系统，第一终端将获取的第一指令转发至服务器端，其中，至少一个第二终端通过第一终端与服务器端进行交互，服务器端中存储有至少一个第二终端信息，至少一个第二终端信息对应于至少一个第一终端，服务器端接收第一指令，服务器端查询第一终端对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令，服务器端发送第二指令至第一终端，第一终端获取第二指令，并将第二指令转发至至少一个第二终端中的一个，以使得第二终端执行第二指令，为不同用户提供差异化体验，解决了通用实体识别模型造成的过度召回问题，同时支持多个第二终端使用同一自定义名称，以及支持用户自定义第二终端的名称，提升了用户体验。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开实施例的控制方法的应用场景；
图2示意性示出了根据本公开实施例的用于服务器端的控制方法的流程示意图；
图3示意性示出了根据本公开实施例的用于服务器端的控制方法中服务器端存储的第二终端信息的示意图；
图4示意性示出了根据本公开实施例的用于第一终端的控制方法的流程示意图；
图5示意性示出了根据本公开实施例的控制方法的流程示意图；
图6示意性示出了根据本公开实施例的用于服务器端的控制系统的结构示意图；
图7示意性示出了根据本公开实施例的用于第一终端的控制系统的结构示意图；以及
图8示意性示出了根据本公开实施例的控制系统的结构示意图。
具体实施方式
为使得本公开的发明目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
图1示意性示出了根据本公开实施例的控制方法的应用场景。
如图1所示，该应用场景包括用户、智能家居设备、智能音箱以及云端服务器。智能家居设备例如智能电视、智能冰箱、智能空调、智能微波炉、智能洗衣机、智能灯、智能电饭煲等等。其中，智能音箱的数量为一个或多个，每一智能音箱都连接有一个或多个智能家居设备，并且该一个或多个智能音箱连接至云端服务器，使得智能家居设备通过其连接的智能音箱与云端服务器进行交互。用户通过智能音箱和云端服务器设置、修改智能家居设备的昵称以及控制智能家居设备等。
云端服务器中维护有每一智能音箱关联的智能家居设备名称。智能家居设备名称例如包括设备昵称、设备固有名称、设备可调属性等。例如设备昵称为“小米”，设备固有名称为“智能空调”，设备可调属性为“温度”等等。每一智能音箱设置有相应的身份信息，云端服务器可以根据智能音箱的身份信息获取该智能音箱对应的智能家居设备。身份信息例如智能音箱的身份标识号(Identity Document，ID)等，ID例如为“000123”等。
以用户1发出语音控制指令“将小米的温度调至21℃”为例，说明图1所示应用场景的工作流程。智能音箱1将识别到的语音控制指令上传至云端服务器，云端服务器对语音控制指令进行处理，以从语音控制指令中提取出名称信息以及操作信息等，名称信息例如为“小米”，操作信息例如为“温度调至21℃”。云端服务器根据智能音箱1的身份信息查询智能音箱1对应的智能家居设备名称，并在智能家居设备名称中包含名称信息“小米”，且“小米”对应的设备可调属性为“温度”时，云端服务器发送相应的控制指令至智能音箱1，智能音箱1将控制指令转发至名称为“小米”的智能家居设备，例如空调，以使得空调识别该控制指令，并将空调温度调至21℃。
图2示意性示出了根据本公开实施例的用于服务器端的控制方法的流程示意图。服务器端通过第一终端与至少一个第二终端进行交互，服务器端中存储有至少一个第二终端信息，至少一个第二终端信息对应于至少一个第一终端。如图2所示，该方法主要包括以下操作：
本公开实施例中提到的第二终端信息、第二终端模式、名称信息、设备可调属性信息等信息，是指存储在服务器端、数据库等计算机系统或模块中的相关数据，信息的存储模式或信息的数据结构可以是表、数组、图等各类存储模式。上述存储模式中，信息表的方式存储效率较高，数据调用也较为方便，可以采用表的方式存储上述第二终端信息、第二终端模式等信息，而且上述信息表可以是多层次的。
本公开实施例中提到的对应关系，例如至少一个第二终端信息对应于至少一个第一终端、至少一个用户对应于至少一个第二终端信息、至少一个第二终端模式对应于至少一个用户等，特殊的，为一一对应的关系。
S201，接收第一终端发送的第一指令。
本公开实施例中，第一终端例如为图1所示应用场景中的智能音箱，第一终端还可以为手机、平板电脑(Portable Android Device，PAD)等，第一终端也可以是由智能音箱和手机共同组成，第二终端例如为图1所示应用场景中的智能家居设备，服务器端例如为图1所示应用场景中的云端服务器。本领域技术人员可以根据本实施例的描述得到其它类型的第一终端、第二终端以及服务器端。
第一指令例如是用户发出并被第一终端识别到的指令。第一指令中可以包括名称信息和操作信息等。例如名称信息为“小米”、操作信息为“将温度调至21℃”等等。
S202，查询第一终端对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。
本公开实施例中，服务器端存储有与其连接的每一个第一终端对应的第二终端信息。每一个第一终端具有其对应的身份信息，服务器端可以根据第一终端的身份信息查询该第一终端对应的第二终端信息。
图3示意性示出了服务器端存储的第二终端信息的示意图。如图3所示，服务器端可以根据第一终端的ID查询该第一终端对应的第二终端信息。
本公开实施例中，第二终端信息包括上述至少一个第二终端的名称信息。进一步地，第二终端信息还可以包括上述至少一个第二终端的可调属性信息等。第二终端信息中的名称信息可以包括固有名称和自定义名称，也可以只包括固有名称。例如固有名称为“空调”，自定义名称为“小米”，可调属性信息为“温度范围16℃-35℃”等；或者例如固有名称为“电视”，无自定义名称等，即未设置电视的自定义名称。固有名称与第二终端之间一一对应。本领域技术人员可以根据本实施例的描述得到其它第二终端信息的具体内容。
本公开实施例中，第一指令中的名称信息为固有名称和/或自定义名称，即第一指令中的名称信息可能只包括固有名称，也可能只包括自定义名称，也可能同时包括固有名称和自定义名称。
本公开实施例中，根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令，包括子操作S202A和子操作S202B：
子操作S202A，获取第一指令中的名称信息和操作信息。服务器端预先存储有大量的表示智能家居控制的指令，例如“请打开房间空调”、“请打开电视”、“请将微波炉设置为3min”等等。具体地，获取第一指令中的名称信息，当该第一终端对应的第二终端信息中包含第一指令中的名称信息，且该第一指令与上述表示智能家居控制的指令匹配时，该第一指令用于智能家居场景，即用于控制第二终端，然后从第一指令中提取操作信息。此外，服务器端也可以不用存储大量表示智能家居控制的指令，而是利用自然语言处理(NaturalLanguage Processing，NLP)算法识别第一指令，以得到第一指令的意图，例如智能家居控制意图、修改名称意图、交互意图等，当识别到第一指令的意图是智能家居控制意图时，从第一指令中提取出名称信息和操作信息。
本公开实施例中，操作信息可以包括操作、属性等。例如第一指令“将小米的温度调至21℃”，其操作信息为“温度调至21℃”，该操作信息包括“调至”这一操作以及“21℃”这一属性。
子操作S202B，根据操作信息以及第二终端信息生成对名称信息所对应的第二终端进行控制的第二指令。
具体地，利用多分类模型处理第一指令中的操作信息以及名称信息，生成第一指令所指向的至少一个操作意图以及每一操作意图对应的概率，并根据最高概率的操作意图生成对第二终端进行控制的第二指令。多分类模型例如为训练好的TextCNN、BiLSTM或fastText等模型。操作意图例如为“调高温度”、“调至高温”、“定1.5小时后的闹铃”、“定一个0.5小时后的闹铃”等等。
以第一指令为“请给小天才设置一个半小时后的闹铃”、智能手表的自定义名称为“小天才”为例，第一指令的名称信息为“小天才”，第一指令的操作信息为“设置一个半小时后的闹铃”，多分类模型处理该名称信息和操作信息时，至少会生成两种操作意图例如“设置1.5小时后的闹铃”、“设置0.5小时后的闹铃”，以及生成这两种操作意图发生的概率例如分别为0.8和0.9，此时，根据最高概率0.9对应的操作意图“设置0.5小时后的闹铃”生成第二指令，该第二指令例如为“给自定义名称为小天才的第二终端设置0.5小时后的闹铃”等。
本公开实施例中，将从第一指令中提取的名称信息和操作信息进行拼接之后再输入训练好的多分类模型，而非直接将第一指令输入训练好的多分类模型，可以提高生成的操作意图的准确度。
进一步地，本公开实施例中，当第一指令中的名称信息不包括固有名称，并且第一指令中的自定义名称对应于至少两个第二终端时，根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令，包括子操作S202C～子操作S202E：
子操作S202C，获取第一指令中的自定义名称及操作信息。以第一指令为“将小米的温度调至21℃”，该第一终端对应的第二终端信息中存在三个自定义名称为“小米”的第二终端，且这三个第二终端的固有名称分别为“电视”、“冰箱”、“空调”为例。
子操作S202D，根据操作信息以及第二终端信息确定出至少两个第二终端中的一个。根据操作信息“温度调至21℃”以及第二终端设备信息中“电视”、“冰箱”、“空调”的可调属性信息，确定出第一指令“将小米的温度调至21℃”指向的第二终端的固有名称为“空调”。
在子操作S202E中，根据操作信息生成对所确定出的第二终端进行控制的第二指令。该第二指令例如为“将固有名称为空调的第二终端的温度调至21℃”。
S203，发送第二指令至第一终端，以使得第一终端将第二指令转发至至少一个第二终端中的一个，进而使第二终端执行第二指令。
以第二指令为“将固有名称为空调的第二终端的温度调至21℃”为例，发送该第二指令至第一终端，使得第一终端将第二指令转发至固有名称为空调的第二终端(例如，智能空调)，进而使得智能空调根据该第二指令将其温度调至21℃。
进一步地，该用于服务器端的控制方法还包括：接收第一终端发送的第二终端信息修改指令，并根据第二终端信息修改指令修改第二终端信息中的自定义名称。
第二终端信息修改指令例如是用户发出并被第一终端识别到的修改第二终端自定义名称的指令。第二终端信息修改指令的具体内容例如为“将电视的名称修改为机器猫”等。第二终端信息修改指令例如还可以是用户通过应用程序(例如，小爱音箱app)发送到第一终端的用于修改第二终端自定义名称的指令。本领域技术人员可以根据本实施例的描述得到其它第二终端信息修改指令的具体内容。
本公开实施例中，服务器端预先存储有大量的表示智能家居修改名称的指令，例如“请将空调名称修改为”、“请将冰箱名称修改为”等等。接收到第一终端发送的第二终端信息修改指令后，根据第一终端的身份信息查询该第一终端对应的第二终端信息，获取第二终端信息修改指令中的固有名称，当该第一终端对应的第二终端信息中包含第二终端信息修改指令中的固有名称，且该第二终端信息修改指令与上述表示智能家居修改名称的指令匹配时，表明该第二终端信息修改指令用于智能家居修改名称，调用实体识别模型(例如，BiLSTM)识别出第二终端信息修改指令中的自定义名称，根据识别出的自定义名称以及固有名称对第二终端信息进行修改，并将该第二终端信息修改指令中的固有名称和自定义名称发送至第一终端，以使得第一终端将该固有名称对应的自定义名称更新为该第二终端信息修改指令中的自定义名称。此外，服务器端也可以不用存储大量表示智能家居修改名称的指令，而是利用NLP算法识别第二终端信息修改指令，以得到第二终端信息修改指令的意图，例如智能家居控制意图、智能家居修改名称意图、交互意图等，当识别到第二终端信息修改指令的意图是智能家居修改名称意图时，根据该第二终端信息修改指令修改第二终端信息中的自定义名称。
本公开实施例中，第一终端对应至少一个用户，该至少一个用户对应于上述至少一个第二终端信息，当第一终端对应一个以上的用户时，该用于第二终端的控制方法还包括以下操作：
首先，接收第一终端发送的第一指令，第一指令中包含第一指令所对应的用户。以第一终端为智能音箱为例，该智能音箱对应多个用户，当智能音箱接收到用户的语音指令时，可以根据该语音指令进行声纹识别，从而识别该语音指令具体来自于哪一用户，或者当智能音箱接收到用户通过手机应用(Application，App)发出的指令时，可以解析该指令以识别该指令具体来自于哪一手机，从而识别出该指令具体来自哪一用户，从而使得第一终端将包含用户身份信息的第一指令发送至服务器端。
其次，查询用户对应的第二终端信息。本公开实施例中，对于同一第二终端，不同用户可能会对该第二终端设置不同的自定义名称，例如用户A将第二终端电视命名为“稻香”，用户B将该第二终端电视命名为“小稻”等，因此，可以为每个用户设置相应的第二终端信息，以给每个用户提供个性化服务，避免对用户指令过度召回。因此，可以根据第一指令中的用户信息查询该用户对应的第二终端信息。
然后，根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。该操作与上述操作S202中根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令的操作相同，此处不再赘述。
进一步地，服务器端存储有至少一个第二终端模式，该至少一个第二终端模式对应于上述至少一个用户，还可以获取第一指令所对应用户的第二终端模式，以根据第一指令、第二终端信息以及第二终端模式生成用于对至少一个第二终端中的一个进行控制的第二指令。
本公开实施例中，第二终端模式例如表示其对应的用户使用第二终端的模式，该模式更符合其对应用户的使用习惯或使用舒适度等。例如用户A使用空调时，对应的第二终端模式例如为“温度26℃、睡眠模式”等。当第一指令中不包含控制的具体状态时，可以根据用户对应的第二终端模式生成第二指令。例如第一指令为“打开小米”，且“小米”是空调的自定义名称时，第二指令可能为“将自定义名称为小米的第二终端设置为睡眠模式、温度26℃”等。
图4示意性示出了根据本公开实施例的用于第一终端的控制方法的流程示意图。至少一个第二终端通过第一终端与服务器端进行交互，服务器端中存储有至少一个第二终端信息，至少一个第二终端信息对应于至少一个第一终端。如图4所示，该方法主要包括以下操作：
S401，将获取的第一指令转发至服务器端，以使得服务器端获取与第一终端对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。
本公开实施例中，第一终端例如为图1所示应用场景中的智能音箱，第一终端还可以为手机、PAD等，第一终端也可以是由智能音箱和手机共同组成，第二终端例如为图1所示应用场景中的智能家居设备，服务器端例如为图1所示应用场景中的云端服务器。本领域技术人员可以根据本实施例的描述得到其它类型的第一终端、第二终端以及服务器端。
第一指令可以是用户通过语音指令命令第一终端(例如智能音箱、手机、PAD等)控制相应第二终端，第一终端对该语音指令进行语音识别处理(ASR，Automatic SpeechRecognition)和自然语言处理(NLP，Natural Language Processing)后，生成第一指令。用户的语音指令例如为“打开稻香”、“将小米的温度调至21℃”以及“将小米温度调至10℃”等等。语音识别处理是指将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。
自然语言处理是指使计算机能理解自然语言文本所表达的意义。
第一指令还可以是第一终端(例如手机、PAD等)根据用户输入的文字指令所生成的指令。
本公开实施例中，第一终端还可以包括第一子终端和第二子终端，第一子终端通过第二子终端与服务器端进行交互，第一子终端例如为手机、PAD等，第二子终端例如为智能音箱等。第一子终端生成第一指令，并将第一指令发送至第二子终端，第二子终端将第一指令转发至服务器端。具体地，例如第一子终端根据用户的语音指令生成第一指令，或者第一子终端根据用户输入的文本指令生成第一指令。
进一步地，第二终端信息中至少包括上述至少一个第二终端的名称信息，对用户语音指令进行语音识别处理和自然语言处理、或者对用户输入的文本指令进行处理后，得到第一指令中的名称信息和操作信息，将名称信息和操作信息发送至服务器端，以使得服务器端根据操作信息以及该第一终端对应的第二终端信息生成对名称信息所对应的第二终端进行控制的第二指令。
第一指令中的名称信息为固有名称和/或自定义名称，固有名称与第二终端为一一对应关系。可以理解的是，该名称信息、操作信息、固有名称、自定义名称即为图1所示实施例中的名称信息、操作信息、固有名称、自定义名称，此处不再赘述。
本公开实施例中，第一终端对应至少一个用户，该至少一个用户对应于上述至少一个第二终端信息，当第一终端对应一个以上的用户时，操作S401包括：分析第一指令，得到第一指令所对应的用户，将第一指令及以该第一指令所对应的用户转发至服务器端，以使得服务器端查询与用户对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。
具体地，例如当第一指令是用户的语音指令时，可以对用户的语音进行声纹分析，以识别出该语音具体来自于哪一用户。或者例如当第一指令是用户输入手机App中的文本指令时，可以解析该文本指令以识别该文本指令具体来自于哪一手机，从而识别出该指令具体来自哪一用户。
声纹分析是指把声信号转换为电信号，再用计算机进行分析，以确认说话人。
S402，获取服务器端返回的第二指令，并将第二指令转发至至少一个第二终端中的一个，以使得第二终端执行第二指令。
可以理解的是，该第二指令即为图2所示实施例中的对第一指令中的名称信息所对应的第二终端进行控制的指令，例如“将自定义名称为小米的第二终端的温度调至21℃”等。或者为图2所示实施例中的当第一指令中的名称信息不包括固有名称，并且第一指令中的自定义名称对应于至少两个第二终端时，根据操作信息生成的对确定出的至少两个第二终端中的一个进行控制的指令，例如“将固有名称为空调的第二终端的温度调至21℃”等，此处不再赘述。
进一步地，该用于第一终端的控制方法还包括：将获取的第二终端信息修改指令转发至服务器端，以使得服务器端根据第二终端信息修改指令修改第二终端信息中的自定义名称；以及根据服务器端返回的固有名称和自定义名称将该固有名称对应的自定义名称更新为该第二终端信息修改指令中的自定义名称。
图5示意性示出了根据本公开实施例的控制方法的流程示意图，该方法主要包括以下步骤：
S501，第一终端将获取的第一指令转发至服务器端；
S502，服务器端接收第一终端发送的第一指令，查询该第一终端对应的第二终端信息；
S503，服务器根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令；
S504，服务器端发送第二指令至第一终端；
S505，第一终端获取服务器端返回的第二指令，并将第二指令转发至至少一个第二终端中的一个，以使得第二终端执行第二指令。
本实施例未尽之细节，请参阅前述图2、图4所示实施例的描述，此处不再赘述。
在本公开实施例中，第一终端将获取的第一指令转发至服务器端，其中，至少一个第二终端通过第一终端与服务器端进行交互，服务器端中存储有至少一个第二终端信息，至少一个第二终端信息对应于至少一个第一终端，服务器端接收第一指令，服务器端查询第一终端对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令，服务器端发送第二指令至第一终端，第一终端获取第二指令，并将第二指令转发至至少一个第二终端中的一个，以使得第二终端执行第二指令。通过为每一第一终端设置相应的第二终端信息，以及为每一第一终端对应的至少一个用户设置相应的第二终端信息，为不同用户提供差异化体验，解决了通用实体识别模型造成的过度召回问题，此外，在多个第二终端使用同一自定义名称时，根据第一指令中的操作信息以及第二终端信息从多个第二终端中确定出该操作信息指向的一个第二终端，以支持多个第二终端使用同一自定义名称，同时，还支持用户自定义第二终端的名称，以及对第二终端的自定义名称进行修改，提升了用户体验。
图6示意性示出了根据本公开实施例的用于服务器端的控制系统的结构示意图。服务器端通过第一终端与至少一个第二终端进行交互，服务器端中存储有至少一个第二终端信息，至少一个第二终端信息对应于至少一个第一终端。如图6所示，该用于服务器端的控制系统包括：接收模块601、查询模块602、获取模块603以及发送模块604。
接收模块601，用于接收第一终端发送的第一指令。
第一指令例如是用户发出并被第一终端识别到的指令。第一指令中可以包括名称信息和操作信息等。例如名称信息为“小米”、操作信息为“将温度调至21℃”等等。
查询模块602，用于查询第一终端对应的第二终端信息。
本公开实施例中，服务器端存储有与其连接的每一个第一终端对应的第二终端信息。每一个第一终端具有其对应的身份信息，服务器端可以根据第一终端的身份信息查询该第一终端对应的第二终端信息。
本公开实施例中，第二终端信息包括上述至少一个第二终端的名称信息。进一步地，第二终端信息还可以包括上述至少一个第二终端的可调属性信息等。第二终端信息中的名称信息可以包括固有名称和自定义名称，也可以只包括固有名称。可以理解的是，该名称信息、可调属性信息、固有名称、自定义名称即为图2所示实施例中的名称信息、可调属性信息、固有名称、自定义名称，此处不再赘述。
获取模块603，用于根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。
本公开实施例中，第一指令中的名称信息为固有名称和/或自定义名称，即第一指令中的名称信息可能只包括固有名称，也可能只包括自定义名称，也可能同时包括固有名称和自定义名称。
进一步地，获取模块603包括获取子模块和生成子模块。
获取子模块用于获取第一指令中的名称信息和操作信息。服务器端预先存储有大量的表示智能家居控制的指令，例如“请打开房间空调”、“请打开电视”、“请将微波炉设置为3min”等等。具体地，获取子模块获取第一指令中的名称信息，当该第一终端对应的第二终端信息中包含第一指令中的名称信息，且该第一指令与上述表示智能家居控制的指令匹配时，该第一指令用于智能家居场景，即用于控制第二终端，然后获取子模块从第一指令中提取操作信息。此外，服务器端也可以不用存储大量表示智能家居控制的指令，而是NLP算法识别第一指令，以得到第一指令的意图，例如智能家居控制意图、修改名称意图、交互意图等，当识别到第一指令的意图是智能家居控制意图时，从第一指令中提取出名称信息和操作信息。
本公开实施例中，操作信息可以包括操作、属性等。例如第一指令“将小米的温度调至21℃”，其操作信息为“温度调至21℃”，该操作信息包括“调至”这一操作以及“21℃”这一属性。
生成子模块用于根据操作信息以及第二终端信息生成对名称信息所对应的第二终端进行控制的第二指令。
具体地，生成子模块利用多分类模型处理第一指令中的操作信息以及名称信息，生成第一指令所指向的至少一个操作意图以及每一操作意图对应的概率，并根据最高概率的操作意图生成对第二终端进行控制的第二指令。多分类模型例如为训练好的TextCNN、BiLSTM或fastText等模型。操作意图例如为“调高温度”、“调至高温”、“定1.5小时后的闹铃”、“定一个0.5小时后的闹铃”等等。
以第一指令为“请给小天才设置一个半小时后的闹铃”、智能手表的自定义名称为“小天才”为例，第一指令的名称信息为“小天才”，第一指令的操作信息为“设置一个半小时后的闹铃”，生成子模块利用多分类模型处理该名称信息和操作信息时，至少会生成两种操作意图例如“设置1.5小时后的闹铃”、“设置0.5小时后的闹铃”，以及生成这两种操作意图发生的概率例如分别为0.8和0.9，此时，生成子模块根据最高概率0.9对应的操作意图“设置0.5小时后的闹铃”生成第二指令，该第二指令例如为“给自定义名称为小天才的第二终端设置0.5小时后的闹铃”等。
本公开实施例中，生成子模块将从第一指令中提取的名称信息和操作信息进行拼接之后再输入训练好的多分类模型，而非直接将第一指令输入训练好的多分类模型，可以提高生成的操作意图的准确度。
进一步地，第一指令中的名称信息为固有名称和/或自定义名称，固有名称与所述第二终端为一一对应关系。本公开实施例中，当第一指令中的名称信息不包括固有名称，并且第一指令中的自定义名称对应于至少两个第二终端时，获取子模块还用于获取第一指令中的自定义名称及操作信息。以第一指令为“将小米的温度调至21℃”，该第一终端对应的第二终端信息中存在三个自定义名称为“小米”的第二终端，且这三个第二终端的固有名称分别为“电视”、“冰箱”、“空调”为例。
生成模块603还包括确定子模块，确定子模块用于根据操作信息以及第二终端信息确定出至少两个第二终端中的一个。例如确定子模块根据操作信息“温度调至21℃”以及第二终端设备信息中“电视”、“冰箱”、“空调”的可调属性信息，确定出第一指令“将小米的温度调至21℃”指向的第二终端的固有名称为“空调”。
生成子模块还用于根据操作信息生成对所确定出的第二终端进行控制的第二指令。该第二指令例如为“将固有名称为空调的第二终端的温度调至21℃”。
发送模块604，用于发送第二指令至第一终端，以使得第一终端将第二指令转发至至少一个第二终端中的一个，进而使第二终端执行第二指令。
进一步地，接收模块601还用于接收第一终端发送的第二终端信息修改指令。该用于服务器端的控制系统还包括修改模块，修改模块用于根据第二终端信息修改指令修改第二终端信息中的自定义名称。
第二终端信息修改指令例如是用户发出并被接收模块601识别到的修改第二终端自定义名称的指令。第二终端信息修改指令的具体内容例如为“将电视的名称修改为机器猫”等。第二终端信息修改指令例如还可以是用户通过应用程序(例如，小爱音箱app)发送到第一终端的用于修改第二终端自定义名称的指令。本领域技术人员可以根据本实施例的描述得到其它第二终端信息修改指令的具体内容。
本公开实施例中，服务器端预先存储有大量的表示智能家居修改名称的指令，例如“请将空调名称修改为”、“请将冰箱名称修改为”等等。接收模块601接收到第一终端发送的第二终端信息修改指令后，查询模块602根据第一终端的身份信息查询该第一终端对应的第二终端信息，获取子模块获取第二终端信息修改指令中的固有名称，当该第一终端对应的第二终端信息中包含第二终端信息修改指令中的固有名称，且该第二终端信息修改指令与上述表示智能家居修改名称的指令匹配时，表明该第二终端信息修改指令用于智能家居修改名称，修改模块调用实体识别模型(例如，BiLSTM)识别出第二终端信息修改指令中的自定义名称，根据识别出的自定义名称以及固有名称对第二终端信息进行修改，发送模块604将该第二终端信息修改指令中的固有名称和自定义名称发送至第一终端，以使得第一终端将该固有名称对应的自定义名称更新为该第二终端信息修改指令中的自定义名称。此外，服务器端也可以不用存储大量表示智能家居修改名称的指令，而是利用NLP算法识别第二终端信息修改指令，以得到第二终端信息修改指令的意图，例如智能家居控制意图、智能家居修改名称意图、交互意图等，当识别到第二终端信息修改指令的意图是智能家居修改名称意图时，根据该第二终端信息修改指令修改第二终端信息中的自定义名称。
本公开实施例中，第一终端对应至少一个用户，该至少一个用户对应于上述至少一个第二终端信息，当第一终端对应一个以上的用户时：
接收模块601还用于接收第一终端发送的第一指令，第一指令中包含第一指令所对应的用户。以第一终端为智能音箱为例，该智能音箱对应多个用户，当智能音箱接收到用户的语音指令时，可以根据该语音指令进行声纹识别，从而识别该语音指令具体来自于哪一用户，或者当智能音箱接收到用户通过手机App发出的指令时，可以解析该指令以识别该指令具体来自于哪一手机，从而识别出该指令具体来自哪一用户，从而使得第一终端将包含用户身份信息的第一指令发送至服务器端。
查询模块602还用于查询用户对应的第二终端信息。本公开实施例中，对于同一第二终端，不同用户可能会对该第二终端设置不同的自定义名称，例如用户A将第二终端电视命名为“稻香”，用户B将该第二终端电视命名为“小稻”等，因此，可以为每个用户设置相应的第二终端信息，以给每个用户提供个性化服务，避免对用户指令过度召回。因此，可以根据第一指令中的用户信息查询该用户对应的第二终端信息。
进一步地，服务器端存储有至少一个第二终端模式，该至少一个第二终端模式对应于上述至少一个用户，查询模块602还用于第一指令所对应用户的第二终端模式，以使得生成模块603根据第一指令、第二终端信息以及第二终端模式生成用于对至少一个第二终端中的一个进行控制的第二指令。
本公开实施例中，第二终端模式例如表示其对应的用户使用第二终端的模式，该模式更符合其对应用户的使用习惯或使用舒适度等。例如用户A使用空调时，对应的第二终端模式例如为“温度26℃、睡眠模式”等。当第一指令中不包含控制的具体状态时，可以根据用户对应的第二终端模式生成第二指令。例如第一指令为“打开小米”，且“小米”是空调的自定义名称时，第二指令可能为“将自定义名称为小米的第二终端设置为睡眠模式、温度26℃”等。
图7示意性示出了根据本公开实施例的用于第一终端的控制系统的结构示意图。至少一个第二终端通过第一终端与服务器端进行交互，服务器端中存储有至少一个第二终端信息，至少一个第二终端信息对应于至少一个第一终端。如图7所示，该用于第一终端的控制系统包括：转发模块701和获取模块702。
转发模块701，用于将获取的第一指令转发至服务器端，以使得服务器端获取与第一终端对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。
本公开实施例中，第一终端例如为图1所示应用场景中的智能音箱，第二终端例如为图1所示应用场景中的智能家居设备，服务器端例如为图1所示应用场景中的云端服务器。本领域技术人员可以根据本实施例的描述得到其它类型的第一终端、第二终端以及服务器端。
第一指令可以是用户通过语音指令命令第一终端控制相应第二终端，第一终端对该语音指令进行语音识别处理和自然语言处理后，生成第一指令。用户的语音指令例如为“打开稻香”、“将小米的温度调至21℃”以及“将小米温度调至10℃”等等。
语音识别处理是指将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列。
自然语言处理是指使计算机能理解自然语言文本所表达的意义。
第一指令还可以是第一终端(例如手机、PAD等)根据用户输入的文字指令所生成的指令。
本公开实施例中，第一终端还可以包括第一子终端和第二子终端，第一子终端通过第二子终端与服务器端进行交互，第一子终端例如为手机、PAD等，第二子终端例如为智能音箱等。转发模块701包括生成子模块和转发子模块。生成子模块设置在第一子终端中，用于生成第一指令。转发子模块设置在第二子终端中，用于将第一指令转发至服务器端，以使得服务器端获取与第二子终端对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。具体地，例如第一子终端根据用户的语音指令生成第一指令，或者第一子终端根据用户输入的文本指令生成第一指令。
进一步地，第二终端信息中至少包括上述至少一个第二终端的名称信息，对用户语音指令进行语音识别处理和自然语言处理后、或者对用户输入的文本指令进行处理，得到第一指令中的名称信息和操作信息，将名称信息和操作信息发送至服务器端，以使得服务器端根据操作信息以及该第一终端对应的第二终端信息生成对名称信息所对应的第二终端进行控制的第二指令。
第一指令中的名称信息为固有名称和/或自定义名称，固有名称与第二终端为一一对应关系。可以理解的是，该名称信息、操作信息、固有名称、自定义名称即为图1所示实施例中的名称信息、操作信息、固有名称、自定义名称，此处不再赘述。
本公开实施例中，第一终端对应至少一个用户，该至少一个用户对应于上述至少一个第二终端信息，当第一终端对应一个以上的用户时，转发模块701还包括分析子模块，用于分析第一指令，得到第一指令所对应的用户。转发子模块用于将第一指令及以该第一指令所对应的用户转发至服务器端，以使得服务器端查询与用户对应的第二终端信息，并根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令。
具体地，例如当第一指令是用户的语音指令时，可以对用户的语音进行声纹分析，以识别出该语音具体来自于哪一用户。或者例如当第一指令是用户输入手机App中的文本指令时，可以解析该文本指令以识别该文本指令具体来自于哪一手机，从而识别出该指令具体来自哪一用户。
获取模块702，用于获取服务器端返回的第二指令，并将第二指令转发至至少一个第二终端中的一个，以使得第二终端执行第二指令。
可以理解的是，该第二指令即为图2所示实施例中的对第一指令中的名称信息所对应的第二终端进行控制的指令，例如“将自定义名称为小米的第二终端的温度调至21℃”等。或者为图2所示实施例中的当第一指令中的名称信息不包括固有名称，并且第一指令中的自定义名称对应于至少两个第二终端时，根据操作信息生成的对确定出的至少两个第二终端中的一个进行控制的指令，例如“将固有名称为空调的第二终端的温度调至21℃”等，此处不再赘述。
进一步地，转发模块701还用于将获取的第二终端信息修改指令转发至服务器端，以使得服务器端根据第二终端信息修改指令修改第二终端信息中的自定义名称。获取模块702还用于获取服务器端返回的固有名称和自定义名称。该用于第一终端的控制系统还包括更新模块，更新模块用于根据从服务器端获取到的固有名称和自定义名称将该固有名称对应的自定义名称更新为该第二终端信息修改指令中的自定义名称。
图8示意性示出了根据本公开实施例的控制系统的结构示意图。系统800包括本公开图6所示实施例描述的服务器端以及至少一个本公开图7所示实施例描述的第一终端。
第一终端将获取的第一指令转发至服务器端，服务器端接收第一终端发送的第一指令，查询该第一终端对应的第二终端信息，服务器根据第一指令以及第二终端信息生成用于对至少一个第二终端中的一个进行控制的第二指令，服务器端发送第二指令至第一终端，第一终端获取服务器端返回的第二指令，并将第二指令转发至至少一个第二终端中的一个，以使得第二终端执行第二指令。
本实施例未尽之细节，请参阅前述图2、图4所示实施例的描述，此处不再赘述。
在本申请所提供的多个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信链接可以是通过一些接口，模块的间接耦合或通信链接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本公开所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本公开所提供的控制方法及系统的描述，对于本领域的一般技术人员，依据本公开实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本公开的限制。
Claims (23)
1.一种用于服务器端的控制方法，其特征在于，所述服务器端通过第一终端与至少一个第二终端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，方法包括：
接收所述第一终端发送的第一指令；
查询所述第一终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；
发送所述第二指令至所述第一终端，以使得所述第一终端将所述第二指令转发至所述至少一个第二终端中的一个，进而使所述第二终端执行所述第二指令。
2.根据权利要求1所述的方法，其特征在于，所述第一终端对应至少一个用户，所述至少一个用户对应于所述至少一个第二终端信息，当所述第一终端对应一个以上所述用户时，所述方法还包括：
接收所述第一终端发送的第一指令，所述第一指令中包含所述第一指令所对应的用户；
查询所述用户对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
3.根据权利要求2所述的方法，其特征在于，所述服务器端存储有至少一个第二终端模式，所述至少一个第二终端模式对应于所述至少一个用户，所述方法还包括：
获取所述第一指令所对应用户的第二终端模式；
所述根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令，包括：
根据所述第一指令、第二终端信息以及第二终端模式生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
4.根据权利要求1所述的方法，其特征在于，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令，包括：
获取所述第一指令中的名称信息和操作信息；
根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
5.根据权利要求4所述的方法，其特征在于，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
6.根据权利要求5所述的方法，其特征在于，当所述第一指令中的名称信息不包括固有名称，并且，所述第一指令中的自定义名称对应于至少两个第二终端时，所述根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令，包括：
获取所述第一指令中的自定义名称及操作信息；
根据所述操作信息以及第二终端信息确定出所述至少两个第二终端中的一个；
根据所述操作信息生成对所确定出的第二终端进行控制的第二指令。
7.根据权利要求5所述的方法，其特征在于，所述方法还包括：
接收所述第一终端发送的第二终端信息修改指令；
根据所述第二终端信息修改指令修改所述第二终端信息中的自定义名称。
8.根据权利要求4所述的方法，其特征在于，所述根据所述操作信息生成对所述名称信息所对应的第二终端进行控制的第二指令，包括：
利用多分类模型处理所述第一指令中的操作信息以及名称信息，生成所述第一指令所指向的至少一个操作意图以及每一操作意图对应的概率；
根据最高概率的操作意图生成对所述第二终端进行控制的第二指令。
9.一种用于第一终端的控制方法，其特征在于，至少一个第二终端通过所述第一终端与服务器端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，方法包括：
将获取的第一指令转发至所述服务器端，以使得所述服务器端获取与所述第一终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；
获取所述服务器端返回的所述第二指令，并将所述第二指令转发至所述至少一个第二终端中的一个，以使得所述第二终端执行所述第二指令。
10.根据权利要求9所述的方法，其特征在于，所述第一终端对应至少一个用户，所述至少一个用户对应于所述至少一个第二终端信息，当所述第一终端对应一个以上所述用户时，所述将获取的第一指令转发至所述服务器端，包括：
分析所述第一指令，得到所述第一指令所对应的用户；
将所述第一指令以及所述第一指令所对应的用户转发至所述服务器端，以使得所述服务器端查询与所述用户对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
11.根据权利要求9所述的方法，其特征在于，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述将获取的第一指令转发至所述服务器端，包括：
将获取的第一指令中的名称信息和操作信息转发至所述服务器端，以使得所述服务器端根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
12.根据权利要求11所述的方法，其特征在于，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
13.根据权利要求9所述的方法，其特征在于，所述第一终端包括第一子终端和第二子终端，所述第一子终端通过所述第二子终端与所述服务器端进行交互，所述将获取的第一指令转发至所述服务器端，包括：
所述第一子终端生成所述第一指令；
所述第二子终端将所述第一指令转发至所述服务器端，以使得所述服务器端获取与所述第二子终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
14.一种用于服务器端的控制系统，其特征在于，所述服务器端通过第一终端与至少一个第二终端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，系统包括：
接收模块，用于接收所述第一终端发送的第一指令；
查询模块，用于查询所述第一终端对应的第二终端信息；
生成模块，用于根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；
发送模块，用于发送所述第二指令至所述第一终端，以使得所述第一终端将所述第二指令转发至所述至少一个第二终端中的一个，进而使所述第二终端执行所述第二指令。
15.根据权利要求14所述的系统，其特征在于，所述第一终端对应至少一个用户，所述至少一个用户对应于所述至少一个第二终端信息，当所述第一终端对应一个以上所述用户时，所述接收模块还用于接收所述第一终端发送的第一指令，所述第一指令中包含所述第一指令所对应的用户；所述查询模块还用于查询所述用户对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
16.根据权利要求14所述的系统，其特征在于，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述生成模块包括：
获取子模块，用于获取所述第一指令中的名称信息和操作信息；
生成子模块，用于根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
17.根据权利要求16所述的系统，其特征在于，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
18.根据权利要求17所述的系统，其特征在于，当所述第一指令中的名称信息不包括固有名称，并且，所述第一指令中的自定义名称对应于至少两个第二终端时，所述获取子模块还用于获取所述第一指令中的自定义名称及操作信息；
所述生成模块还包括确定子模块：
所述确定子模块用于根据所述操作信息以及第二终端信息确定出所述至少两个第二终端中的一个；
所述生成子模块还用于根据所述操作信息生成对所确定出的第二终端进行控制的第二指令。
19.一种用于第一终端的控制系统，其特征在于，至少一个第二终端通过所述第一终端与服务器端进行交互，所述服务器端中存储有至少一个第二终端信息，所述至少一个第二终端信息对应于至少一个第一终端，系统包括：
转发模块，用于将获取的第一指令转发至所述服务器端，以使得所述服务器端获取与所述第一终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令；
获取模块，用于获取所述服务器端返回的所述第二指令，并将所述第二指令转发至所述至少一个第二终端中的一个，以使得所述第二终端执行所述第二指令。
20.根据权利要求19所述的系统，其特征在于，所述第二终端信息至少包括所述至少一个第二终端的名称信息，所述转发模块还用于将获取的第一指令中的名称信息和操作信息转发至所述服务器端，以使得所述服务器端根据所述操作信息以及第二终端信息生成对所述名称信息所对应的第二终端进行控制的第二指令。
21.根据权利要求20所述的系统，其特征在于，所述第一指令中的名称信息为固有名称和/或自定义名称，所述固有名称与所述第二终端为一一对应关系。
22.根据权利要求19所述的系统，其特征在于，所述第一终端包括第一子终端和第二子终端，所述第一子终端通过所述第二子终端与所述服务器端进行交互，所述转发模块包括：
生成子模块，设置在所述第一子终端中，用于生成所述第一指令；
转发子模块，设置在所述第二子终端中，用于将所述第一指令转发至所述服务器端，以使得所述服务器端获取与所述第二子终端对应的第二终端信息，并根据所述第一指令以及第二终端信息生成用于对所述至少一个第二终端中的一个进行控制的第二指令。
23.一种控制系统，其特征在于，包括：根据权利要求14所述的用于服务器端的控制系统以及根据权利要求19所述的用于第一终端的控制系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910931240.6A CN110531632B (zh) | 2019-09-27 | 2019-09-27 | 控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910931240.6A CN110531632B (zh) | 2019-09-27 | 2019-09-27 | 控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110531632A true CN110531632A (zh) | 2019-12-03 |
| CN110531632B CN110531632B (zh) | 2022-08-26 |
Family
ID=68670891
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910931240.6A Active CN110531632B (zh) | 2019-09-27 | 2019-09-27 | 控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110531632B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462746A (zh) * | 2020-04-08 | 2020-07-28 | 歌尔科技有限公司 | 基于tws耳机的控制方法、系统、装置和设备 |
| CN112073471A (zh) * | 2020-08-17 | 2020-12-11 | 青岛海尔科技有限公司 | 设备的控制方法和装置、存储介质及电子装置 |
| CN114489317A (zh) * | 2020-11-13 | 2022-05-13 | 上海擎感智能科技有限公司 | 一种交互方法、交互装置、终端及计算机可读存储介质 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112009002544T5 (de) * | 2008-11-26 | 2012-10-04 | Mitsubishi Electric Corp. | Einrichtungsabrufvorrichtung |
| CN103730116A (zh) * | 2014-01-07 | 2014-04-16 | 苏州思必驰信息科技有限公司 | 在智能手表上实现智能家居设备控制的系统及其方法 |
| EP2924954A1 (en) * | 2014-03-28 | 2015-09-30 | Baidu Online Network Technology (Beijing) Co., Ltd | Device controlling method, client, server and intermediate device |
| WO2017041372A1 (zh) * | 2015-09-07 | 2017-03-16 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互方法和系统 |
| CN106713467A (zh) * | 2016-12-28 | 2017-05-24 | 北京智能管家科技有限公司 | 一种基于云服务器的终端控制方法及设备 |
| CN106782535A (zh) * | 2016-12-26 | 2017-05-31 | 深圳前海勇艺达机器人有限公司 | 基于智能家电的数据处理方法及装置 |
| CN107229231A (zh) * | 2017-06-07 | 2017-10-03 | 青岛海信移动通信技术股份有限公司 | 家居设备管理方法及装置 |
| CN107566226A (zh) * | 2017-07-31 | 2018-01-09 | 深圳真时科技有限公司 | 一种控制智能家居的方法、装置和系统 |
| CN107885089A (zh) * | 2017-11-06 | 2018-04-06 | 四川长虹电器股份有限公司 | 基于自定义语音指令库的智慧家居语音操控方法 |
| CN107991897A (zh) * | 2017-12-29 | 2018-05-04 | 深圳市欧瑞博科技有限公司 | 控制方法及装置 |
| CN108337139A (zh) * | 2018-01-29 | 2018-07-27 | 广州索答信息科技有限公司 | 家电语音控制方法、电子设备、存储介质及系统 |
| EP3404655A1 (en) * | 2017-05-19 | 2018-11-21 | LG Electronics Inc. | Home appliance and method for operating the same |
| WO2018224040A1 (en) * | 2017-06-08 | 2018-12-13 | Sengled Co., Ltd. | Method and device of information transmission |
| CN109257258A (zh) * | 2018-09-30 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 用于智能音箱的内外网通信的方法和装置 |
| CN109493866A (zh) * | 2018-10-29 | 2019-03-19 | 苏州乐轩科技有限公司 | 智能音箱及其操作方法 |
| CN110019777A (zh) * | 2017-09-05 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 一种信息分类的方法及设备 |
| EP3525205A1 (en) * | 2018-02-09 | 2019-08-14 | Samsung Electronics Co., Ltd. | Electronic device and method of performing function of electronic device |
-
2019
- 2019-09-27 CN CN201910931240.6A patent/CN110531632B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112009002544T5 (de) * | 2008-11-26 | 2012-10-04 | Mitsubishi Electric Corp. | Einrichtungsabrufvorrichtung |
| CN103730116A (zh) * | 2014-01-07 | 2014-04-16 | 苏州思必驰信息科技有限公司 | 在智能手表上实现智能家居设备控制的系统及其方法 |
| EP2924954A1 (en) * | 2014-03-28 | 2015-09-30 | Baidu Online Network Technology (Beijing) Co., Ltd | Device controlling method, client, server and intermediate device |
| WO2017041372A1 (zh) * | 2015-09-07 | 2017-03-16 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互方法和系统 |
| CN106782535A (zh) * | 2016-12-26 | 2017-05-31 | 深圳前海勇艺达机器人有限公司 | 基于智能家电的数据处理方法及装置 |
| CN106713467A (zh) * | 2016-12-28 | 2017-05-24 | 北京智能管家科技有限公司 | 一种基于云服务器的终端控制方法及设备 |
| EP3404655A1 (en) * | 2017-05-19 | 2018-11-21 | LG Electronics Inc. | Home appliance and method for operating the same |
| CN107229231A (zh) * | 2017-06-07 | 2017-10-03 | 青岛海信移动通信技术股份有限公司 | 家居设备管理方法及装置 |
| WO2018224040A1 (en) * | 2017-06-08 | 2018-12-13 | Sengled Co., Ltd. | Method and device of information transmission |
| CN107566226A (zh) * | 2017-07-31 | 2018-01-09 | 深圳真时科技有限公司 | 一种控制智能家居的方法、装置和系统 |
| CN110019777A (zh) * | 2017-09-05 | 2019-07-16 | 腾讯科技（深圳）有限公司 | 一种信息分类的方法及设备 |
| CN107885089A (zh) * | 2017-11-06 | 2018-04-06 | 四川长虹电器股份有限公司 | 基于自定义语音指令库的智慧家居语音操控方法 |
| CN107991897A (zh) * | 2017-12-29 | 2018-05-04 | 深圳市欧瑞博科技有限公司 | 控制方法及装置 |
| CN108337139A (zh) * | 2018-01-29 | 2018-07-27 | 广州索答信息科技有限公司 | 家电语音控制方法、电子设备、存储介质及系统 |
| EP3525205A1 (en) * | 2018-02-09 | 2019-08-14 | Samsung Electronics Co., Ltd. | Electronic device and method of performing function of electronic device |
| CN109257258A (zh) * | 2018-09-30 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 用于智能音箱的内外网通信的方法和装置 |
| CN109493866A (zh) * | 2018-10-29 | 2019-03-19 | 苏州乐轩科技有限公司 | 智能音箱及其操作方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈白杨: "基于语音交互的智能家居控制系统", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111462746A (zh) * | 2020-04-08 | 2020-07-28 | 歌尔科技有限公司 | 基于tws耳机的控制方法、系统、装置和设备 |
| CN111462746B (zh) * | 2020-04-08 | 2023-08-29 | 歌尔科技有限公司 | 基于tws耳机的控制方法、系统、装置和设备 |
| CN112073471A (zh) * | 2020-08-17 | 2020-12-11 | 青岛海尔科技有限公司 | 设备的控制方法和装置、存储介质及电子装置 |
| CN114489317A (zh) * | 2020-11-13 | 2022-05-13 | 上海擎感智能科技有限公司 | 一种交互方法、交互装置、终端及计算机可读存储介质 |
| CN114489317B (zh) * | 2020-11-13 | 2023-11-03 | 上海擎感智能科技有限公司 | 一种交互方法、交互装置、终端及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110531632B (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104394491B (zh) | 一种智能耳机、云服务器以及音量调节方法和系统 | |
| CN103915095B (zh) | 语音识别的方法、交互设备、服务器和系统 | |
| CN106647311B (zh) | 智能中控系统、设备、服务器及智能设备控制方法 | |
| CN108040264B (zh) | 一种用于电视节目选台的音箱语音控制方法及设备 | |
| CN110531632A (zh) | 控制方法及系统 | |
| CN105847099B (zh) | 基于人工智能的物联网实现系统和方法 | |
| CN104270468B (zh) | 一种微信控制物联网设备的系统 | |
| CN106101789A (zh) | 终端的语音交互方法及装置 | |
| CN110336723A (zh) | 智能家电的控制方法及装置、智能家电设备 | |
| CN107146607A (zh) | 智能设备交互信息的修正方法、装置及系统 | |
| CN110687811A (zh) | 一种智慧家居离线语音设备的场景配置的方法及装置 | |
| CN107591152A (zh) | 基于耳机的语音控制方法、装置及其设备 | |
| CN105609104A (zh) | 一种信息处理方法、装置及智能语音路由控制器 | |
| CN106452987B (zh) | 一种语音控制方法及装置、设备 | |
| CN105304081A (zh) | 一种智能家居的语音播报系统及语音播报方法 | |
| CN109493861A (zh) | 利用语音控制电器的方法、装置、设备和可读存储介质 | |
| CN108899027A (zh) | 语音解析方法及装置 | |
| CN109597313A (zh) | 场景切换方法及装置 | |
| CN109284386A (zh) | 可定制的意图识别方法及装置 | |
| CN107124342A (zh) | 家电设备控制方法、装置、智慧家居系统及可读存储介质 | |
| CN106817144A (zh) | 多维度机器人系统 | |
| CN102902664A (zh) | 一种智能终端上的人工智能自然语言运行系统 | |
| CN112051923A (zh) | 一种机器人在酒店前台智能欢迎顾客的方法和装置 | |
| CN113611306A (zh) | 基于用户习惯的智能家居语音控制方法、系统及存储介质 | |
| CN112511390B (zh) | 智能家电模板场景生成方法、装置、存储介质和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |