CN111818170B - 网络通信方法和系统、及智能音箱 - Google Patents

网络通信方法和系统、及智能音箱 Download PDF

Info

Publication number
CN111818170B
CN111818170B CN202010700175.9A CN202010700175A CN111818170B CN 111818170 B CN111818170 B CN 111818170B CN 202010700175 A CN202010700175 A CN 202010700175A CN 111818170 B CN111818170 B CN 111818170B
Authority
CN
China
Prior art keywords
communication
user identifier
sound box
intelligent
intelligent sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010700175.9A
Other languages
English (en)
Other versions
CN111818170A (zh
Inventor
常先堂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Shanghai Xiaodu Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Shanghai Xiaodu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd, Shanghai Xiaodu Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202010700175.9A priority Critical patent/CN111818170B/zh
Publication of CN111818170A publication Critical patent/CN111818170A/zh
Application granted granted Critical
Publication of CN111818170B publication Critical patent/CN111818170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)

Abstract

本公开的实施例公开了一种网络通信方法，涉及互联网、通信、以及语音交互领域，用于实现智能音箱与具有移动通信功能的智能设备之间的网络通信，包括：由信令服务器从智能音箱和智能设备中的通信请求方接收通信请求，并将通信请求发送给智能音箱和智能设备中的通信响应方，其中，通信请求包括通信请求方的用户标识符和通信响应方的用户标识符；以及由信令服务器从通信响应方接收响应于通信请求的通信响应，并将通信响应发送给通信请求方，其中，通信响应包括通信请求方的用户标识符，当通信响应是接受通信请求的通信响应时，智能音箱与智能设备之间的通信连接建立。

Description

网络通信方法和系统、及智能音箱
技术领域
本公开涉及互联网和通信领域，更具体地涉及一种网络通信方法和系统、信令服务器、自然语言处理服务器、及智能音箱。
背景技术
音频或视频通话功能是智能设备上的一项比较能吸引用户购买欲望的功能。智能音箱作为一种新兴的智能设备，受到越来越多用户的关注。但是，目前的大多数智能音箱不具有与智能通信的音频或视频通话功能，这大大影响了智能音箱在用户中间的普及。
发明内容
根据本公开的第一方面，本公开的实施例提供了一种网络通信方法，用于实现智能音箱与具有移动通信功能的智能设备之间的网络通信，包括：由信令服务器从智能音箱和智能设备中的通信请求方接收通信请求，并将通信请求发送给智能音箱和智能设备中的通信响应方，其中，通信请求包括通信请求方的用户标识符和通信响应方的用户标识符；以及由信令服务器从通信响应方接收响应于通信请求的通信响应，并将通信响应发送给通信请求方，其中，通信响应包括通信请求方的用户标识符，当通信响应是接受通信请求的通信响应时，智能音箱与智能设备之间的通信连接建立。
根据本公开的第二方面，本公开的实施例提供了一种信令服务器，用于执行智能音箱与具有移动通信功能的智能设备之间的通信协商，包括：请求转发单元，被配置为从智能音箱和智能设备中的通信请求方接收通信请求，并将通信请求发送给智能音箱和智能设备中的通信响应方，其中，通信请求包括通信请求方的用户标识符和通信响应方的用户标识符；以及响应转发单元，被配置为从通信响应方接收响应于通信请求的通信响应，并将通信响应发送给通信请求方，其中，通信响应包括通信请求方的用户标识符，当通信响应是接受通信请求的通信响应时，智能音箱与智能设备之间的通信连接建立。
根据本公开的实施例的网络通信方法和信令服务器，可以执行智能音箱与智能设备之间的通信协商，从而可以建立用于智能音箱与智能设备之间的音频或视频通话的通信连接。
根据本公开的第三方面，本公开的实施例提供了一种自然语言处理服务器，包括：语义解析单元，被配置为从语音识别服务器接收文本指令，并对文本指令进行语义解析，其中，文本指令是语音识别服务器通过语音识别从来自智能音箱的语音指令转换得到的；指令生成单元，被配置为在语义解析结果指示智能音箱的用户希望与具有移动通信功能的智能设备的用户进行音频或视频通话时，基于智能音箱的用户标识符和预先存储的智能音箱的用户标识符与智能设备的用户标识符之间的绑定关系将文本指令转换为机器指令，其中，机器指令包括智能设备的用户标识符；以及指令发送单元，被配置为将机器指令发送给智能音箱。
根据本公开的实施例的自然语言处理服务器，可以根据由智能音箱的用户的语音指令生成的文本指令和智能音箱的用户标识符与智能设备的用户标识符之间的绑定关系生成指示智能音箱发起针对智能设备的通信请求的机器指令，从而可以使得智能音箱响应于用户的语音指令发起针对智能设备的通信请求，并且在智能设备接受通信请求的情况下与智能设备进行音频或视频通话。
根据本公开的第四方面，本公开的实施例提供了一种智能音箱，包括：指令收发单元，被配置为发送语音指令，并接收基于语音指令生成的机器指令；通信协商单元，被配置为当机器指令包括具有移动通信功能的智能设备的用户标识符时，响应于机器指令向信令服务器发送第一通信请求，并从信令服务器接收响应于第一通信请求的第一通信响应；以及媒体流收发单元，被配置为在第一通信响应为接受第一通信请求的通信响应时，发送和接收音频或视频流。
根据本公开的第五方面，本公开的实施例提供了一种智能音箱，包括：通信接口；处理器；存储器，具有指令，当所述指令被执行时，使得智能音箱执行以下操作：发送语音指令，并接收基于语音指令生成的机器指令；当机器指令包括具有移动通信功能的智能设备的用户标识符时，响应于机器指令向信令服务器发送第一通信请求，并从信令服务器接收响应于第一通信请求的第一通信响应；以及在第一通信响应为接受第一通信请求的通信响应时，发送和接收音频或视频流。
根据本公开的实施例的智能音箱可以发起对于智能设备的通信请求，从而可以在智能设备接受通信请求的情况下与智能设备进行音频或视频通话。
附图说明
附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于说明实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。
图1A是根据本公开的实施例的网络通信方法的示意流程图；
图1B是图1A所示的网络通信方法中的步骤S106的示意流程图；
图2是根据本公开的实施例的信令服务器的示意框图；
图3是根据本公开的实施例的自然语言处理服务器的示意框图；
图4是根据本公开的实施例的网络通信系统的示意框图；
图5是根据本公开的实施例的智能音箱的示意框图；
图6是根据本公开的实施例的智能音箱与具有移动通信功能的智能设备利用根据本公开的实施例的网络通信系统进行音频或视频通话的交互过程的示意图；
图7是示出实现根据本公开的实施例的网络通信系统中的各种服务器的示例性计算设备的结构框图。
具体实施方式
下面结合附图和实施例对本公开进行进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外，还需要说明的是，为了便于描述，附图中仅示出了与相关发明相关的部分。
需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的步骤或功能模块的编号仅用于对各个步骤或功能模块进行标识，而不用于限制各个步骤的执行顺序或各个功能模块相互之间的连接关系。
在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元素与另一元素区分开。
鉴于目前的大多数智能音箱不具有与智能通信的音频或视频通话功能，本公开提出了一种网络通信方法和系统，用于实现智能音箱与具有移动通信功能的智能设备的网络通信(包括音频或视频通话)。
图1A是根据本公开的实施例的网络通信方法100的流程意图。如图1A所示，网络通信方法100可以包括：S102，由信令服务器从智能音箱和具有移动通信功能的智能设备中的通信请求方接收通信请求，并将通信请求发送给智能音箱和智能设备中的通信响应方，其中，通信请求包括通信请求方的用户标识符和通信响应方的用户标识符；以及S104，由信令服务器从通信响应方接收响应于通信请求的通信响应，并将通信响应发送给通信请求方，其中，通信响应包括通信请求方的用户标识符。当通信响应是接受通信请求的通信响应时，智能音箱与智能设备之间的通信连接建立。
根据本公开的实施例的网络通信方法，可以执行智能音箱与智能设备之间的通信协商，从而可以建立用于智能音箱与智能设备之间的音频或视频通话的通信连接，实现智能音箱与智能设备之间的网络通信(包括音频或视频通话)。
在一些实施例中，智能音箱与智能设备之间可以通过诸如，用户数据报协议(UDP)打孔或穿孔的网络地址转换(NAT)穿透方式传输音频或视频流。但是，由于NAT穿透方式通常会增加通信延迟，并且在网络侧和客户端侧的实现都较为复杂，所以在一些实施例中，网络通信方法100可以包括：S106，由实时通信(Real Time Communication，RTC)服务器从智能音箱和智能设备中的一者接收音频或视频流，并将音频或视频流发送给智能音箱和智能设备中的另一者。这里，可以由实时通信服务器建立与智能音箱和智能设备中的每一者的用于双向全双工通信的网络链接，并且可以通过实时通信服务器以相对简单的方式(相比NAT穿透方式)实现智能音箱和智能设备之间的音频或数据流的实时传输。
这里，在智能音箱具有摄像头和屏幕并且摄像头和屏幕都处于开启状态时，智能音箱的用户可以与智能设备的用户进行音频或视频通话；在智能音箱不具有摄像头或屏幕时或者智能音箱的摄像头或屏幕处于关闭状态时，智能音箱的用户可以与智能设备的用户进行音频通话。
在一些实施例中，通信请求可以由智能音箱发起也可以由智能设备发起。当智能音箱的用户希望与智能设备的用户进行音频或视频通话时，可以向智能设备发出例如，“呼叫XXX”的语音指令也可以在智能设备上执行专门的通信发起操作，以使智能音箱发起针对智能设备的通信请求。为了使智能音箱能够响应于用户的语音指令发起针对智能设备的通信请求，网络通信方法100可以包括：由语音识别服务器从智能音箱接收语音指令，并通过语音识别将语音指令转换为文本指令；以及由自然语言处理服务器通过语义解析将文本指令转换为机器指令，并将机器指令发送给智能音箱，其中，当语义解析结果指示智能音箱的用户希望与智能设备的用户进行音频或视频通话时，由自然语言处理服务器基于智能音箱的用户标识符和预先存储的智能音箱的用户标识符与智能设备的用户标识符之间的绑定关系将文本指令转换为机器指令，其中，机器指令包括智能设备的用户标识符。这样，智能音箱可以基于来自用户的语音指令发起针对智能设备的通信请求，而无需用户在智能音箱上执行专门的通信发起操作，提高了智能音箱的使用便利性和用户体验。
在一些实施例中，自然语言处理服务器可以预先存储智能音箱的用户标识符与智能设备的用户预先设定的昵称之间的绑定关系，并且可以基于该绑定关系对文本指令进行解析。例如，智能设备的用户可以设置昵称“小王”，自然语言处理服务器可以预先存储智能音箱的用户标识符与“小王”之间的绑定关系，并且在接收到“呼叫小王”的文本指令时基于智能音箱的用户标识符与“小王”之间的绑定关系解析出文本指令“呼叫小王”的意思是向小王拨打音频或视频通信，从而基于预先存储的智能音箱的用户标识符与智能设备的用户标识符之间的绑定关系生成指示智能音箱针对智能设备发起通信请求的机器指令。另外，自然语言处理服务器可以在智能设备给智能音箱配网授权时，存储智能音箱的用户标识符与智能设备的用户标识符之间的绑定关系。
在一些实施例中，在由信令服务器执行智能音箱与智能设备之间的通信协商之前，网络通信方法100还可以包括：由信令服务器建立与智能音箱和智能设备中的每一者的用于双向全双工通信的网络链接。这里，用于双向全双工通信的网络链接可以是例如，WebSocket长链接，并且在智能设备给智能音箱配网授权后由信令服务器建立。由于采用了用于双向全双工通信的网络链接，信令服务器可以在接收到来自智能音箱和智能设备中的通信请求方的通信请求时主动地将通信请求发送给智能音箱和智能设备中的通信响应方，并且在接收到来自智能音箱和智能设备中的通信响应方的通信请求时主动地将通信响应发送给智能音箱和智能设备中的通信请求方，而无需等待智能音箱或智能设备发起请求才能发送通信请求或通信响应。
在一些实施例中，网络通信方法100可以进一步包括：由信令服务器在建立与智能音箱和智能设备中的每一者的用于双向全双工通信的网络链接的同时，保存智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、以及智能设备的用户标识符和互联网协议地址及它们之间的关联关系；以及由信令服务器在接收通信请求的同时，保存智能音箱的用户标识符与智能设备的用户标识符之间的关联关系。这里，信令服务器可以根据来自用于通信功能的其他服务器的请求，将智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、智能设备的用户标识符和互联网协议地址及它们之间的关联关系、以及智能音箱的用户标识符与智能设备的用户标识符之间的关联关系中的任意信息提供给这些服务器，而无需这些服务器在建立与智能音箱和智能设备中的每一者的通信链接时再额外地获取并保存这些信息，提高了网络通信方法100的整体效率。
图1B是图1A所示的网络通信方法中的步骤S106的示意流程图。如图1B所示，在一些实施例中，步骤S106可以包括子步骤S1062-S1068，即网络通信方法100可以进一步包括：S1062，由实时通信服务器在接收到音频或视频流时，从信令服务器获取并保存智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、智能设备的用户标识符和互联网协议地址及它们之间的关联关系、以及智能音箱的用户标识符与智能设备的用户标识符之间的关联关系；S1064，由实时通信服务器根据音频或视频流携带的用户标识符和智能音箱的用户标识符与智能设备的用户标识符之间的关联关系，确定智能音箱和智能设备中作为音频或视频流的接收方的用户标识符；S1066，由实时通信服务器根据智能音箱和智能设备中作为音频或视频流的接收方的用户标识符和互联网协议地址之间的关联关系，确定智能音箱和智能设备中作为音频或视频流的接收方的互联网协议地址；以及S1068，由实时通信服务器根据智能音箱和智能设备中作为音频或视频流的接收方的互联网协议地址，将音频或视频流发送给接收方。
这里，需要说明的是，信令服务器和实时通信服务器可以仅在智能音箱与智能设备之间的会话期间保存智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、智能设备的用户标识符和互联网协议地址及它们之间的关联关系、以及智能音箱的用户标识符与智能设备的用户标识符之间的关联关系，并在智能音箱与智能设备之间的会话结束后释放这些信息。这样，可以节省信令服务器和实时通信服务器的存储空间，从而提高信令服务器和实时通信服务器的工作性能。
在一些实施例中，网络通信方法100可以进一步包括：由语音识别服务器建立与智能音箱的传输控制协议(TCP)长连接。由于在智能音箱处于开启状态时，用户可能会频繁地向智能音箱发送语音指令，在语音识别服务器与智能音箱之间建立传输控制协议长连接可以省去由于它们之间的频繁交互导致的较多的TCP建立和关闭的操作，减少浪费，节约时间。另外，由于采用了传输控制协议长连接，智能音箱在发送语音指令时不需要一起发送智能音箱的用户标识符，语音识别服务器也可以在接收到语音指令时知道语音指令来源于哪个智能音箱。
在一些实施例中，自然语言处理服务器可以建立与智能音箱的通信链路，并通过该通信链路将机器指令发送给智能音箱。但是，考虑到语音识别服务器已经与智能音箱建立了传输控制协议长连接，为了高效地利用该传输控制协议长连接从而节省网络资源，在一些实施例中，网络通信方法100可以进一步包括：由语音识别服务器从智能音箱接收智能音箱的用户标识符，并将智能音箱的用户标识符发送给自然语言处理服务器；由自然语言处理服务器将机器指令发送给语音识别服务器；以及由语音识别服务器将机器指令发送给智能音箱。这里，由于语音识别服务器可以将智能音箱的用户标识符透传给自然语言处理服务器，所以智能音箱在发送语音指令时无需携带智能音箱的用户标识符，这简化了智能音箱发送语音指令的处理。
在根据本公开的实施例的网络通信方法中，由信令服务器执行智能音箱与智能设备之间的通信协商，可以实现智能音箱与智能设备之间的网络通信；由自然语言处理服务器基于由智能音箱的用户的语音指令生成的文本指令和智能音箱的用户标识符与智能设备的用户标识符之间的关联关系生成指示智能音箱发起针对智能设备的通信请求的机器指令，可以使智能音箱响应于用户的语音指令发起通信请求。
为了实现图1A所示的网络通信方法，需要对目前常见的信令服务器和自然语言处理服务器进行适应性地配置。下面结合附图，详细说明根据本公开的实施例的信令服务器和自然语言处理服务器。
图2是根据本公开的实施例的信令服务器200的示意框图。如图2所示，信令服务器200包括请求转发单元202和响应转发单元204。请求转发单元202可以被配置为从智能音箱和具有移动通信功能的智能设备中的通信请求方接收通信请求，并将通信请求发送给智能音箱和智能设备中的通信响应方，其中，通信请求包括通信请求方的用户标识符和通信响应方的用户标识符。响应转发单元204可以被配置为从通信响应方接收响应于通信请求的通信响应，并将通信响应发送给通信请求方，其中，通信响应包括通信请求方的用户标识符，当通信响应是接受通信请求的通信响应时，智能音箱与智能设备之间的通信连接建立。
这里，请求转发单元202可以被配置为根据通信请求包括的通信响应方的用户标识符，将通信请求发送给通信响应方；响应转发单元204可以被配置为根据通信响应包括的通信请求方的用户标识符，将通信响应发送给通信请求方。通过根据本公开的实施例的信令服务器，可以建立智能音箱和智能设备之间的网络连接，从而可以在智能音箱和智能设备之间进行音频或视频通话。
图3是根据本公开的实施例的自然语言处理服务器300的示意框图。如图3所示，自然语言处理服务器300包括语义解析单元302、指令生成单元304、以及指令发送单元306。语义解析单元302可以被配置为从语音识别服务器接收文本指令，并对文本指令进行语义解析，其中，文本指令是语音识别服务器通过语音识别从来自智能音箱的语音指令转换得到的。指令生成单元304可以被配置为在语义解析结果指示智能音箱的用户希望与具有移动通信功能的智能设备的用户进行音频或视频通话时，基于智能音箱的用户标识符和预先存储的智能音箱的用户标识符与智能设备的用户标识符之间的绑定关系将文本指令转换为机器指令，其中，机器指令包括智能设备的用户标识符。指令发送单元306可以被配置为将机器指令发送给智能音箱。
通过根据本公开的实施例的自然语言处理服务器，可以解析出智能音响的用户意图，根据用户意图生成机器指令，并将机器指令发送给智能音箱，使得智能音箱可以响应于用户的语音指令发起针对智能设备的通信请求。
在一些实施例中，智能音箱的用户标识符是由自然语言处理服务器从语音识别服务器接收的，并且指令发送单元可以被配置为将机器指令发送给语音识别服务器，由语音识别服务器转发给智能音箱。
图4是根据本公开的实施例的网络通信系统1000的示意图。如图4所示，网络通信系统1000可以包括信令服务器200和实时通信服务器400。信令服务器200被配置为从智能音箱和具有移动通信功能的智能设备中的通信请求方接收通信请求，并将通信请求发送给智能音箱和智能设备中的通信响应方，通信请求包括通信请求方的用户标识符和通信响应方的用户标识符；从通信响应方接收响应于通信请求的通信响应，并将通信响应发送给通信请求方，其中，通信响应包括通信请求方的用户标识符，当通信响应是接受通信请求的通信响应时，智能音箱与智能设备之间的通信连接建立。实时通信服务器400被配置为从智能音箱和智能设备中的一者接收音频或视频流，并将音频或视频流发送给智能音箱和智能设备中的另一者。
在本实施例的一些实施方式中，网络通信系统1000进一步包括：自然语言处理服务器300和语音识别服务器500。语音识别服务器500被配置为从智能音箱接收语音指令，并通过语音识别将语音指令转换为文本指令。自然语言处理理服务器300被配置为对文本指令进行语义解析，在语义解析结果指示智能音箱的用户希望与智能设备的用户进行音频或视频通话时，基于智能音箱的用户标识符和预先存储的智能音箱的用户标识符与智能设备的用户标识符之间的绑定关系将文本指令转换为机器指令，并将机器指令发送给智能音箱，其中，机器指令包括智能设备的用户标识符。
在本实施例的一些实施方式中，信令服务器200进一步被配置为：建立与智能音箱和智能设备中的每一者的用于双向全双工通信的网络链接，并保存智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、以及智能设备的用户标识符和互联网协议地址及它们之间的关联关系；以及在接收通信请求的同时，保存智能音箱的用户标识符与智能设备的用户标识符之间的关联关系。
在本实施例的一些实施方式中，实时通信服务器400进一步被配置为：在接收到音频或视频流时，从信令服务器获取并保存智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、智能设备的用户标识符和互联网协议地址及它们之间的关联关系、以及智能音箱的用户标识符与智能设备的用户标识符之间的关联关系；根据音频或视频流携带的用户标识符和智能音箱的用户标识符与智能设备的用户标识符之间的关联关系，确定智能音箱和智能设备中作为音频或视频流的接收方的用户标识符；根据智能音箱和智能设备中作为音频或视频流的接收方的用户标识符和互联网协议地址之间的关联关系，确定智能音箱和智能设备中作为音频或视频流的接收方的互联网协议地址；以及根据智能音箱和智能设备中作为音频或视频流的接收方的互联网协议地址，将音频或视频流发送给接收方。
在本实施例的一些实施方式中，语音识别服务器500进一步被配置为建立与智能音箱的传输控制协议长连接，自然语言处理服务器300进一步被配置为将机器指令发送给语言识别服务器，由语言识别服务器转发给智能音箱。
在本实施例中，网络通信系统1000及其各个组成部分所带来的技术效果可参考图1A-1B对应实施例中的相关说明，在此不再赘述。
图5是根据本公开的实施例的智能音箱600的示意框图。如图4所示，智能音箱600可以包括指令收发单元602、通信协商单元604、以及媒体流收发单元606。指令收发单元602被配置为发送语音指令，并接收基于语音指令生成的机器指令；通信协商单元604被配置为当机器指令包括具有移动通信功能的智能设备的用户标识符时，响应于机器指令向信令服务器发送第一通信请求，并从信令服务器接收响应于第一通信请求的第一通信响应。媒体流收发单元606被配置为在第一通信响应为接受第一通信请求的通信响应时，发送和接收音频或视频流。
在一些实施例中，智能音箱600可以实现为具有通信功能的电子设备的形式。具体地，智能音箱可以包括通信接口；处理器；以及存储器，具有指令，当所述指令被执行时，使得智能音箱执行以下操作：发送语音指令，并接收基于语音指令生成的机器指令；当机器指令包括具有移动通信功能的智能设备的用户标识符时，响应于机器指令向信令服务器发送第一通信请求，并从信令服务器接收响应于第一通信请求的第一通信响应；以及在第一通信响应为接受第一通信请求的通信响应时，发送和接收音频或视频流。
根据本公开的实施例的智能音箱，可以响应于语音指令发起针具有移动通信功能的智能设备的通信请求，从而可以与该智能设备建立网络连接并进行音频或视频通话。
在一些实施例中，通信协商单元602可以进一步被配置为从信令服务器接收由智能设备发起的第二通信请求，并向信令服务器发送响应于第二通信请求的第二通信响应。媒体流收发单元604可以进一步被配置为在第二通信响应为接受第二通信请求的通信响应时，发送和接收音频或视频流。这里，媒体流收发单元604可以进一步被配置为在发送音频或视频流时，将智能音箱的用户标识符携带在音频或视频流中。
下面结合附图，详细说明根据本公开的实施例的网络通信系统在以下示例场景下实现智能音箱与具有移动通信功能的智能设备之间的音频或视频通话的交互过程：智能音箱的网络服务平台包括根据本公开的实施例的网络通信系统；具有移动通信功能的智能设备通过登录智能音箱提供商的网络服务平台给智能音箱配网授权，建立了智能设备的用户标识符与智能音箱的用户标识符之间的绑定关系；自然语言处理服务器存储了智能设备的用户标识符与智能音箱的用户标识符之间的绑定关系。
图6是根据本公开的实施例的网络通信系统在示例场景下实现智能音箱与具有移动通信功能的智能设备之间的音频或视频通话的交互过程的示意图。如图6所示，智能音箱与具有移动通信功能的智能设备进行音频或视频通话的交互过程包括：
S602，智能音箱和智能设备分别与信令服务器200建立用于双向全双工通信的长链接，例如，WebSocket长链接。
S604，智能音箱将用户的语音命令，例如，“呼叫小王”发送给语音识别服务器500。
S606，语音识别服务器500识别出文本指令“呼叫小王”，并将该文本指令发送给自然语言处理服务器300。
S608，自然语言处理服务器300通过语义解析将文本指令“呼叫小王”理解为“给小王拨打音频通信”，根据智能音箱的用户标识符和预先存储的智能音箱的用户标识符和智能设备的用户标识符之间的绑定关系将文本指令转换为指示智能音箱发起通信请求的机器指令，并将该机器指令发送给语音识别服务器500。
S610，语音识别服务器500将机器指令转发给智能音箱。
S612，智能音箱将通信请求发送给信令服务器200。
S614，信令服务器200将通信请求转发给智能设备。
S616，智能设备将通信响应发送给信令服务器200。
S618，信令服务器200将通信响应转发给智能音箱。
S620和S622，当通信响应是接受通信请求的通信响应时，智能音箱与智能设备之间的通信连接建立，智能音箱与智能设备经由实时通信服务器400向彼此传输音频或视频流，或者通过NAT穿透方式向彼此传输音频或视频流。
需要说明的是，当智能设备主动发起通信请求时，智能设备与智能音箱之间进行音频或视频流通话的过程包括类似于S612至S622的步骤，这里不再赘述。
图7是示出实现根据本公开的实施例的网络通信系统中的各种服务器的示例性计算设备700的结构框图。下面结合图7，描述适于用来实现本公开的实施例的各种服务器的计算设备700。应该明白的是，图7示出的计算设备700仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
如图7所示，计算设备700可以包括处理装置(例如，中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有计算设备700操作所需的各种程序和数据。处理装置701、ROM 702、以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、摄像头、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD，Liquid Crystal Display)、扬声器、振动器等的输出装置707；包括例如闪存(Flash Card)等的存储装置708；以及通信装置709。通信装置709可以允许计算设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的计算设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图7中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例提供一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行各种处理的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 702被安装。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (13)

1.一种网络通信方法，用于实现智能音箱与具有移动通信功能的智能设备之间的网络通信，包括：
由信令服务器从所述智能音箱和所述智能设备中的通信请求方接收通信请求，并将所述通信请求发送给所述智能音箱和所述智能设备中的通信响应方，其中，所述通信请求包括所述通信请求方的用户标识符和所述通信响应方的用户标识符；以及
由所述信令服务器从所述通信响应方接收响应于所述通信请求的通信响应，并将所述通信响应发送给所述通信请求方，其中，所述通信响应包括所述通信请求方的用户标识符，当所述通信响应是接受所述通信请求的通信响应时，所述智能音箱与所述智能设备之间的通信连接建立，
其中，当所述通信请求方是所述智能音箱时，进一步包括：
由语音识别服务器从所述智能音箱接收语音指令，并通过语音识别将所述语音指令转换为文本指令；以及
由自然语言处理服务器通过语义解析将所述文本指令转换为机器指令，并将所述机器指令发送给所述智能音箱，其中，
当语义解析结果指示所述智能音箱的用户希望与所述智能设备的用户进行音频或视频通话时，由所述自然语言处理服务器基于所述智能音箱的用户标识符和预先存储的所述智能音箱的用户标识符与所述智能设备的用户标识符之间的绑定关系将所述文本指令转换为机器指令，其中，所述机器指令包括所述智能设备的用户标识符，
其中，由所述信令服务器在建立与所述智能音箱和所述智能设备中的每一者的用于双向全双工通信的网络链接的同时，保存所述智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、以及所述智能设备的用户标识符和互联网协议地址及它们之间的关联关系；以及
由所述信令服务器在接收所述通信请求的同时，保存所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系。
2.如权利要求1所述的网络通信方法，进一步包括：
由实时通信服务器从所述智能音箱和所述智能设备中的一者接收音频或视频流，并将所述音频或视频流发送给所述智能音箱和所述智能设备中的另一者。
3.如权利要求2所述的网络通信方法，进一步包括：
由所述实时通信服务器在接收到音频或视频流时，从所述信令服务器获取并保存所述智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、所述智能设备的用户标识符和互联网协议地址及它们之间的关联关系、以及所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系；
由所述实时通信服务器根据所述音频或视频流携带的用户标识符和所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系，确定所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的用户标识符；
由所述实时通信服务器根据所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的用户标识符和互联网协议地址之间的关联关系，确定所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的互联网协议地址；以及
由所述实时通信服务器根据所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的互联网协议地址，将所述音频或视频流发送给所述接收方。
4.如权利要求1所述的网络通信方法，进一步包括：
由所述语音识别服务器建立与所述智能音箱的传输控制协议长连接。
5.如权利要求4所述的网络通信方法，进一步包括：
由所述语音识别服务器从所述智能音箱接收所述智能音箱的用户标识符，并将所述智能音箱的用户标识符发送给所述自然语言处理服务器。
6. 如权利要求4所述的网络通信方法，进一步包括：
由所述自然语言处理服务器将所述机器指令发送给所述语音识别服务器；以及
由所述语音识别服务器将所述机器指令发送给所述智能音箱。
7.一种信令服务器，用于执行智能音箱与具有移动通信功能的智能设备之间的通信协商，包括：
请求转发单元，被配置为从所述智能音箱和所述智能设备中的通信请求方接收通信请求，并将所述通信请求发送给所述智能音箱和所述智能设备中的通信响应方，其中，所述通信请求包括所述通信请求方的用户标识符和所述通信响应方的用户标识符；以及
响应转发单元，被配置为从所述通信响应方接收响应于所述通信请求的通信响应，并将所述通信响应发送给所述通信请求方，其中，所述通信响应包括所述通信请求方的用户标识符，当所述通信响应是接受所述通信请求的通信响应时，所述智能音箱与所述智能设备之间的通信连接建立，
其中，当所述通信请求方是所述智能音箱时，进一步包括用于执行以下操作的单元：
由语音识别服务器从所述智能音箱接收语音指令，并通过语音识别将所述语音指令转换为文本指令；以及
由自然语言处理服务器通过语义解析将所述文本指令转换为机器指令，并将所述机器指令发送给所述智能音箱，其中，
当语义解析结果指示所述智能音箱的用户希望与所述智能设备的用户进行音频或视频通话时，由所述自然语言处理服务器基于所述智能音箱的用户标识符和预先存储的所述智能音箱的用户标识符与所述智能设备的用户标识符之间的绑定关系将所述文本指令转换为机器指令，其中，所述机器指令包括所述智能设备的用户标识符，
其中，在建立与所述智能音箱和所述智能设备中的每一者的用于双向全双工通信的网络链接的同时，保存所述智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、以及所述智能设备的用户标识符和互联网协议地址及它们之间的关联关系；以及
在接收所述通信请求的同时，保存所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系。
8.一种网络通信系统，包括：
信令服务器，被配置为
从所述智能音箱和具有移动通信功能的智能设备中的通信请求方接收通信请求，并将所述通信请求发送给所述智能音箱和所述智能设备中的通信响应方，所述通信请求包括所述通信请求方的用户标识符和所述通信响应方的用户标识符；
从所述通信响应方接收响应于所述通信请求的通信响应，并将所述通信响应发送给所述通信请求方，其中，所述通信响应包括所述通信请求方的用户标识符，当所述通信响应是接受所述通信请求的通信响应时，所述智能音箱与所述智能设备之间的通信连接建立；
实时通信服务器，被配置为从所述智能音箱和所述智能设备中的一者接收音频或视频流，并将所述音频或视频流发送给所述智能音箱和所述智能设备中的另一者；
语音识别服务器，被配置为从所述智能音箱接收语音指令，并通过语音识别将所述语音指令转换为文本指令；以及
自然语言处理服务器，被配置为对所述文本指令进行语义解析，在语义解析结果指示所述智能音箱的用户希望与所述智能设备的用户进行音频/视频通话时，基于所述智能音箱的用户标识符和预先存储的所述智能音箱的用户标识符与所述智能设备的用户标识符之间的绑定关系将所述文本指令转换为所述机器指令，并将所述机器指令发送给所述智能音箱，其中，所述机器指令包括所述智能设备的用户标识符，
其中，由所述信令服务器在建立与所述智能音箱和所述智能设备中的每一者的用于双向全双工通信的网络链接的同时，保存所述智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、以及所述智能设备的用户标识符和互联网协议地址及它们之间的关联关系；以及
由所述信令服务器在接收所述通信请求的同时，保存所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系。
9.如权利要求8所述的网络通信系统，其中，所述信令服务器进一步被配置为：
建立与所述智能音箱和所述智能设备中的每一者的用于双向全双工通信的网络链接，并保存所述智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、以及所述智能设备的用户标识符和互联网协议地址及它们之间的关联关系；以及
在接收所述通信请求的同时，保存所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系。
10.如权利要求8所述的网络通信系统，其中，所述实时通信服务器进一步被配置为：
在接收到音频或视频流时，从所述信令服务器获取并保存所述智能音箱的用户标识符和互联网协议地址及它们之间的关联关系、所述智能设备的用户标识符和互联网协议地址及它们之间的关联关系、以及所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系；
根据所述音频或视频流携带的用户标识符和所述智能音箱的用户标识符与所述智能设备的用户标识符之间的关联关系，确定所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的用户标识符；
根据所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的用户标识符和互联网协议地址之间的关联关系，确定所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的互联网协议地址；以及
根据所述智能音箱和所述智能设备中作为所述音频或视频流的接收方的互联网协议地址，将所述音频或视频流发送给所述接收方。
11.如权利要求8所述的网络通信系统，其中，所述语音识别服务器进一步被配置为建立与所述智能音箱的传输控制协议长连接，所述自然语言处理服务器进一步被配置为将所述机器指令发送给所述语音识别服务器，由所述语音识别服务器转发给所述智能音箱。
12.一种计算设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
CN202010700175.9A 2020-07-20 2020-07-20 网络通信方法和系统、及智能音箱 Active CN111818170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010700175.9A CN111818170B (zh) 2020-07-20 2020-07-20 网络通信方法和系统、及智能音箱

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010700175.9A CN111818170B (zh) 2020-07-20 2020-07-20 网络通信方法和系统、及智能音箱

Publications (2)

Publication Number Publication Date
CN111818170A CN111818170A (zh) 2020-10-23
CN111818170B true CN111818170B (zh) 2023-10-31

Family

ID=72865027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010700175.9A Active CN111818170B (zh) 2020-07-20 2020-07-20 网络通信方法和系统、及智能音箱

Country Status (1)

Country Link
CN (1) CN111818170B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569622A (zh) * 2021-06-09 2021-10-29 北京旷视科技有限公司 基于网页的活体检测方法、装置、系统及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980514A (zh) * 2015-06-19 2015-10-14 广东欧珀移动通信有限公司 一种无线音箱的远程播放控制方法及装置
CN105163233A (zh) * 2015-06-25 2015-12-16 康佳集团股份有限公司 一种智能云音箱与智能终端交互方法及系统
CN105721483A (zh) * 2016-03-03 2016-06-29 北京百度网讯科技有限公司 语音通信方法和装置
CN108366004A (zh) * 2018-02-07 2018-08-03 北京奇艺世纪科技有限公司 一种智能音箱与被控设备的连接方法及连接系统
CN108899023A (zh) * 2018-06-28 2018-11-27 百度在线网络技术（北京）有限公司 控制方法和装置
US10194023B1 (en) * 2017-08-31 2019-01-29 Amazon Technologies, Inc. Voice user interface for wired communications system
CN110149269A (zh) * 2019-05-30 2019-08-20 华为技术有限公司 一种通信方法、服务器和通信系统
CN110213139A (zh) * 2019-05-09 2019-09-06 四川通信科研规划设计有限责任公司 一种语音通话方法及系统
CN110971681A (zh) * 2019-11-25 2020-04-07 苏州思必驰信息科技有限公司 语音交互方法、智能音箱、后台服务器及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104980514A (zh) * 2015-06-19 2015-10-14 广东欧珀移动通信有限公司 一种无线音箱的远程播放控制方法及装置
CN105163233A (zh) * 2015-06-25 2015-12-16 康佳集团股份有限公司 一种智能云音箱与智能终端交互方法及系统
CN105721483A (zh) * 2016-03-03 2016-06-29 北京百度网讯科技有限公司 语音通信方法和装置
US10194023B1 (en) * 2017-08-31 2019-01-29 Amazon Technologies, Inc. Voice user interface for wired communications system
CN108366004A (zh) * 2018-02-07 2018-08-03 北京奇艺世纪科技有限公司 一种智能音箱与被控设备的连接方法及连接系统
CN108899023A (zh) * 2018-06-28 2018-11-27 百度在线网络技术（北京）有限公司 控制方法和装置
CN110213139A (zh) * 2019-05-09 2019-09-06 四川通信科研规划设计有限责任公司 一种语音通话方法及系统
CN110149269A (zh) * 2019-05-30 2019-08-20 华为技术有限公司 一种通信方法、服务器和通信系统
CN110971681A (zh) * 2019-11-25 2020-04-07 苏州思必驰信息科技有限公司 语音交互方法、智能音箱、后台服务器及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
徐勋庭." 新型语音交互式智能家居系统研究与设计".《中国优秀硕士论文全文数据库》.2018,I136-163. *

Also Published As

Publication number Publication date
CN111818170A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN109274634B (zh) 多媒体通信方法及装置、存储介质
CN106161571B (zh) 一种基于WebRTC的远程操作方法及系统
KR102110698B1 (ko) 단말기 상호 연결 방법, 장치 및 저장 매체
US9602553B2 (en) Method, apparatus, and system for implementing VOIP call in cloud computing environment
KR100965950B1 (ko) 단말 장치, 데이터 송수신 시스템 및 데이터 송수신 개시방법
US10250646B2 (en) Method and device for establishing channel
CN104253742A (zh) 虚拟web实时通信网关以及相关的方法、系统
EP2854376A1 (en) Transmission method, device and system for media stream
CN104253857A (zh) 背靠背虚拟web实时通信代理以及相关的方法、系统
CN104253856A (zh) 可缩放Web实时通信媒体引擎以及相关的方法、系统
CN104348710A (zh) 用于获取和关联web实时通信交互流特性的方法和系统
CN104079597A (zh) 媒体流的转移方法和用户设备
CN104601715A (zh) 一种基于二维码的文件共享方法、系统及移动终端
EP4175221A1 (en) Method for accessing network, media gateway, electronic device, and storage medium
EP3515032B1 (en) Port multiplexing method and server in video conference system and computer storage medium
CN114666306B (zh) WebRTC网络连接建立方法和服务器、电子设备及计算机可读存储介质
CN111818170B (zh) 网络通信方法和系统、及智能音箱
EP3817321B1 (en) Method and device for providing multimedia service in electronic device
CN108234511B (zh) 多媒体数据传输的方法、系统、设备、存储介质及网关
CN107465723B (zh) 多屏互动连接方法、系统、移动终端及可读存储介质
KR102064284B1 (ko) 실시간 통신을 수행하는 장치, 시스템, 및 방법
US20130051390A1 (en) Method and apparatus for transmitting media resources
JP2010050693A (ja) リアルタイム音声翻訳通話システム、方法、アプリケーションサーバ、およびリソースセッション確立方法
CN111265852A (zh) 一种基于udp的低延时信息传输方法及装置
CN111147582B (zh) 一种语音交互方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210508

Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant after: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

Applicant after: Shanghai Xiaodu Technology Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant