CN112104649A - 多媒体交互方法、装置、电子设备、服务器和存储介质 - Google Patents
多媒体交互方法、装置、电子设备、服务器和存储介质 Download PDFInfo
- Publication number
- CN112104649A CN112104649A CN202010965399.2A CN202010965399A CN112104649A CN 112104649 A CN112104649 A CN 112104649A CN 202010965399 A CN202010965399 A CN 202010965399A CN 112104649 A CN112104649 A CN 112104649A
- Authority
- CN
- China
- Prior art keywords
- terminal
- interaction
- information
- multimedia
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 408
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000002452 interceptive effect Effects 0.000 claims description 52
- 230000005540 biological transmission Effects 0.000 claims description 34
- 230000015654 memory Effects 0.000 claims description 27
- 230000004044 response Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 description 74
- 238000010586 diagram Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
- H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/133—Protocols for remote procedure calls [RPC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/14—Session management
- H04L67/141—Setup of application sessions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/186—Video door telephones
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Telephonic Communication Services (AREA)
Abstract
本申请公开了多媒体交互方法、装置、电子设备、服务器、多媒体交互系统和存储介质，涉及物联网技术领域。具体实现方案包括：一种多媒体交互方法，应用于第一终端，方法包括：向云端发送第一交互信息，以使云端将第一交互信息发送给第二终端；接收云端返回的第二终端的第二交互信息；基于第一交互信息和第二交互信息，建立与第二终端的WebRTC连接；基于WebRTC连接与第二终端进行多媒体交互。本申请实施例的技术方案中，第一终端和第二终端基于标准的WebRTC协议进行双向的多媒体交互，节省了网络资源和设备的计算资源。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及物联网技术领域，可应用于智能家居安全领域。
背景技术
现有技术中，可视门铃与家居设备进行视频通话时，可视门铃和家居设备均需要处理两个多媒体流，例如音频流和视频流，使得可视门铃和家居设备的连接复杂，并且比较消耗网络资源和设备的计算资源。
发明内容
本申请提供了一种多媒体交互方法、装置、电子设备、服务器和存储介质。
根据本申请的一方面，提供了一种多媒体交互方法，应用于第一终端，方法包括：
向云端发送第一交互信息，以使云端将第一交互信息发送给第二终端；
接收云端返回的第二终端的第二交互信息；
基于第一交互信息和第二交互信息，建立与第二终端的WebRTC连接；
基于WebRTC连接与第二终端进行多媒体交互。
根据本申请的另一方面，提供了一种多媒体交互方法，应用于第二终端，包括：
接收云端发送的第一终端的第一交互信息；
向云端返回第二交互信息；
基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
基于WebRTC连接与第一终端进行多媒体交互。
根据本申请的另一方面，提供了一种多媒体交互方法，应用于第一终端，方法包括：
向第一云端发送第一交互信息，以使第一云端将第一交互信息发送给第二云端，进而使第二云端向第二终端发送多媒体交互指令；
接收第一云端返回的第二云端的第二交互信息；
基于第一交互信息和第二交互信息，建立与第二云端的WebRTC连接；
基于WebRTC连接，通过第二云端与第二终端进行多媒体交互，其中，第二云端与第二终端之间建立有多媒体信息传输通道。
根据本申请的另一方面，提供了一种多媒体交互方法，应用于第二云端，包括：
接收第一云端发送的第一终端的第一交互信息；
向第一云端返回第二交互信息，并向第二终端发送多媒体交互指令；
基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
基于WebRTC连接，通过与第二终端之间建立的多媒体信息传输通道，使第一终端与第二终端进行多媒体交互。
根据本申请的另一方面，提供了一种多媒体交互装置，应用于第一终端，装置包括：
第一交互信息发送模块，用于向云端发送第一交互信息，以使云端将第一交互信息发送给第二终端；
第一交互信息接收模块，用于接收云端返回的第二终端的第二交互信息；
第一连接建立模块，用于基于第一交互信息和第二交互信息，建立与第二终端的WebRTC连接；
第一多媒体交互模块，用于基于WebRTC连接与第二终端进行多媒体交互。
根据本申请的另一方面，提供一种多媒体交互装置，应用于第二终端，包括：
第二交互信息接收模块，用于接收云端发送的第一终端的第一交互信息；
第二交互信息发送模块，用于向云端返回第二交互信息；
第二连接建立模块，用于基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
第二多媒体交互模块，用于基于WebRTC连接与第一终端进行多媒体交互。
根据本申请的另一方面，提供一种多媒体交互装置，应用于第一终端，装置包括：
第三交互信息发送模块，用于向第一云端发送第一交互信息，以使第一云端将第一交互信息发送给第二云端，进而使第二云端向第二终端发送多媒体交互指令；
第三交互信息接收模块，用于接收第一云端返回的第二云端的第二交互信息；
第三连接建立模块，用于基于第一交互信息和第二交互信息，建立与第二云端的WebRTC连接；
第三多媒体交互模块，用于基于WebRTC连接，通过第二云端与第二终端进行多媒体交互，其中，第二云端与第二终端之间建立有多媒体信息传输通道。
根据本申请的另一方面，提供一种多媒体交互装置，应用于第二云端，包括：
第四交互信息接收模块，用于接收第一云端发送的第一终端的第一交互信息；
第四交互信息发送模块，用于向第一云端返回第二交互信息，并向第二终端发送多媒体交互指令；
第四连接建立模块，用于基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
第四多媒体交互模块，用于基于WebRTC连接，通过与第二终端之间建立的多媒体信息传输通道，使第一终端与第二终端进行多媒体交互。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个第一处理器；以及
与至少一个第一处理器通信连接的第一存储器；其中，
第一存储器存储有可被至少一个第一处理器执行的指令，指令被至少一个第一处理器执行，以使至少一个第一处理器能够执行如上所述的方法。
根据本申请的另一方面，提供了一种服务器，包括：
至少一个第二处理器；以及
与至少一个第二处理器通信连接的第二存储器；其中，
第二存储器存储有可被至少一个第二处理器执行的指令，指令被至少一个第二处理器执行，以使至少一个第二处理器能够执行如上所述的方法。
根据本申请的另一方面，提供了一种多媒体交互系统，包括如上所述的电子设备和服务器。
根据本申请的再一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
本申请实施例的技术方案，第一终端和第二终端可以基于标准的WebRTC协议进行双向的多媒体交互，标准统一，第一终端和第二终端均不再需要处理多路媒体流，节省了网络资源和设备的计算资源。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1为本申请一个实施例中多媒体交互方法的流程示意图；
图2为本申请一个实施例中多媒体交互方法的流程示意图；
图3为本申请一个实施例中多媒体交互的结构示意图；
图4为本申请一个实施例中多媒体交互的结构示意图；
图5为本申请另一实施例中多媒体交互方法的流程示意图；
图6为本申请另一实施例中多媒体交互方法的示意图；
图7为本申请另一实施例中多媒体交互的结构示意图；
图8为本申请另一实施例中多媒体交互的结构示意图；
图9为本申请一个实施例中多媒体交互装置的结构框图；
图10为本申请一个实施例中多媒体交互装置的结构框图；
图11为本申请一个实施例中多媒体交互装置的结构框图；
图12为本申请一个实施例中多媒体交互装置的结构框图；
图13示出根据本申请实施例的电子设备或云端的结构框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
门铃终端(如可视门铃)安装在门外，门铃终端的摄像头可以拍摄门口的画面。位于室内的用户可以在移动终端上主动预览门铃终端摄像头所拍摄的画面，也可以在有来访者触动门铃，移动终端收到通知时，打开移动终端查看门口的画面。
例如，移动终端可以包括手机、个人电脑、智能音箱、电视、电话等电子设备。
在一个示例中，如果用户室内有带屏幕的智能音箱，可以把可视门铃与智能音箱联动起来，在智能音箱的屏幕上预览可视门铃拍摄的门口画面。当有来访者触动门铃时，可以在智能音箱的屏幕上自动弹出门口画面。用户可以在智能音箱上接听，从而与可视门铃进行双向音视频通话。如果用户的音箱没有屏幕，用户可以与可视门铃进行音频通话。
用户可以在移动终端的应用程序(Application，APP)中预览可视门铃拍摄的画面，用户也可以通过与可视门铃连通的智能音箱与可视门铃进行视频通话。通话过程中，智能音箱可以播放可视门铃传输的视频流，同时智能音箱向可视门铃传输音频流和视频流供可视门铃播放。可视门铃向智能音箱发送视频流，同时也要播放智能音箱传输来的音频流和视频流。
在可视门铃与智能音箱连通过程中，可视门铃和智能音箱均需要处理两个多媒体流(如音频流和视频流)，如协议解析、多媒体流格式转换、编解码等处理过程，使得可视门铃和智能音箱的连接复杂，并且比较消耗网络资源和设备的计算资源。
图1为本申请一个实施例中多媒体交互方法的流程示意图。如图1所示，多媒体交互方法，应用于第一终端，包括：
S101、向云端发送第一交互信息，以使云端将第一交互信息发送给第二终端；
S102、接收云端返回的第二终端的第二交互信息；
S103、基于第一交互信息和第二交互信息，建立与第二终端的网页即时通信(WebReal-Time Communication，WebRTC)连接；
S104、基于WebRTC连接与第二终端进行多媒体交互。
其中，WebRTC协议包括支持网页浏览器进行实时语音对话或视频对话的应用程序编程接口(Application Programming Interface，API)，可实现音视频的采集、编解码、网络传输、显示等功能。
本申请实施例的技术方案，第一终端和第二终端基于WebRTC协议的连接进行多媒体交互。从而，第一终端和第二终端可以基于标准的WebRTC协议进行双向的多媒体交互，标准统一，第一终端和第二终端均不再需要处理多路媒体流(例如音频流和/或视频流)，使得实现第一终端和第二终端的交互更加简单，节省了网络资源和设备的计算资源。WebRTC协议的连接可以称作WebRTC连接。
在一种实施方式中，第一交互信息和第二交互信息可以包括本地的标准的会话描述协议SDP(Session Description Protocol，SDP)信息，用于描述要通信的多媒体信息的协商。SDP信息也可以称作SDP协议的信息。SDP信息可以包括本地地址信息、媒体流、编码格式等。
多媒体信息包括音频流和视频流中的至少一种。
示例性地，第一终端可以向云端发送第一交互信息，第一交互信息包括第一终端的SDP信息。云端将第一交互信息发送给第二终端。第二终端在收到第一终端的第一交互信息后，如果第二终端同意建立连接，那么，第二终端会向云端返回第二交互信息，第二交互信息包括第二终端的SDP信息。云端在接收到第二终端的第二交互信息后，将第二交互信息发送给第一终端。第一终端接收到第二交互信息后，可以基于第一交互信息和第二交互信息，建立与第二终端的WebRTC连接。从而，第一终端和第二终端可以基于WebRTC连接进行多媒体交互。
在一种实施方式中，在S101中，向云端发送第一交互信息，可以包括：
响应于第一交互指令，向云端发送第一交互信息。
示例性地，当用户想要通过第一终端与第二终端进行通讯时，可以向第一终端发出第一交互指令。例如，用户可以通过点击屏幕、语音、手势等方式向第一终端发出第一交互指令。第一终端接收到第一交互指令后，向云端发送第一交互信息，请求与第二终端建立WebRTC连接。
示例性地，第一终端可以为移动终端，第二终端可以为门铃终端。第一交互指令可以由移动终端的用户发出。
示例性地，第一终端可以为门铃终端，第二终端可以为移动终端。第一交互指令可以由门铃终端的用户发出。
示例性地，云端可以为智能家居云端服务。
在一种实施方式中，第一终端可以为移动终端，第二终端可以为门铃终端。在S104中，基于WebRTC连接与第二终端进行多媒体交互，可以包括：
在第一交互模式下，接收门铃终端采集到的多媒体信息；和/或
在第二交互模式下，接收门铃终端采集到的多媒体信息，并发送采集到的多媒体信息。
示例性地，在第一交互模式下，移动终端可以单方向地接收门铃终端采集到的多媒体信息。移动终端可以关闭本地的音频和视频输出，从而，门铃终端无法播放移动终端采集到的多媒体信息。
示例性地，在第二交互模式下，移动终端接收门铃终端采集到的多媒体信息，并发送采集到的多媒体信息。移动终端和门铃终端可以进行双向的多媒体交互。
采用两种交互模式，方便了用户的选择，从而，用户可以选择让第二终端播放本地图像和语音，或者，不让第二终端播放本体图像和语音。
图2为本申请一个实施例中多媒体交互方法的流程示意图。如图2所示，多媒体交互方法可以应用于第二终端，包括：
S201、接收云端发送的第一终端的第一交互信息；
S202、向云端返回第二交互信息；
S203、基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
S204、基于WebRTC连接与第一终端进行多媒体交互。
示例性地，第二终端接收云端发送的第一终端的第一交互信息。如果第二终端同意建立连接，那么，第二终端会向云端返回第二交互信息。云端在接收到第二终端的第二交互信息后，将第二交互信息发送给第一终端。第一终端接收到第二交互信息后，第二终端可以基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接。从而，第一终端和第二终端可以基于WebRTC连接进行多媒体交互。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端，在S204中，基于WebRTC连接与第一终端进行多媒体交互，可以包括：
在第一交互模式下，发送采集到的多媒体信息；和/或
在第二交互模式下，发送采集到的多媒体信息，并接收移动终端采集到的多媒体信息并播放。
示例性地，在第一交互模式下，门铃终端可以向移动终端发送门铃终端采集到的多媒体信息，但门铃终端接收不到移动终端采集到的多媒体信息。
示例性地，在第二交互模式下，门铃终端可以向移动终端发送门铃终端采集到的多媒体信息，同时，门铃终端接收移动终端采集到的多媒体信息并播放。
图3为本申请一个实施例中多媒体交互的示意图。在图3所示实施例中，第一终端可以为移动终端，例如智能音箱，第二终端可以为门铃终端，例如可视门铃。智能音箱和可视门铃的多媒体交互过程，可以包括S11至S15的步骤。
S11、智能音箱10向智能家居云端服务20发送第一交互信息，以使智能家居云端服务20将第一交互信息发送给可视门铃30，如图3所示。
示例性地，智能音箱可以语音控制可视门铃，例如，用户对着智能音箱说“打开门铃”，有屏幕的智能音箱便接收到第一交互指令。用户也可以在智能音箱的屏幕上点击门铃图标，发起通话来向智能音箱发出第一交互指令。智能音箱响应于第一交互指令，向智能家居云端服务发送第一交互信息。第一交互信息包含智能音箱的SDP信息，从而，智能音箱将本地的SDP信息发送给智能家居云端服务。
S12、智能家居云端服务20接收到第一交互信息后，将第一交互信息发送给可视门铃30，如图3所示。从而，智能家居云端服务20将智能音箱的SDP信息发送给可视门铃30。
示例性地，可视门铃30接收到智能音箱的SDP信息后，发送给可视门铃。
S13、可视门铃30接收到智能音箱10的第一交互信息后，将本地的第二交互信息返回给智能家居云端服务20，如图3所示。第二交互信息包括可视门铃30的SDP信息。
示例性地，可视门铃收到SDP信息后，把自己本地的SDP信息返回给智能家居云端服务。
S14、智能家居云端服务20接收到第二交互信息后，将第二交互信息返回给智能音箱10。从而，智能家居云端服务20将可视门铃的SDP信息发送给智能音箱10。
S15、智能音箱10基于第一交互信息和第二交互信息(智能音箱的SDP信息和可视门铃的SDP信息)，建立与可视门铃30的WebRTC连接。
示例性地，智能音箱基于双方的SDP信息，与可视门铃建立WebRTC协议的连接，进行音视频通话。
从而，智能音箱10和可视门铃30可以基于WebRTC连接进行多媒体交互(例如音视频通话)。
示例性地，用户可以选择第一交互模式，例如在智能音箱10与可视门铃30进行音视频通话之前，用户可以关闭智能音箱端的视频和音频输出，便于单方向预览可视门铃拍摄到的画面。在智能音箱与可视门铃进行音视屏通话时，用户可以启动智能音箱的接听功能，开启智能音箱的视频和音频输出，进入第二交互模式，从而与可视门铃进行双向的音视频通话。
示例性地，在第一终端为无屏幕的普通音响的情况下，用户选择第一交互模式，即在用户未启动接听功能前，普通音响(无屏幕音响)可以关闭音频输出，从而，用户可以听可视门铃输入的声音。用户可以启动普通音响的接听功能，进而第二交互模式，开启普通音响的音频输出，与可视门铃进行双向的音频通话。
图4为本申请一个实施例中多媒体交互的示意图。在图4所示实施例中，第一终端可以为门铃终端，例如可视门铃。第二终端可以为移动终端，例如智能音箱。智能音箱和可视门铃的多媒体交互过程，可以包括S21至S25的步骤。
S21、可视门铃30向智能家居云端服务20发送第二交互信息，以使智能家居云端服务20将第二交互信息发送给智能音箱10。
示例性地，来访者按动可视门铃，门铃发起通话的消息，也就是说，来访者向可视门铃发出第一交互指令。可视门铃响应于第一交互指令向智能家居云端服务发送第二交互信息。第二交互信息包含可视门铃的SDP信息，从而，可视门铃将本地的SDP信息发送给智能家居云端服务。
S22、智能家居云端服务20接收到第二交互信息后，将第二交互信息发送给智能音箱10。从而，智能家居云端服务20将可视门铃的SDP信息发送给智能音箱10。
示例性地，智能家居云端服务收到可视门铃箱的SDP信息之后，发给智能音箱。
S23、智能音箱10接收到可视门铃30的第二交互信息后，将本地的第一交互信息返回给智能家居云端服务20。第一交互信息包括移动终端的SDP信息。
示例性地，智能音箱收到可视门铃的SDP信息后，把自己本地的SDP信息发送给智能家居云端服务。
S24、智能家居云端服务20接收到第一交互信息后，将第一交互信息返回给可视门铃30。从而，智能家居云端服务20将智能音箱10的SDP信息返回给可视门铃。
S25、可视门铃30基于第一交互信息和第二交互信息(智能音箱的SDP信息和可视门铃的SDP信息)，建立与智能音箱10的WebRTC连接。
示例性地，可视门铃基于双方的SDP信息，与智能音箱建立WebRTC协议的连接，进行音视频通话。
从而，智能音箱10和可视门铃30可以基于WebRTC连接进行多媒体交互(例如音视频通话)。
图5为本申请另一实施例中多媒体交互方法的流程示意图。如图5所示，该多媒体交互方法可以应用于第一终端，该方法包括：
S301、向第一云端发送第一交互信息，以使第一云端将第一交互信息发送给第二云端，进而使第二云端向第二终端发送多媒体交互指令；
S302、接收第一云端返回的第二云端的第二交互信息；
S303、基于第一交互信息和第二交互信息，建立与第二云端的WebRTC连接；
S304、基于WebRTC连接，通过第二云端与第二终端进行多媒体交互，其中，第二云端与第二终端之间建立有多媒体信息传输通道。
示例性地，第一终端支持WebRTC连接，第二终端不支持WebRTC连接。
本申请实施例的技术方案，第一终端和第二云端建立WebRTC连接，第二终端与第二云端之间建立有多媒体信息传输通道。从而，第二终端可以将采集到的数据传输给第二云端，第二云端和第一终端进行基于WebRTC连接的多媒体交互。第二终端接收第二云端返回的第一终端的数据。这样的交互方式，第一终端和第二云端可以基于标准的WebRTC协议进行双向的多媒体交互，标准统一，第一终端和第二终端均不再需要处理多路媒体流，使得实现第一终端和第二终端的交互更加简单，节省了网络资源和设备的计算资源。
在一种实施方式中，在S301中，向第一云端发送第一交互信息，包括：
响应于第一交互指令，向第一云端发送第一交互信息。
示例性地，第一终端可以为移动终端，第二终端可以为门铃终端。第一交互指令可以由移动终端的用户发出。移动终端可以支持WebRTC连接，门铃终端可以不支持WebRTC连接。第一云端可以为智能家居云端服务，第二云端可以为媒体服务云端。
示例性地，第一终端可以为门铃终端，第二终端可以为移动终端。第一交互指令可以由门铃终端的用户发出。门铃终端支持WebRTC连接，移动终端不支持WebRTC连接。第一云端可以为媒体服务云端，第二云端可以为智能家居云端服务。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端，在S304中，基于WebRTC连接，通过第二云端与第二终端进行多媒体交互，包括：
在第一交互模式下，接收第二云端发送的门铃终端采集到的多媒体信息；和/或
在第二交互模式下，接收第二云端发送的门铃终端采集到的多媒体信息，并向第二云端发送采集到的多媒体信息，以使第二云端向门铃终端发送移动终端采集到的多媒体信息。
示例性地，在第一交互模式下，门铃终端采集到的多媒体信息通过多媒体信息传输通道发送给第二云端。移动终端可以地接收由第二云端发送的门铃终端采集到的多媒体信息。移动终端可以关闭本地的音频和视频输出，从而，门铃终端无法播放移动终端采集到的多媒体信息。
示例性地，在第二交互模式下，移动终端接收由第二云端发送的门铃终端采集到的多媒体信息，并向第二云端发送采集到的多媒体信息。第二云端将移动终端采集到的多媒体信息通过多媒体信息传输通道发送给可视门铃。移动终端和门铃终端可以进行双向的多媒体交互。
图6为本申请另一实施例中多媒体交互方法的示意图。多媒体交互方法，如图6所示，应用于第二云端，可以包括：
S401、接收第一云端发送的第一终端的第一交互信息；
S402、向第一云端返回第二交互信息，并向第二终端发送多媒体交互指令；
S403、基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
S404、基于WebRTC连接，通过与第二终端之间建立的多媒体信息传输通道，使第一终端与第二终端进行多媒体交互。
示例性地，第一交互信息可以包括第一终端的SDP信息，第二交互信息可以包括第二云端的SDP信息。
本申请实施例还提供一种多媒体交互方法，应用于第二终端，可以包括：
向第二云端发送第二交互指令，以使第二云端向第一云端发送第二交互信息，并接收第一云端返回的第一终端的第一交互信息；
接收第二云端返回的多媒体交互指令，并与所第二云端建立多媒体信息传输通道；
基于第二云端与第二终端建立的WebRTC连接和多媒体信息传输通道，通过第二云端与第一终端进行多媒体交互。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端，基于第二云端与第二终端建立的WebRTC连接，通过第二云端与第一终端进行多媒体交互，可以包括：
在第一交互模式下，向第二云端发送门铃终端采集到的多媒体信息，以使第二云端向移动终端发送门铃终端采集到的多媒体信息；和/或
在第二交互模式下，向第二云端发送门铃终端采集到的多媒体信息，以使第二云端向移动终端发送门铃终端采集到的多媒体信息，并接收第二云端发送的移动终端采集到的多媒体信息。
图7为本申请另一实施例中多媒体交互的示意图。在图7所示实施例中，第一终端可以为移动终端，例如智能音箱，第二终端可以为门铃终端，例如可视门铃。第一云端可以为智能家居云端服务，第二云端可以为媒体服务云端。智能音箱和可视门铃的多媒体交互过程，可以包括S31至S38的步骤。
S31、智能音箱10向智能家居云端服务20发送第一交互信息，以使智能家居云端服务20将第一交互信息发送给媒体服务云端40，如图7所示。
示例性地，智能音箱端语音控制门铃，比如，对着音箱说“打开门铃”。智能音箱是有屏音箱，也可以在智能音箱的屏幕上点击门铃的图标，发起通话。从而，智能音箱向智能家居云端服务发送本地的SDP信息。
S32、智能家居云端服务20接收到第一交互信息后，将第一交互信息发送给媒体服务云端40。
示例性地，智能家居云端服务收到发起通话的消息之后，把智能音箱的SDP信息发给媒体服务云端相对应的接口。
S33、媒体服务云端40接收到第一交互信息后，向可视门铃30发送多媒体交互指令。
示例性地，媒体服务器云端收到智能音箱的SDP信息之后，给可视门铃发送多媒体交互指令进行视频通话。
S34、可视门铃30接收到多媒体交互指令后，进行视频通话的准备，并向媒体服务云端40返回完成指令。
S35、媒体服务云端40接收到完成指令后，向智能家居云端服务20返回第二交互信息。
示例性地，媒体服务器把本次通话的本地SDP信息发送给智能家居云端服务。
S36、智能家居云端服务20接收到第二交互信息后，将第二交互信息发送给智能音箱10，如图7所示。
示例性地，智能家居云端服务把媒体服务云端本次通话的SDP信息返回给智能音箱。
S37、智能音箱10基于第一交互信息和第二交互信息，建立与媒体服务云端40的WebRTC连接，以进行多媒体交互，如图7所示。
示例性地，智能音箱基于双方的SDP信息与媒体服务云端建立WebRTC的连接，进行通话数据的双向传输。
S38、媒体服务云端40和可视门铃30之间建立多媒体信息传输通道。示例性地，媒体服务云端和可视门铃建立音频或者视频的双向数据传输的通道(多媒体信息传输通道)，把数据通过数据传输通道传输给智能音箱。
在一种实施方式中，可以在媒体服务云端40接收到完成指令后，媒体服务云端40和可视门铃30之间建立多媒体信息传输通道。媒体服务云端40和可视门铃30之间的多媒体信息传输通道的建立，并不限于以上步骤。
图8为本申请另一实施例中多媒体交互的示意图。在图8所示实施例中，第一终端可以为移动终端，例如智能音箱，第二终端可以为门铃终端，例如可视门铃。第一云端可以为智能家居云端服务，第二云端可以为媒体服务云端。智能音箱和可视门铃的多媒体交互过程，可以包括S41至S48的步骤。
S41、可视门铃30向媒体服务云端40发送第二交互指令，以使媒体服务云端40向智能家居云端服务20发送第二交互信息。
示例性地，来访者按动可视门铃，可视门铃发起通话的消息，也就是说，可视门铃30向媒体服务云端40发送第二交互指令。
S42、媒体服务云端40响应于第二交互指令，向智能家居云端服务20发送第二交互信息。
示例性地，媒体服务云端收到第二交互指令后，向智能家居云端服务发送第二交互信息，同时将本次通话的本地SDP信息发送到智能家居云端服务。
S43、智能家居云端服务20将第二交互信息发送给智能音箱10。
示例性地，智能家居云端服务通知智能音箱，将媒体服务云端的SDP信息发送给智能音箱。
S44、智能音箱10接收到第二交互信息后，向智能家居云端服务20返回第一交互信息。
示例性地，智能音箱收到第二交互信息后，回复本设备的SDP信息。
S45、智能家居云端服务20将第一交互信息发送给媒体服务云端40。
示例性地，智能家居云端服务将智能音箱的SDP信息返回给媒体服务云端。
S46、媒体服务云端40基于第一交互信息和第二交互信息，与智能音箱10建立WebRTC连接。
示例性地，媒体服务云端基于双方的SDP信息与智能音箱建立WebRTC连接，进行音视频通话。
S47、媒体服务云端40向可视门铃30发送建立连接的指令。
S48、媒体服务云端40和可视门铃30建立多媒体信息传输通道。
示例性地，可视门铃与媒体服务云端建立双向的音视频数据传输通道(也叫做多媒体信息传输通道)。
在一种实施方式中，媒体服务云端40可以在接收到第二交互指令后，向可视门铃30发送建立连接的指令，从而，媒体服务云端40和可视门铃30建立多媒体信息传输通道。本领域技术人员可以理解，媒体服务云端40和可视门铃30之间的多媒体信息传输通道的建立，并不限于以上步骤。
在图7和图8所示实施例中，基于智能音箱和媒体服务云端的WebRTC连接，智能音箱通过媒体服务云端与可视门铃进行多媒体交互。
示例性地，可视门铃将采集到的多媒体信息通过多媒体信息传输通道发送给多媒体服务云端，多媒体服务云端将可视门铃采集到的多媒体信息通过WebRTC连接发送给智能音箱。智能音箱将采集到的多媒体信息WebRTC连接发送给多媒体服务云端，多媒体服务云端通过多媒体信息传输通道将智能音箱采集到的多媒体信息发送给可视门铃。
本申请实施例提供了一种多媒体交互装置，如图9所示，应用于第一终端，装置包括：
第一交互信息发送模块51，用于向云端发送第一交互信息，以使云端将第一交互信息发送给第二终端；
第一交互信息接收模块52，用于接收云端返回的第二终端的第二交互信息；
第一连接建立模块53，用于基于第一交互信息和第二交互信息，建立与第二终端的WebRTC连接；
第一多媒体交互模块54，用于基于WebRTC连接与第二终端进行多媒体交互。
在一种实施方式中，第一交互信息发送模块，用于响应于第一交互指令，向云端发送第一交互信息。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端；或者，第一终端为门铃终端，第二终端为移动终端。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端，
第一多媒体交互模块，用于在第一交互模式下，接收门铃终端采集到的多媒体信息；和/或
第一多媒体交互模块，用于在第二交互模式下，接收门铃终端采集到的多媒体信息，并发送采集到的多媒体信息。
本申请实施例提供了一种多媒体交互装置，如图10所示，应用于第二终端，包括：
第二交互信息接收模块61，用于接收云端发送的第一终端的第一交互信息；
第二交互信息发送模块62，用于向云端返回第二交互信息；
第二连接建立模块63，用于基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
第二多媒体交互模块64，用于基于WebRTC连接与第一终端进行多媒体交互。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端；或者，第一终端为门铃终端，第二终端为移动终端。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端，
第二多媒体交互模块，用于在第一交互模式下，发送采集到的多媒体信息；和/或
第二多媒体交互模块，用于在第二交互模式下，发送采集到的多媒体信息，并接收移动终端采集到的多媒体信息。
本申请实施例提供了一种多媒体交互装置，如图11所示，应用于第一终端，装置包括：
第三交互信息发送模块71，用于向第一云端发送第一交互信息，以使第一云端将第一交互信息发送给第二云端，进而使第二云端向第二终端发送多媒体交互指令；
第三交互信息接收模块72，用于接收第一云端返回的第二云端的第二交互信息；
第三连接建立模块73，用于基于第一交互信息和第二交互信息，建立与第二云端的WebRTC连接；
第三多媒体交互模块74，用于基于WebRTC连接，通过第二云端与第二终端进行多媒体交互，其中，第二云端与第二终端之间建立有多媒体信息传输通道。
在一种实施方式中，第三交互信息发送模块，用于响应于第一交互指令，向第一云端发送第一交互信息。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端；或者，第一终端为门铃终端，第二终端为移动终端。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端，
第三多媒体交互模块，用于在第一交互模式下，接收第二云端发送的门铃终端采集到的多媒体信息；和/或
第三多媒体交互模块，用于在第二交互模式下，接收第二云端发送的门铃终端采集到的多媒体信息，并向第二云端发送采集到的多媒体信息，以使第二云端向门铃终端发送移动终端采集到的多媒体信息。
本申请实施例提供了一种多媒体交互装置，如图12所示，应用于第二云端，包括：
第四交互信息接收模块81，用于接收第一云端发送的第一终端的第一交互信息；
第四交互信息发送模块82，用于向第一云端返回第二交互信息，并向第二终端发送多媒体交互指令；
第四连接建立模块83，用于基于第一交互信息和第二交互信息，建立与第一终端的WebRTC连接；
第四多媒体交互模块84，用于基于WebRTC连接，通过与第二终端之间建立的多媒体信息传输通道，使第一终端与第二终端进行多媒体交互。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端；或者，第一终端为门铃终端，第二终端为移动终端。
本申请实施例还提供一种多媒体交互装置，应用于第二终端，可以包括：
第五交互信息发送模块，用于向第二云端发送第二交互指令，以使第二云端向第一云端发送第二交互信息，进而第二云端接收第一云端返回的第一终端的第一交互信息；
第五交互信息接收模块，用于接收第二云端返回的多媒体交互指令，并与所第二云端建立多媒体信息传输通道；
第五多媒体交互模块，用于基于第二云端与第二终端建立的WebRTC连接和多媒体信息传输通道，通过第二云端与第一终端进行多媒体交互。
在一种实施方式中，第一终端为移动终端，第二终端为门铃终端，
第五多媒体交互模块，还用于在第一交互模式下，向第二云端发送门铃终端采集到的多媒体信息，以使第二云端向移动终端发送门铃终端采集到的多媒体信息；和/或
第五多媒体交互模块，还用于在第二交互模式下，向第二云端发送门铃终端采集到的多媒体信息，以使第二云端向移动终端发送门铃终端采集到的多媒体信息，并接收第二云端发送的移动终端采集到的多媒体信息。
本申请实施例还提供了一种电子设备，包括：
至少一个第一处理器；以及
与至少一个第一处理器通信连接的第一存储器；其中，
第一存储器存储有可被至少一个第一处理器执行的指令，指令被至少一个第一处理器执行，以使至少一个第一处理器能够执行以上所述的方法。
本申请实施例还提供了一种云端，包括：
至少一个第二处理器；以及
与至少一个第二处理器通信连接的第二存储器；其中，
第二存储器存储有可被至少一个第二处理器执行的指令，指令被至少一个第二处理器执行，以使至少一个第二处理器能够执行以上所述的方法。
本申请实施例还提供了一种多媒体交互系统，包括以上所述的电子设备和以上所述的云端。
本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质
图13示出根据本申请实施例的电子设备或云端的结构框图。电子设备或云端旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图13所示，该电子设备或云端包括：一个或多个处理器1301、存储器1302，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图13中以一个处理器1301为例。
存储器1302即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的多媒体交互方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的多媒体交互方法。
存储器1302作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的多媒体交互方法对应的程序指令/模块。处理器1301通过运行存储在存储器1302中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的多媒体交互方法。
存储器1302可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据多媒体交互方法的电子设备的使用所创建的数据等。此外，存储器1302可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1302可选包括相对于处理器1301远程设置的存储器，这些远程存储器可以通过网络连接至多媒体交互方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
多媒体交互方法的电子设备还可以包括：输入装置1303和输出装置1304。处理器1301、存储器1302、输入装置1303和输出装置1304可以通过总线或者其他方式连接，图13中以通过总线连接为例。
输入装置1303可接收输入的数字或字符信息，以及产生与多媒体交互方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1304可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与虚拟专用服务器(VPS)服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (30)
1.一种多媒体交互方法，应用于第一终端，所述方法包括：
向云端发送第一交互信息，以使所述云端将所述第一交互信息发送给第二终端；
接收所述云端返回的所述第二终端的第二交互信息；
基于所述第一交互信息和所述第二交互信息，建立与所述第二终端的WebRTC连接；
基于所述WebRTC连接与所述第二终端进行多媒体交互。
2.根据权利要求1所述的方法，其中，向云端发送第一交互信息，包括：
响应于第一交互指令，向所述云端发送所述第一交互信息。
3.根据权利要求1或2所述的方法，其特征在于，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
4.根据权利要求1所述的方法，其中，所述第一终端为移动终端，所述第二终端为门铃终端，基于所述WebRTC连接与所述第二终端进行多媒体交互，包括：
在第一交互模式下，接收所述门铃终端采集到的多媒体信息；和/或
在第二交互模式下，接收所述门铃终端采集到的多媒体信息，并发送采集到的多媒体信息。
5.一种多媒体交互方法，应用于第二终端，包括：
接收云端发送的第一终端的第一交互信息；
向所述云端返回第二交互信息；
基于所述第一交互信息和所述第二交互信息，建立与所述第一终端的WebRTC连接；
基于所述WebRTC连接与所述第一终端进行多媒体交互。
6.根据权利要求5所述的方法，其中，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
7.根据权利要求5所述的方法，其中，所述第一终端为移动终端，所述第二终端为门铃终端，基于所述WebRTC连接与所述第一终端进行多媒体交互，包括：
在第一交互模式下，发送采集到的多媒体信息；和/或
在第二交互模式下，发送采集到的多媒体信息，并接收所述移动终端采集到的多媒体信息。
8.一种多媒体交互方法，应用于第一终端，所述方法包括：
向第一云端发送第一交互信息，以使所述第一云端将所述第一交互信息发送给第二云端，进而使所述第二云端向第二终端发送多媒体交互指令；
接收所述第一云端返回的所述第二云端的第二交互信息；
基于所述第一交互信息和所述第二交互信息，建立与所述第二云端的WebRTC连接；
基于所述WebRTC连接，通过所述第二云端与所述第二终端进行多媒体交互，其中，所述第二云端与所述第二终端之间建立有多媒体信息传输通道。
9.根据权利要求8所述的方法，其中，向第一云端发送第一交互信息，包括：
响应于第一交互指令，向所述第一云端发送所述第一交互信息。
10.根据权利要求8或9所述的方法，其中，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
11.根据权利要求8所述的方法，其中，所述第一终端为移动终端，所述第二终端为门铃终端，基于所述WebRTC连接，通过所述第二云端与第二终端进行多媒体交互，包括：
在第一交互模式下，接收所述第二云端发送的所述门铃终端采集到的多媒体信息；和/或
在第二交互模式下，接收所述第二云端发送的所述门铃终端采集到的多媒体信息，并向所述第二云端发送采集到的多媒体信息，以使所述第二云端向所述门铃终端发送所述移动终端采集到的多媒体信息。
12.一种多媒体交互方法，应用于第二云端，包括：
接收第一云端发送的第一终端的第一交互信息；
向所述第一云端返回第二交互信息，并向第二终端发送多媒体交互指令；
基于所述第一交互信息和所述第二交互信息，建立与所述第一终端的WebRTC连接；
基于所述WebRTC连接，通过与所述第二终端之间建立的多媒体信息传输通道，使所述第一终端与所述第二终端进行多媒体交互。
13.根据权利要求12所述的方法，其中，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
14.一种多媒体交互装置，应用于第一终端，所述装置包括：
第一交互信息发送模块，用于向云端发送第一交互信息，以使所述云端将所述第一交互信息发送给第二终端；
第一交互信息接收模块，用于接收所述云端返回的所述第二终端的第二交互信息；
第一连接建立模块，用于基于所述第一交互信息和所述第二交互信息，建立与所述第二终端的WebRTC连接；
第一多媒体交互模块，用于基于所述WebRTC连接与所述第二终端进行多媒体交互。
15.根据权利要求14所述的装置，其中，所述第一交互信息发送模块还用于：
响应于第一交互指令，向所述云端发送所述第一交互信息。
16.根据权利要求14或15所述的装置，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
17.根据权利要求14所述的装置，其中，所述第一终端为移动终端，所述第二终端为门铃终端，
所述第一多媒体交互模块还用于在第一交互模式下，接收所述门铃终端采集到的多媒体信息；和/或
所述第一多媒体交互模块还用于在第二交互模式下，接收所述门铃终端采集到的多媒体信息，并发送采集到的多媒体信息。
18.一种多媒体交互装置，应用于第二终端，包括：
第二交互信息接收模块，用于接收云端发送的第一终端的第一交互信息；
第二交互信息发送模块，用于向所述云端返回第二交互信息；
第二连接建立模块，用于基于所述第一交互信息和所述第二交互信息，建立与所述第一终端的WebRTC连接；
第二多媒体交互模块，用于基于所述WebRTC连接与所述第一终端进行多媒体交互。
19.根据权利要求18所述的装置，其中，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
20.根据权利要求18所述的装置，其中，所述第一终端为移动终端，所述第二终端为门铃终端，
所述第二多媒体交互模块还用于在第一交互模式下，发送采集到的多媒体信息；和/或
所述第二多媒体交互模块还用于在第二交互模式下，发送采集到的多媒体信息，并接收所述移动终端采集到的多媒体信息。
21.一种多媒体交互装置，应用于第一终端，所述装置包括：
第三交互信息发送模块，用于向第一云端发送第一交互信息，以使所述第一云端将所述第一交互信息发送给第二云端，进而使所述第二云端向第二终端发送多媒体交互指令；
第三交互信息接收模块，用于接收所述第一云端返回的所述第二云端的第二交互信息；
第三连接建立模块，用于基于所述第一交互信息和所述第二交互信息，建立与所述第二云端的WebRTC连接；
第三多媒体交互模块，用于基于所述WebRTC连接，通过所述第二云端与所述第二终端进行多媒体交互，其中，所述第二云端与所述第二终端之间建立有多媒体信息传输通道。
22.根据权利要求21所述的装置，其中，
所述第三交互信息发送模块还用于响应于第一交互指令，向所述第一云端发送所述第一交互信息。
23.根据权利要求21或22所述的装置，其中，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
24.根据权利要求21所述的装置，其中，所述第一终端为移动终端，所述第二终端为门铃终端，
所述第三多媒体交互模块还用于在第一交互模式下，接收所述第二云端发送的所述门铃终端采集到的多媒体信息；和/或
所述第三多媒体交互模块还用于在第二交互模式下，接收所述第二云端发送的所述门铃终端采集到的多媒体信息，并向所述第二云端发送采集到的多媒体信息，以使所述第二云端向所述门铃终端发送所述移动终端采集到的多媒体信息。
25.一种多媒体交互装置，应用于第二云端，包括：
第四交互信息接收模块，用于接收第一云端发送的第一终端的第一交互信息；
第四交互信息发送模块，用于向所述第一云端返回第二交互信息，并向第二终端发送多媒体交互指令；
第四连接建立模块，用于基于所述第一交互信息和所述第二交互信息，建立与所述第一终端的WebRTC连接；
第四多媒体交互模块，用于基于所述WebRTC连接，通过与所述第二终端之间建立的多媒体信息传输通道，使所述第一终端与所述第二终端进行多媒体交互。
26.根据权利要求25所述的装置，其中，所述第一终端为移动终端，所述第二终端为门铃终端；或者，所述第一终端为所述门铃终端，所述第二终端为所述移动终端。
27.一种电子设备，包括：
至少一个第一处理器；以及
与所述至少一个第一处理器通信连接的第一存储器；其中，
所述第一存储器存储有可被所述至少一个第一处理器执行的指令，所述指令被所述至少一个第一处理器执行，以使所述至少一个第一处理器能够执行权利要求1至11中任一项所述的方法。
28.一种服务器，包括：
至少一个第二处理器；以及
与所述至少一个第二处理器通信连接的第二存储器；其中，
所述第二存储器存储有可被所述至少一个第二处理器执行的指令，所述指令被所述至少一个第二处理器执行，以使所述至少一个第二处理器能够执行权利要求12或13所述的方法。
29.一种多媒体交互系统，包括权利要求27所述的电子设备和权利要求28所述的服务器。
30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1-13中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010965399.2A CN112104649A (zh) | 2020-09-15 | 2020-09-15 | 多媒体交互方法、装置、电子设备、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010965399.2A CN112104649A (zh) | 2020-09-15 | 2020-09-15 | 多媒体交互方法、装置、电子设备、服务器和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112104649A true CN112104649A (zh) | 2020-12-18 |
Family
ID=73758735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010965399.2A Pending CN112104649A (zh) | 2020-09-15 | 2020-09-15 | 多媒体交互方法、装置、电子设备、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112104649A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113015019A (zh) * | 2021-03-09 | 2021-06-22 | 北京百度网讯科技有限公司 | 数据处理方法、装置和系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103404132A (zh) * | 2013-03-08 | 2013-11-20 | 华为终端有限公司 | 视频通信方法及家庭终端、家庭服务器 |
| CN104283760A (zh) * | 2013-07-04 | 2015-01-14 | 华为技术有限公司 | 一种WebRTC通信方法、相关设备及系统 |
| WO2016156256A1 (en) * | 2015-03-30 | 2016-10-06 | British Telecommunications Public Limited Company | Data communications |
| US20180295160A1 (en) * | 2015-09-30 | 2018-10-11 | British Telecommunications Public Limited Company | Data communications |
| CN110113299A (zh) * | 2019-03-19 | 2019-08-09 | 视联动力信息技术股份有限公司 | 数据传输方法、装置、信令服务器和计算机可读介质 |
| US20200279459A1 (en) * | 2019-02-28 | 2020-09-03 | Arlo Technologies, Inc. | Electronic Doorbell System with Text Communication |
-
2020
- 2020-09-15 CN CN202010965399.2A patent/CN112104649A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103404132A (zh) * | 2013-03-08 | 2013-11-20 | 华为终端有限公司 | 视频通信方法及家庭终端、家庭服务器 |
| CN104283760A (zh) * | 2013-07-04 | 2015-01-14 | 华为技术有限公司 | 一种WebRTC通信方法、相关设备及系统 |
| WO2016156256A1 (en) * | 2015-03-30 | 2016-10-06 | British Telecommunications Public Limited Company | Data communications |
| US20180295160A1 (en) * | 2015-09-30 | 2018-10-11 | British Telecommunications Public Limited Company | Data communications |
| US20200279459A1 (en) * | 2019-02-28 | 2020-09-03 | Arlo Technologies, Inc. | Electronic Doorbell System with Text Communication |
| CN110113299A (zh) * | 2019-03-19 | 2019-08-09 | 视联动力信息技术股份有限公司 | 数据传输方法、装置、信令服务器和计算机可读介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113015019A (zh) * | 2021-03-09 | 2021-06-22 | 北京百度网讯科技有限公司 | 数据处理方法、装置和系统 |
| CN113015019B (zh) * | 2021-03-09 | 2023-02-28 | 北京百度网讯科技有限公司 | 数据处理方法、装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2681909B1 (en) | Transmission management apparatus | |
| KR102157634B1 (ko) | 영상 획득 방법 및 로컬 엔드포인트 호스트 장치 | |
| CN101917586B (zh) | 一种会议的加入方法和设备 | |
| CN104365088A (zh) | 使用多个摄像头的多通道通信 | |
| JP5924119B2 (ja) | 伝送管理システム、伝送システム、及び伝送管理システム用プログラム | |
| JP5928148B2 (ja) | 伝送管理システム、伝送システム、及び伝送管理システム用プログラム | |
| JP6074915B2 (ja) | 伝送管理システム、伝送システム、伝送管理方法、及び伝送管理システム用プログラム | |
| JP6064367B2 (ja) | 伝送管理システム、伝送システム、及び伝送管理システム用プログラム | |
| KR20140113503A (ko) | 영상 통신 방법 및 그 영상 통신 시스템 | |
| CN103037244B (zh) | 多个智能终端之间切换网络视频的方法、系统及智能终端 | |
| JP2013130823A (ja) | 電子機器 | |
| CN103581607A (zh) | 使用远程摄像机设备将视频流传递到本地端点主机的方法 | |
| CN112104649A (zh) | 多媒体交互方法、装置、电子设备、服务器和存储介质 | |
| JP5953932B2 (ja) | 中継装置選択装置、伝送システム、及び中継装置選択装置用プログラム | |
| AU2014260729A1 (en) | Communications management system and communications management method | |
| CN115022573A (zh) | 一种桌面视频会议系统 | |
| US20080052631A1 (en) | System and method for executing server applications in mobile terminal | |
| CN208094697U (zh) | 视频会议系统 | |
| WO2015017680A2 (en) | Systems and methods for split echo cancellation | |
| JP2016046720A (ja) | 管理装置、端末装置、伝送システム、伝送方法およびプログラム | |
| WO2023185651A1 (zh) | 一种通信方法、装置及系统 | |
| US20160065638A1 (en) | Controller and voice transmission system using the same | |
| EP3038320A1 (en) | Management system, communication terminal, communication system, call control method, and computer program product | |
| JP6229756B2 (ja) | システム、管理システム、及び管理方法 | |
| JP2016067003A (ja) | 伝送端末、伝送システム、表示方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210510 Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant after: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. Applicant after: Shanghai Xiaodu Technology Co.,Ltd. Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing Applicant before: BAIDU ONLINE NETWORK TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201218 |