CN111131891B - 一种音视频播放方法、装置、播放设备及系统 - Google Patents

Abstract

本发明公开了一种音视频播放方法、装置、混合设备及系统，该音视频播放方法包括：响应于播放设备发送的针对目标终端设备的音视频获取指令，获取目标终端设备的界面的视频图像数据；响应于音视频获取指令，获取目标终端设备采集的音频数据；将音频数据和视频图像数据进行混合，得到音视频数据；将音视频数据发送至播放设备进行播放。可以在播放设备中展示目标终端手机的界面、并播放目标终端设备采集的所在环境的音频。使得用户可以通过播放设备远程体验目标终端设备的测试环境。

Description

一种音视频播放方法、装置、播放设备及系统

技术领域

本发明涉及互联网技术领域，更具体地，涉及一种音视频播放方法、装置、播放设备及系统。

背景技术

对于现有的云真机平台，在对终端设备进行测试时，可以是通过浏览器展示终端设备的实时界面图像。

但是对于现有的系统不支持在软件层面抓取整个系统级别的实时音频。例如终端设备的音乐播放应用正在后台播放流媒体音乐，而用户正在使用聊天应用，那么聊天应用是无法获取音乐播放应用的音频数据进行录制等操作的。因此，无法满足云真机平台从终端设备中获取音视频数据的需求。

发明内容

本发明的一个目的是提供一种音视频播放的新技术方案。

根据本发明的第一方面，提供了一种音视频播放方法，包括：

响应于播放设备发送的针对目标终端设备的音视频获取指令，获取所述目标终端设备的界面的视频图像数据；

响应于所述音视频获取指令，获取所述目标终端设备采集的音频数据；

将所述音频数据和所述视频图像数据进行混合，得到音视频数据；

将所述音视频数据发送至所述播放设备进行播放。

可选的，所述响应于播放设备发送的针对目标终端设备的音视频获取指令，获取展示所述目标终端设备的界面的视频图像数据的步骤包括：

响应于所述音视频获取指令，向所述目标终端设备发送视频图像数据获取请求，以供所述目标终端设备根据所述视频图像获取请求采集展示自身的界面的视频图像数据，并发送所述视频图像数据；

接收所述目标终端设备发送的所述视频图像数据。

可选的，所述响应于所述音视频获取指令，获取所述目标终端设备采集的音频数据的步骤包括：

响应于所述音视频获取指令，向所述目标终端设备发送音频数据获取请求，以供所述目标终端设备根据所述音频数据获取请求启动麦克风采集音频数据，并发送所述音频数据；

接收所述目标终端设备发送的所述音频数据。

可选的，所述将所述音频数据和所述视频图像数据进行混合，得到音视频数据的步骤包括：

将获取时间相同的音频数据和视频图像数据进行混合，得到所述音视频数据。

可选的，所述将所述音频数据和所述视频图像数据进行混合，得到音视频数据的步骤包括：

对所述音频数据进行编码转换处理，得到转换后的音频数据；

对所述视频图像数据进行编码转换处理，得到转换后的视频图像数据；

对所述转换后的音频数据和所述转换后的视频图像数据进行混合，得到所述音视频数据。

可选的，所述转换后的音频数据为ogg编码格式；所述转换后的视频图像数据为vp8编码格式；所述音视频数据为webM封装格式。

可选的，所述将所述音视频数据发送至所述播放设备进行播放的步骤包括：

通过WebRtc协议将所述音视频数据发送至中转服务器，以使所述中转服务器通过所述WebRtc协议将所述音视频数据发送至所述播放设备中的H5页面进行播放。

根据本发明的第二方面，提供了一种音视频播放装置，包括：

视频图像获取模块，用于响应于播放设备发送的针对目标终端设备的音视频获取指令，获取所述目标终端设备的界面的视频图像数据；

音频获取模块，用于响应于所述音视频获取指令，获取所述目标终端设备采集的音频数据；

混合模块，用于将所述音频数据和所述视频图像数据进行混合，得到音视频数据；以及，

发送模块，用于将所述音视频数据发送至所述播放设备进行播放。

可选的，所述视频图像获取模块还用于：

响应于所述音视频获取指令，向所述目标终端设备发送视频图像数据获取请求，以供所述目标终端设备根据所述视频图像获取请求采集展示自身的界面的视频图像数据，并发送所述视频图像数据；

接收所述目标终端设备发送的所述视频图像数据。

可选的，所述音频获取模块还用于：

响应于所述音视频获取指令，向所述目标终端设备发送音频数据获取请求，以供所述目标终端设备根据所述音频数据获取请求启动麦克风采集音频数据，并发送所述音频数据；

接收所述目标终端设备发送的所述音频数据。

可选的，所述混合模块还用于：将获取时间相同的音频数据和视频图像数据进行混合，得到所述音视频数据。

可选的，所述混合模块还包括：

第一编码转换单元，用于对所述音频数据进行编码转换处理，得到转换后的音频数据；

第二编码转换单元，用于对所述视频图像数据进行编码转换处理，得到转换后的视频图像数据；

混合单元，用于对所述转换后的音频数据和所述转换后的视频图像数据进行混合，得到所述音视频数据。

可选的，所述转换后的音频数据为ogg编码格式；所述转换后的视频图像数据为vp8编码格式；所述音视频数据为webM封装格式。

可选的，所述发送模块还用于：通过WebRtc协议将所述音视频数据发送至中转服务器，以使所述中转服务器通过所述WebRtc协议将所述音视频数据发送至所述播放设备中的H5页面进行播放。

根据本发明的第三方面，提供了一种混合设备，包括：

根据本发明第二方面所述的音视频播放装置；或者，

处理器和存储器，所述存储器用于存储可执行的指令，所述指令用于控制所述处理器执行根据本发明第一方面所述的音视频播放方法。

根据本发明的第四方面，提供了一种音视频播放系统，其中，包括播放设备、及根据本发明第三方面所述的混合设备，所述播放设备用于：

响应于播放目标终端设备对应的音视频数据的操作，向与所述目标终端设备连接的所述混合设备发送针对目标终端设备的音视频获取指令；

接收所述混合设备根据所述音视频获取指令发送的音视频数据，并进行播放。

本发明的实施例中，通过混合设备获取展示目标终端设备的界面的视频图像数据、及目标终端设备采集的音频数据，并将音频数据和视频图像数据进行混合得到音视频数据，并将音视频数据发送至播放设备进行播放。这样，可以在播放设备中展示目标终端手机的界面、并播放目标终端设备采集的所在环境的音频。使得用户可以通过播放设备远程体验目标终端设备的测试环境。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1示出了可用于实现本发明的实施例的音视频播放系统的硬件配置的例子的框图；

图2为本发明的实施例提供的音视频播放方法的流程图；

图3为本发明的实施例提供的获取视频图像数据的步骤的流程图；

图4为本发明的实施例提供的获取音频数据的步骤的流程图；

图5为本发明的实施例提供的混合步骤的流程图；

图6为本发明的实施例提供的音视频播放装置的一个例子的框图；

图7为本发明的实施例提供的音视频播放装置的另一个例子的框图；

图8为本发明的实施例提供的混合设备的框图；

图9为本发明的实施例提供的音视频播放系统的框图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

<硬件配置>

图1示出了可用于实现本发明的实施例的音视频播放系统的硬件配置的例子的框图。

如图1所示，音视频播放系统1000包括混合设备1100、播放设备1200、终端设备1300以及网络1400。

混合设备1100可以是便携式电脑、台式计算机、手机、平板电脑等。如图1所示，混合设备1100可以包括处理器1110、存储器1120、接口装置1120、通信装置1130、显示装置1140、输入装置1160、扬声器1170、麦克风1180，等等。其中，处理器1110可以是中央处理器CPU、微处理器MCU等。存储器1120例如包括ROM（只读存储器）、RAM（随机存取存储器）、诸如硬盘的非易失性存储器等。接口装置1120例如包括USB接口、耳机接口等。通信装置1130例如能够进行有线或无线通信。显示装置1140例如是液晶显示屏、触摸显示屏等。输入装置1160例如可以包括触摸屏、键盘等。用户可以通过扬声器1170和麦克风1180输入/输出语音信息。

播放设备1200可以是便携式电脑、台式计算机、手机、平板电脑等。如图1所示，播放设备1200可以包括处理器1210、存储器1220、接口装置1230、通信装置1240、显示装置1250、输入装置1260、扬声器1270、麦克风1280，等等。其中，处理器1210可以是中央处理器CPU、微处理器MCU等。存储器1220例如包括ROM（只读存储器）、RAM（随机存取存储器）、诸如硬盘的非易失性存储器等。接口装置1230例如包括USB接口、耳机接口等。通信装置1240例如能够进行有线或无线通信。显示装置1250例如是液晶显示屏、触摸显示屏等。输入装置1260例如可以包括触摸屏、键盘等。用户可以通过扬声器1270和麦克风1280输入/输出语音信息。

终端设备1300可以是便携式电脑、台式计算机、手机、平板电脑等。如图1所示，终端设备1300可以包括处理器1310、存储器1320、接口装置1330、通信装置1340、显示装置1350、输入装置1360、扬声器1370、麦克风1380，等等。其中，处理器1310可以是中央处理器CPU、微处理器MCU等。存储器1320例如包括ROM（只读存储器）、RAM（随机存取存储器）、诸如硬盘的非易失性存储器等。接口装置1330例如包括USB接口、耳机接口等。通信装置1340例如能够进行有线或无线通信。显示装置1350例如是液晶显示屏、触摸显示屏等。输入装置1360例如可以包括触摸屏、键盘等。用户可以通过扬声器1370和麦克风1380输入/输出语音信息。

通信网络1400可以是无线网络也可以网络，可以是局域网也可以是广域网。在图1所示的配置环境1000中，混合设备1100与播放设备1200、及混合设备1100与终端设备1300之间可以通过通信网络1400进行通信。

图1所示的配置环境1100仅是解释性的，并且决不是为了要限制本发明、其应用或用途。

应用于本发明的实施例中，混合设备1100的所述存储器1120用于存储指令，所述指令用于控制所述处理器1110进行操作以执行本发明实施例提供的任意一项音视频播放方法。

混合设备1100的存储器1120用于存储指令，所述指令用于控制所述处理器1110进行操作以执行本发明实施例提供的任意一项用于混合设备的音视频播放方法。本领域技术人员应当理解，尽管在图1中对、混合设备1100、播放设备1200、终端设备1300都示出了多个装置，但是，本发明可以仅涉及其中的部分装置，例如，只涉及处理器1110和存储器1110，或者混合设备1100只涉及处理器1110和存储器1120，或者播放设备1200只涉及处理器1210和存储器1220，或者终端设备1300只涉及处理器1310和存储器1320等。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。

本发明实施例的总体构思，是提供一种新的音视频播放的技术方案，通过混合设备获取展示目标终端设备的界面的视频图像数据、及目标终端设备采集的音频数据，并将音频数据和视频图像数据进行混合得到音视频数据，并将音视频数据发送至播放设备进行播放。这样，可以在播放设备中展示目标终端手机的界面、并播放目标终端设备采集的所在环境的音频。使得用户可以通过播放设备远程体验目标终端设备的测试环境。

<方法>

在本实施例中，提供一种音视频播放方法。

该混合设备可以任意具有处理器和存储器的电子设备，例如，可以是便携式电脑、台式计算机、手机、平板电脑等。在一个例子中，混合设备可以是图1所示的混合设备1200。

图2为本发明实施例的音视频播放方法的流程图。

根据图2所示，该图像传输方法包括如下步骤S2100～S2400。

步骤S2100，响应于播放设备发送的针对目标终端设备的音视频获取指令，获取展示该目标终端设备的界面的视频图像数据。

播放设备可以是能够播放音视频数据的电子设备。例如，该播放设备可以是便携式电脑、台式计算机、手机、平板电脑等具有显示装置的电子设备。在一个例子中，该播放设备可以是如图1所示的播放设备1300。

播放设备可以是响应于播放目标设备对应的音视频数据的操作，向对应的混合设备发送针对目标终端设备的音视频获取指令。

播放目标设备对应的音视频数据的操作可以是由用户触发的。该操作例如可以是由用户点击播放设备中指定的按钮触发的。本实施例中指定的按钮可以是设置播放设备上的物理按钮，也可以是设置在播放设备上的虚拟按钮，还可以是播放设备的当前显示页面中的虚拟按钮。

具体的，播放设备可以是与多个混合设备进行通信。那么，在播放设备接收到播放目标设备对应的音视频数据的操作时，可以向与目标终端设备通过数据线等进行通信连接的混合设备发送针对目标终端设备的音视频获取指令，即向对应的混合设备发送针对目标终端设备的音视频获取指令。对应的混合设备，具体可以是与目标终端设备通过数据线等进行通信连接的混合设备。

进一步地，执行本实施例视频播放方法的混合设备与目标终端设备之间可以是通过USB数据线进行通信连接的。

在一个例子中，该播放设备可以直接通过有线或者无线的方式向混合设备发送的针对目标终端设备的音视频获取指令。

进一步地，播放设备和混合设备还可以是由不同电子设备分别来实现的，也可以是由同一电子设备实现的。

在另一个例子中，播放设备也可以是通过服务器将针对目标终端设备的音视频获取指令转发至混合设备的。

具体的，该播放设备可以是通过H5页面播放音视频数据。那么，播放设备中可以安装有支持H5的浏览器客户端。

在播放设备展示的H5页面中，可以接收用户针对目标终端设备触发的播放视频的操作。在用户通过点击播放设备的当前显示的H5页面中的虚拟按钮时，即接收到用户针对目标终端设备触发的播放视频的操作，则可以触发播放设备向混合设备发送音视频获取指令。但是，播放设备无法直接将该音视频获取指令发送至混合设备中，而是需要H5页面所对应的服务器将播放设备发出的该针对目标终端设备的音视频获取指令转发至对应的混合设备中。

由于H5页面支持网页即时通信（Web Real-Time Communication，WebRTC）协议，因此，用于转发针对目标终端设备的音视频获取指令的服务器可以是WebRTC服务器。WebRTC服务器可以使用开源项目例如janus来实现。播放设备可以是通过网页即时通信协议例如websocket协议向WebRTC服务器发送音视频获取指令，并由WebRTC服务器将该音视频获取指令转发至混合设备中。

WebRTC是一个支持网页浏览器进行实时语音对话或视频对话的API。WebRTC实现了基于网页的视频会议，标准是WHATWG 协议，目的是通过浏览器提供简单的javascript就可以达到实时通讯能力。WebRTC项目的最终目的主要是让Web开发者能够基于浏览器轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现；另外WebRTC还希望能够建立一个多互联网浏览器间健壮的实时通信的平台，形成开发者与浏览器厂商良好的生态环境。WebRTC提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台：windows，linux，mac，android。

在一个例子中，该步骤S2100可以进一步包括如图3所示的步骤S2110-S2120：

步骤S2110，响应于该音视频获取指令，向目标终端设备发送视频图像数据获取请求，以供目标终端设备根据该视频图像获取请求采集展示自身界面的视频图像数据，并发送该视频图像数据。

混合设备可以响应于针对目标终端设备的音视频获取指令，向目标终端设备发送视频图像获取请求。具体的，该视频图像获取请求可以是通过连接目标终端设备和混合设备的数据线传输的。

目标终端设备中可以预先安装有应用程序。在目标终端设备接收到视频图像获取请求时，该应用程序通过系统中的API函数，例如可以是SurfaceControl这个类中的函数，来获取目标终端设备实时展示的界面图像，并对界面图像进行视频编码，得到视频图像数据。并通过应用程序上开启一个unix domain socket服务，再利用adb forward将该视频图像数据转发至混合设备中。具体的，该视频图像数据可以是通过连接目标终端设备和混合设备的数据线传输的。

操作系统除了协调应用程序的执行、内存分配、系统资源管理外，同时也是一个很大的服务中心，调用这个服务中心的各种服务（每一种服务是一个函数），可以帮助应用程序达到开启视窗、描绘图形、使用周边设备的目的，由于这些函数服务的对象是应用程序(Application),所以称之为Application Programming Interface，简称API函数。

步骤S2120，接收目标终端设备发送的视频图像数据。

通过本实施例的步骤，混合设备就可以获取到展示目标终端设备的界面的视频图像数据。

步骤S2200，响应于该音视频获取指令，获取目标终端设备采集的音频数据。

步骤S2100和步骤S2200可以是同时执行的，在本实施例中，对步骤S2100和步骤S2200的执行顺序不做限制。

步骤S2100和步骤S2200中提到的音视频获取指令为同一指令，因此，混合设备在接收到播放设备发送的该针对目标终端设备的音视频获取指令时，可以同时获取视频图像数据和音频数据。

在一个例子中，该步骤S2200可以进一步包括如图4所示的步骤S2210-S2220：

步骤S2210，响应于该音视频获取指令，向目标终端设备发送音频数据获取请求，以供目标终端设备根据该音频获取请求启动麦克风采集音频数据，并发送该音频数据。

混合设备可以响应于针对目标终端设备的音视频获取指令，向目标终端设备发送音频获取请求。具体的，该音频获取请求可以是通过连接目标终端设备和混合设备的数据线传输的。

目标终端设备可以是在接收到视频图像获取请求时，启动自身的麦克风，采集音频数据。并通过连接目标终端设备和混合设备的USB数据线，将音频数据传输至混合设备中。具体的，目标终端设备可以是利用AOA协议来输出音频数据。AOA协议为用于实现目标终端设备与混合设备之间USB通信的协议。该协议拓展了目标终端设备USB接口的功能，为基于目标终端设备应用于数据采集和设备控制领域提供了条件。

步骤S2220，接收目标终端设备发送的音频数据。

通过本实施例的步骤，混合设备就可以获取到目标终端设备采集的音频数据。

步骤S2300，将音频数据和视频图像数据进行混合，得到音视频数据。

具体的，混合设备可以是按照预设的混合频率将音频数据和视频图像数据进行混合，得到音视频数据。本实施例中混合频率和混合周期是相对应的。该混合频率是在每一混合周期内混合的次数。那么，混合设备可以是将每一混合周期内采集的音频数据和视频图像数据进行混合，得到音视频数据。

该混合频率可以是预先根据应用场景设定的。混合频率例如可以是2次/s，对应的，混合周期可以为0.5s。

在一个例子中，混合设备获取的音频数据可以是预先在目标终端设备中按照采集时间进行编码的；混合设备获取的视频图像数据中也可以是预先在目标终端设备中按照采集时间进行编码的。因此，可以是将采集时间相同的音频数据和视频图像数据进行混合，得到音视频数据。

在另一个例子中，还可以是将混合设备同一时间获取的音频数据和视频图像数据进行混合，得到音视频数据。

这样，通过将采集时间或者是获取时间相同的音频数据和视频图像数据进行混合，可以使得音视频数据图像和音频同步。

在一个例子中，显示设备可以是通过H5页面播放音视频数据。H5页面能够播放的音视频数据的编码格式可以是webM封装格式。那么，该步骤S2300还可以包括如图5所示的步骤S2310-S2330：

步骤S2310，对音频数据进行编码转换处理，得到转换后的音频数据。

混合设备从目标终端设备中获取的音频数据可以是PCM（Pulse CodeModulation，脉冲编码调制）编码格式。可以是将PCM编码格式的音频数据重新编码为ogg编码格式。其中，ogg全称是OGGVobis，是一种音频压缩格式。因此，转换后的音频数据的编码格式为ogg。

步骤S2320，对视频图像数据进行编码转换处理，得到转换后的视频图像数据。

混合设备从目标终端设备中获取的视频图像数据可以是h.264编码格式，其中，h.264是一种数字视频压缩格式。可以是将h.264编码格式的视频图像数据转换为vp8编码格式。其中，vp8是一种开放的图像压缩格式。因此，转换后的视频图像数据的编码格式可以是vp8。

步骤S2330，对转换后的音频数据和视频图像数据进行混合，得到音视频数据。

通过将ogg编码格式的音频数据和vp8编码格式视频图像数据进行混合，可以得到webM编码格式的音视频数据。

webM由Google提出，是一个开放、免费的媒体文件格式。WebM 影片格式其实是以Matroska（即MKV）容器格式为基础开发的新容器格式，里面包括了VP8影片轨和OggVorbis音轨，其中Google将其拥有的VP8视频编码技术以类似BSD授权开源，Ogg Vorbis 本来就是开放格式。 WebM标准的网络视频更加偏向于开源并且是基于HTML5标准的，WebM 项目旨在为对每个人都开放的网络开发高质量、开放的视频格式，其重点是解决视频服务这一核心的网络用户体验。

因此，该webM编码格式的音视频数据可以传输至播放设备中，并通过H5页面进行播放。

具体的，转换后的音频数据和视频图像数据可以是用开源的音视频工具进行混合。例如，该音视频工具可以是基于Ffmpeg的视音频复用器（Simplest Ffmpeg muxer）。视音频复用器可以将采集时间或者获取时间相同的转换后的音频数据和转换后的视频图像数据进行混合，得到转换后的音视频数据。

步骤S2400，将音视频数据发送至播放设备进行播放。

在播放设备接向混合设备发送的针对目标终端设备的音视频获取指令的实施例中，混合设备也可以将得到的音视频数据直接通过有线或者无线的方式发送至播放设备进行播放。

在播放设备通过服务器将针对目标终端设备的音视频获取指令转发至混合设备的实施例中，混合设备也可以是将得到的音视频数据发送至服务器中，服务器再将该音视频数据转发至混合设备中进行播放。

如果播放设备是通过H5页面播放音视频数据的，那么，用于中转音视频数据的服务器可以是WebRTC服务器。WebRTC服务器可以将音视频数据发送至播放设备的H5页面进行播放。

本发明的实施例中，通过混合设备获取展示目标终端设备的界面的视频图像数据、及目标终端设备采集的音频数据，并将音频数据和视频图像数据进行混合得到音视频数据，并将音视频数据发送至播放设备进行播放。这样，可以在播放设备中展示目标终端手机的界面、并播放目标终端设备采集的所在环境的音频。使得用户可以通过播放设备远程体验目标终端设备的测试环境。

<装置>

在本实施例中，提供一种音视频播放装置6000，如图6所示，包括视频图像获取模块6100、音频获取模块6200、混合模块6300和发送模块6400。该视频图像获取模块6100用于响应于播放设备发送的针对目标终端设备的音视频获取指令，获取目标终端设备的界面的视频图像数据；该音频获取模块6200用于响应于音视频获取指令，获取目标终端设备采集的音频数据；该混合模块6300用于将音频数据和视频图像数据进行混合，得到音视频数据；该发送模块6400用于将音视频数据发送至播放设备进行播放。

在一个例子中，该视频图像获取模块6100还可以用于：

响应于音视频获取指令，向目标终端设备发送视频图像数据获取请求，以供目标终端设备根据视频图像获取请求采集展示自身的界面的视频图像数据，并发送视频图像数据；

接收目标终端设备发送的视频图像数据。

在一个例子中，该音频获取模块6200还可以用于：

响应于音视频获取指令，向目标终端设备发送音频数据获取请求，以供目标终端设备根据音频数据获取请求启动麦克风采集音频数据，并发送音频数据；

接收目标终端设备发送的音频数据。

在一个例子中，该混合模块6300还可以用于：将获取时间相同的音频数据和视频图像数据进行混合，得到音视频数据。

如图7所示，该混合模块6300还可以包括第一编码转换单元6310、第二编码转换单元6320和混合单元6330。该第一编码转换单元6310用于对音频数据进行编码转换处理，得到转换后的音频数据；该第二编码转换单元6320用于对视频图像数据进行编码转换处理，得到转换后的视频图像数据；该混合单元6330用于对转换后的音频数据和转换后的视频图像数据进行混合，得到音视频数据。

在一个例子中，转换后的音频数据为ogg编码格式；转换后的视频图像数据为vp8编码格式；音视频数据为webM封装格式。

发送模块6400还可以用于：通过WebRtc协议将音视频数据发送至中转服务器，以使中转服务器通过WebRtc协议将音视频数据发送至播放设备中的H5页面进行播放。

本领域技术人员应当明白，可以通过各种方式来实现音视频播放装置6000。例如，可以通过指令配置处理器来实现音视频播放装置6000。例如，可以将指令存储在ROM中，并且当启动设备时，将指令从ROM读取到可编程器件中来实现音视频播放装置6000。例如，可以将页面加载装置3000固化到专用器件（例如ASIC）中。可以将音视频播放装置6000分成相互独立的单元，或者可以将它们合并在一起实现。音视频播放装置6000可以通过上述各种实现方式中的一种来实现，或者可以通过上述各种实现方式中的两种或更多种方式的组合来实现。

在本实施例中，音视频播放装置6000可以具有多种实现形式，例如，音视频播放装置6000可以是任何的提供网络访问服务的软件产品或者应用程序中运行的功能模块，或者是这些软件产品或者应用程序的外设嵌入件、插件、补丁件等，还可以是这些软件产品或者应用程序本身。

<混合设备>

在本实施例中，还提供了一种混合设备8000。在一方面，该混合设备可以包括前述的音视频播放装置6000。

在另一方面，如图8所示，混合设备8000可以包括存储器8100和处理器8200。存储器8100用于存储可执行的指令；该指令用于控制处理器8200执行本实施例中提供的任意一项所述的音视频播放方法。

在本实施例中，该混合设备8000可以是手机、平板电脑、掌上电脑、台式机、笔记本电脑、工作站、游戏机等任意具有对应的存储器8100以及处理器8200的混合设备。例如，混合设备8000可以是台式机。

在本实施例中，混合设备8000还可以包括其他的硬件装置，例如，如图1所示的混合设备1200。

<系统>

在本实施例中，提供一种音视频播放系统9000，如图9所示，包括：

本实施例中提供的混合设备8000；以及，

播放设备9100，该播放设备9100用于：

响应于播放目标终端设备对应的音视频数据的操作，向与目标终端设备连接的混合设备发送针对目标终端设备的音视频获取指令；

接收混合设备根据音视频获取指令发送的音视频数据，并进行播放。

在本实施例中，音视频播放系统9000还可以包括其他设备，例如，还可以包括服务器，用于管理播放设备9100与混合设备8000之间的通信连接；等等。

在本例中，通过混合设备获取展示目标终端设备的界面的视频图像数据、及目标终端设备采集的音频数据，并将音频数据和视频图像数据进行混合得到音视频数据，并将音视频数据发送至播放设备进行播放。这样，可以在播放设备中展示目标终端手机的界面、并播放目标终端设备采集的所在环境的音频。使得用户可以通过播放设备远程体验目标终端设备的测试环境。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。

计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、静态随机存取存储器（SRAM）、便携式压缩盘只读存储器（CD-ROM）、数字多功能盘（DVD）、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波（例如，通过光纤电缆的光脉冲）、或者通过电线传输的电信号。

这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。

用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构（ISA）指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列（FPGA）或可编程逻辑阵列（PLA），该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。

这里参照根据本发明实施例的方法、装置（系统）和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种音视频播放方法，其中，包括：

响应于播放设备发送的针对目标终端设备的音视频获取指令，获取所述目标终端设备的界面的视频图像数据；

响应于所述音视频获取指令，获取所述目标终端设备采集的音频数据；

将所述音频数据和所述视频图像数据进行混合，得到音视频数据；

将所述音视频数据发送至所述播放设备进行播放。

2.根据权利要求1所述的音视频播放方法，其中，所述响应于播放设备发送的针对目标终端设备的音视频获取指令，获取展示所述目标终端设备的界面的视频图像数据的步骤包括：

响应于所述音视频获取指令，向所述目标终端设备发送视频图像数据获取请求，以供所述目标终端设备根据所述视频图像获取请求采集展示自身的界面的视频图像数据，并发送所述视频图像数据；

接收所述目标终端设备发送的所述视频图像数据。

3.根据权利要求1所述的音视频播放方法，其中，所述响应于所述音视频获取指令，获取所述目标终端设备采集的音频数据的步骤包括：

响应于所述音视频获取指令，向所述目标终端设备发送音频数据获取请求，以供所述目标终端设备根据所述音频数据获取请求启动麦克风采集音频数据，并发送所述音频数据；

接收所述目标终端设备发送的所述音频数据。

4.根据权利要求1所述的音视频播放方法，其中，所述将所述音频数据和所述视频图像数据进行混合，得到音视频数据的步骤包括：

将获取时间相同的音频数据和视频图像数据进行混合，得到所述音视频数据。

5.根据权利要求1所述的音视频播放方法，其中，所述将所述音频数据和所述视频图像数据进行混合，得到音视频数据的步骤包括：

对所述音频数据进行编码转换处理，得到转换后的音频数据；

对所述视频图像数据进行编码转换处理，得到转换后的视频图像数据；

对所述转换后的音频数据和所述转换后的视频图像数据进行混合，得到所述音视频数据。

6.根据权利要求5所述的音视频播放方法，其中，所述转换后的音频数据为ogg编码格式；所述转换后的视频图像数据为vp8编码格式；所述音视频数据为webM封装格式。

7.根据权利要求6所述的音视频播放方法，其中，所述将所述音视频数据发送至所述播放设备进行播放的步骤包括：

通过WebRtc协议将所述音视频数据发送至中转服务器，以使所述中转服务器通过所述WebRtc协议将所述音视频数据发送至所述播放设备中的H5页面进行播放。

8.一种音视频播放装置，其中，包括：

视频图像获取模块，用于响应于播放设备发送的针对目标终端设备的音视频获取指令，获取所述目标终端设备的界面的视频图像数据；

音频获取模块，用于响应于所述音视频获取指令，获取所述目标终端设备采集的音频数据；

混合模块，用于将所述音频数据和所述视频图像数据进行混合，得到音视频数据；以及，

发送模块，用于将所述音视频数据发送至所述播放设备进行播放。

9.一种混合设备，其中，包括：

根据权利要求8所述的音视频播放装置；或者，

处理器和存储器，所述存储器用于存储可执行的指令，所述指令用于控制所述处理器执行根据权利要求1-7中任一项所述的音视频播放方法。

10.一种音视频播放系统，其中，包括播放设备、及根据权利要求9所述的混合设备，所述播放设备用于：

响应于播放目标终端设备对应的音视频数据的操作，向与所述目标终端设备连接的所述混合设备发送针对目标终端设备的音视频获取指令；

接收所述混合设备根据所述音视频获取指令发送的音视频数据，并进行播放。

Images