CN111726692B - 音视图数据的互动播放方法 - Google Patents

Abstract

一种音视图数据的互动播放方法，包括：当接收到观看静态图片、视频或者第一音视图节目的用户交互请求时，提取该交互请求发起时的现场信息；基于用户所选择的交互方式和/或现场信息，采集交互媒体数据；基于交互媒体数据和/或现场信息形成第二音视图节目；向发布方传送前述第二音视图节目。利用本发明可以在前述静态图片、视频或者第一音视图节目播放的时候，随时创建一个用于交互的第二音视图节目，并将这个新创建的第二音视图节目发送给制作、发布该静态图片、视频或者第一音视图节目的一方，以实现和静态图片、视频或者第一音视图节目发布方的互动和交流。

Description

音视图数据的互动播放方法

技术领域

本发明涉及一种媒体播放技术，具体是一种多种媒体数据交互播放的方法；属于互联网媒体技术。

背景技术

随着互联网技术的发展，人们可以通过相互传送文字、语音、静态图片、视频等媒体信息来实现异地在线交流，这种交流方式的特点是每次传送和播放的媒体信息都是单一形式的；例如：利用微信、QQ、钉钉等聊天软件，每次只能单独地向接收方发送文字、语音、静态图片或者视频等媒体信息中的一种；而微博、微信朋友圈、Facebook、Twitter、Instagram等社交软件虽然可以支持图文并茂的展现方式，但也仅仅是文字和静态图片的组合显示。

参见申请号为2019100045062的中国专利申请，该专利申请提供了一种全新的音视图数据的播放方法，利用该方法人们还可以采用一种比单独的音频、图片以及视频更具优势的信息传播方式进行交流。借助于这些交流方式，人们可以开展网络培训、授课等活动。

无论是单独传送静态图片、视频，还是前述专利申请所披露的技术方案给人们带来了前所未有的多媒体播放形式，虽然它们给人们提供了丰富的视、听媒体，但在一些情形下，无论是单独显示静态图片、视频、音频以及文字，还是音视图数据的播放，都是静态图片、视频、音频、文字以及音视图节目的发布者向观看者单向传播信息的方式，在这种方式下，发布者(或者作者等)与观看者之间的并没有直接交流互动的渠道和实现方式。

信息传播过程中能够实现双向的交流互动是非常重要的。例如：在观看音视图教学(或者培训)节目时，观看者常常会就其中的一个或者多个内容产生进一步问题。这时，观看者通常希望能够与音视图教学节目的制作或者发布者(通常是授课人员，例如教师、培训师等)就这些问题做进一步的提问或者讨论。再例如：在观看有关风景的静态图片时，观看者也可能会产生对该静态图片进行社交评论，并且产生将这个评论发送给发布者(或者作者等)以实现相互交流，等等。这些都涉及到静态图片、视频、音频、文字以及音视图节目在播放时，是否能够进一步提供可以使静态图片、视频、音频、文字以及音视图节目制作或者发布的一方与观看一方实现互动的功能。

显然，无论是诸如微信、QQ等现有的互联网社交软件，还是前述专利申请所披露的技术方案，都没有提供使静态图片、视频、音频、文字以及音视图节目制作或者发布的一方与观看一方实现互动的技术内容。

发明目的

本发明的主要目的是提供一种音视图数据的互动播放方法，借助于该方法，可以实现音视图节目制作和发布者与受众的互动，使得音视图节目的播放效果更加理想。

本发明的目的是采用如下的技术方案实现的：提供一种音视图数据的互动播放方法，该方法包括如下的操作：

当接收到观看静态图片、视频或者第一音视图节目的用户交互请求时，提取该交互请求发起时，静态图片、视频或者第一音视图节目播放的现场信息；

基于用户所选择的交互方式和/或现场信息，采集交互媒体数据；

基于交互媒体数据和/或现场信息形成第二音视图节目；

向所述静态图片、视频或者第一音视图节目的发布方传送前述第二音视图节目。

利用本发明上述的方法，人们可以在前述静态图片、视频或者第一音视图节目播放的时候，随时创建一个用于交互的第二音视图节目，并将这个新创建的第二音视图节目发送给制作、发布该静态图片、视频或者第一音视图节目的一方，以实现和静态图片、视频或者第一音视图节目发布方的互动和交流。并且，这个互动与交流完全基于原静态图片、视频或者第一音视图节目的内容。

以下，将结合各个具体的实施方式，对本发明的技术方案做更为详细的披露。

具体的实施方式

在详细介绍本发明的各个具体实施方式之前，有必要先对本发明涉及的一些数据对象和术语做一个具体的说明。本发明人在对本发明的各类技术方案进行研究和开发的时候，对本发明涉及的各个数据对象做了系统性的梳理，由此建立和定义了如下的若干数据对象：

1.音视图数据：本发明述及的所有音视图数据的概念与申请号为2019100045062的中国专利申请中所说的音视图数据是一样的，主要有音图数据、影视数据等。

2.音图数据：音图数据主要有两种类型。

第一种类型的音图数据是由一幅静态图片和一段将和该图片一道播放的音频所构成；对于该静态图片，在本发明中统称为图片；而对于该音频，在本发明中统称为图片音频。此外，在音图数据中还设计有被本发明人称之为对准参数的数据；对准参数根据其作用的不同，被分为图片对准参数和音频对准参数。

第二种类型的音图数据是由多幅静态图片和多段与多幅静态图片对应播放的音频所构成；对于这些静态图片，在本发明中也统称为图片；而对于这些音频，在本发明中也统称为图片音频。此外，由于图片和音频都是多个，因此，在音图数据中被设计的对准参数与之相对应，也是多个；其数量和图片的数量或者音频的数量是对应的；第二种类型音图数据中的对准参数与第一种类型的音图数据一样，也被分为图片对准参数和音频对准参数。

在本发明中，音图数据是一个完整的数据对象，它可以采用现有的任何图片、音频以及信息的数据格式拼合构成，也可以在具体的方案中，由相关的技术人员根据具体的需要将它们重新构成一个全新格式的一体化数据对象。而无论如何，在本发明中，只要具有上述数据成分的数据对象，都被称之为音图数据。

在本发明中，前述两个类型的音图数据均可以分别独立地构成本发明中的音视图节目的音图节目，其中，第一种类型的音图数据构成单页音图节目，第二种类型的音图数据构成多页音图节目。由上述两种类型的音图数据可知：第二种类型的音图节目实际上是由两个以上第一种类型的音图节目组合而成。

3.影视数据：影视数据则主要是由视频数据或者动画数据所构成，除此之外，影视数据中还设计有下层音图标识和下层影视标识这两种数据。一般而言，影视数据中可以设计为只有一个视频数据或者动画数据；当然，也可以设置有多个视频数据或者动画数据，那样的话，需要在设计播放软件更加细心，以免出现数据逻辑上的错误，而对于本发明的技术方案而言，不过是增加了更多的组合方式而已。在本发明中，前述影视数据构成本发明中的音视图节目的影视节目。

众所周知，互联网信息的交互主要是在移动终端(手机、专用移动设备)、固定终端(主要是PC机)以及互联网云平台所构成的体系中实现。其中，移动终端是实现信息交互数量最多、内容最为丰富的设备和平台。因此，在此后的各类具体实施方式中，除非特别说明，其都是以移动设备为实现平台。而在其他设备中的实现，本领域技术人员可以在本发明各个具体实施方式的教导下，结合相应的设备特点，根据具体的要求予以实施。

本发明第一类具体的实施方式提供了如下的技术方案：

当接收到观看静态图片、视频或者第一音视图节目的用户交互请求时，提取所述交互请求发起时所述静态图片、视频或者第一音视图节目播放的现场信息；

基于所述用户所选择的交互方式和/或所述现场信息，采集交互媒体数据；

基于所述交互媒体数据和/或所述现场信息形成第二音视图节目；

向所述静态图片、视频或者第一音视图节目的发布方传送所述第二音视图节目。

需要说明的是：上述第一音视图节目是指由发布者发出，由收看者的播放设备播放的音视图节目，此后除非特别说明，第一音视图节目指的都是这样的音视图节目。此外，为了区别于第一音视图节目，由收看者所生成的音视图节目，在此后都称作为第二音视图节目。

具体而言，上述技术方案的具体实施，实质上是对现有设备中用于进行信息交互的软件(例如：微信、钉钉、QQ等)进行改进，在其中增加上述第一类具体实施方式的技术方案。这样，当使用改进后的信息交互软件观看前述的静态图片、视频、文字或者第一音视图节目时，如果用户就前述正在观看的内容需要与这些内容的发布方进行互动交流时，可以借助于播放设备提供的交互方式，发送一个交互请求。在接收到这个请求时，播放设备立即提取当前正在播放的现场内容。

需要特别注意的是：本发明中所有的具体实施方案都是以生成、发布音视图节目的方式来进行互动交流；因此，接下来就根据用户所选择的交互方式采集交互媒体数据；这里的交互方式主要是指产生音图节目还是影视节目来和第一音视图节目的发布者进行交流互动。如果交互方式是产生音图节目，则采集交互媒体数据是音频，如果交互方式是产生影视节目，则采集交互媒体数据是视频或者动画。

在提取到现场信息和采集到交互媒体数据后，则利用它们生成第二音视图节目。第二音视图节目的具体构成，因用户选择的交互方式而有所不同，当用户选择的交互方式是音图节目时，则利用现场提取到的图片数据和采集到的音频数据来构成第二音视图节目；当用户选择的交互方式是影视节目时，则利用采集到的视频数据来构成第二音视图节目。有关各种音视图节目的具体结构，参见前述有关音视图数据的叙述以及申请号为2019100045062的中国专利申请说明书的具体描述，此后不再赘述。

当第二音视图节目形成以后，播放设备可以将它发送给前述静态图片、视频、文字或者第一音视图节目的发布者。

由上述的技术方案可知：静态图片、视频、文字或者第一音视图节目的收看者在收看前述各种类型的媒体时，一旦产生与该等媒体的发布者互动交流的需求，就可以利用本发明上述第一类具体的实施方式方便地生成用于互动交流的第二音视图节目，并发送给静态图片、视频、文字或者第一音视图节目的发布者；如此往复，就可以实现多回合的基于音视图节目的互动交流。

如前所述，本发明的主要是用于用户在观看某个具体的静态图片、视频、文字或者第一音视图节目时向发布者发出用于互动交流的第二音视图节目；在这一背景下，互动交流的客体对象主要针对当前显示在播放设备屏幕上的静态图片、视频、文字或者第一音视图节目的内容，这个内容是互动交流各方所聚焦的内容，因此，在生成用于互动交流的第二音视图节目时，这个显示在播放设备屏幕上的内容应当被提取出来，作为第二音视图节目中需要显示的对象，这个对象可以是交互请求发起时显示在播放设备屏幕上的静态图片，也可以是交互请求发起时显示在播放设备屏幕上的视频帧，还可以是交互请求发起时显示在播放设备屏幕上的第一音视图节目播放的现场信息。

针对上述交互请求发起时显示在播放设备屏幕上各种不同种类的现场信息，在本发明的第二类具体实施方式中，分别做如下的操作：

当前述交互请求发起时，在播放设备的屏幕上显示的是静态图片时，则提取这个静态图片的图片数据，作为此后生成第二音视图节目的内容；

当前述交互请求发起时，在播放设备的屏幕上显示的是视频时，则提取这个视频当前的视频帧数据。在这里需要进一步说明的是：就视频而言，它主要是由视频帧所构成。一般情况下，这些视频帧通常具有三种类型：I帧、P帧和B帧，为了保证提取的视频帧在此后能够形成足够清晰的画面，相关设计人员可以基于相应的视频协议，适当地利用与当前视频帧相关的I帧、P帧和B帧来重新构成要提取的视频帧；对此，本发明不做限制。

在一些情况下，互动交流的对象内容可能是文字信息，例如：一些诸如微信、QQ等即时通信页面或者微博页面等，在本发明的第二类具体实施方式中，可以将这些含有文字信息的页面直接生成页面图片，也可以根据预定格式生成含有这些文字信息的图片数据。

以上这些方案实际上是针对播放设备所播放的是发布者采用传统的方式向接受者发送的非音视图节目的情况，被发送的内容(即：将要在互动交流时作为焦点的内容)是传统媒体信息。此外，对于发布者发送的内容是音视图节目的，在本发明第二类的具体实施方式中，将采用如下的操作：

在交互请求发起时，播放设备所播放的是第一音视图节目相时，并且这个第一音视图节目当前播放的内容是音图节目，则提取这个第一音视图节目中相应的音图节目中的图片数据。

在交互请求发起时，播放设备所播放的是第一音视图节目相时，并且这个第一音视图节目当前播放的内容是影视节目，则提取第一音视图节目中相应的影视节目的视频帧数据。

在如前述的第二类各种具体实施方式所教导的那样提取到相关的图片数据、视频帧数据后，需要对它们进行必要的且适当的处理(例如：按照预定的尺寸、格式等)，形成用于生成所述第二音视图节目的图片。

本发明上述第二类具体的实施方式使得本发明在发布者发布的内容无论是传统媒体信息还是音视图节目，都能从中提取用于生成互动交流的第二音视图节目所需要的图片。

构成各种类型的音视图节目，需要采集音频数据或者采集视频或者动画数据，用以形成本发明的第二音视图节目，这里所说的用以形成本发明的第二音视图节目的音频数据、视频或者动画数据以及后面涉及到的标记信息都属于交互媒体数据。为此，在本发明的第三类具体的实施方式中，对于采集音频的操作，需要提供一个播放设备上的操作界面，以使用户借助于这个操作界面来采集用户的音频数据或者选取预先录制的音频数据。

对于需要采集影视数据的情形，也可以同样提供一个播放设备上的操作界面，借助于这样的操作界面，用户可以录制或者选取预先录制的影视数据。

在有些情况下，用户还需要在第二音视图节目中加入一些标记信息，例如：在一个图片上圈出互动交流的焦点区域，或者在一个视频画面上标记需要关注的影像等等，这就需要在提供一个播放设备上的操作界面，借助于这个操作界面，用户可以采用触控方式或者借助于其他外部的输入设备，向播放设备输入呈现在第二音视图节目的标记内容。这里所谓的标记是指用户利用触控方式或者其他外围的输入设备在操作界面上画出轨迹、图案或者标记符号的操作。

例如：基于一个用于教学的第一音视图节目，当学员对于其中的一个授课内容的图片产生问题，需要通过本发明的方案来生成用于和教师互动交流的第二音视图节目时，可以借助与本发明前述的各个实施方式，基于相应的授课内容图片，用语音或者视频、动画的方式来表述自己的问题，同时，还可以借助于标记界面来针对性地在授课内容图片上作出标记。

前述采集音频数据、影视数据以及标记信息等操作可以分别单独进行，也可以同时进行，具体视用户的输入需求而定。因此，上述的操作界面，可以被设计者根据具体的需求来兼容前述的各种数据的采集需求。

在前述的现场信息和交互媒体数据都具备后，可以通过本发明第四类具体的实施方式来构建相应的第二音视图节目。

如果现场信息是图片数据，采集的交互媒体数据是音频数据，则可以利用它们生成音图节目，该音图节目即为前述第一种类型的音图数据，它是由一幅静态图片和一段将和该图片一道播放的音频所构成；除此之外，该音图数据还包括图片对准参数和/或音频对准参数。需要说明的是：这里所生成的音图节目是单页节目。用户当然可以利用该单页节目与其他音视图数据进行组合，形成结构和形式更为复杂的音视图节目，具体可以参见前述2019100045062的中国专利申请。

如果现场信息是视频，则可以利用它们生成影视节目，该影视节目主要是由视频数据或者动画数据所构成，除此之外，影视数据中还可以设计有下层音图标识和下层影视标识这两种数据。一般而言，这里生成的是用于互动交流的、以单个短视频为基础的第二音视图节目；用户当然可以利用该单页节目与其他音视图数据进行组合，形成结构和形式更为复杂的音视图节目，具体同样可以参见前述2019100045062的中国专利申请。

另外需要说明的是：在本发明上述第四类具体的实施方式中，对于前述两种类型的第二音视图节目，在形成他们的同时，还可以进一步增加前述的标记内容，形成带有标记的音视图节目，这样可以进一步提高互动交流的聚焦性。

通常情况下，观看静态图片、视频、文字或者第一音视图节目的用户往往是在观看的状态下启动互动交流的，因此，在本发明的第五类具体实施方式中，提供了如下的操作，以使用户可以方便地触发互动交流的操作，以开始提取现场信息、采集交互媒体数据等操作：

在第五类具体实施方式中，第一个方面是在播放设备上提供一个启动交互的按钮，这个按钮可以是类似触控界面上用软件实现的按钮，也可以是设置在播放设备上的硬件按钮，当用户触动它时，既可以实现触发的目的；另一个方面是将播放设备设置为可以接受用户的语音命令的方式，用户可以在观看第一音视图节目的时候，通过发出特定的语音或者声音来实现触发的目的；再一个方面是将播放设备设置为当检测到用户的标记操作时实现触发的目的，具体而言是当播放设备检测到用户以触控方式启动标记，或者利用外围的输入设备(例如：手写板等)进行标记时，实现触发。

本发明第五类具体实施方式提供的方案使得用户可以方便、灵活地启动互动交流的操作，这样会带来良好的互动交流体验。

在本发明第六类具体的实施方式中，还提供了如下的进一步的操作：

当用户生成用于互动交流的第二音视图节目，并将它发送给第一音视图节目的发布者时，进一步提供该第二音视图节目与该第一音视图节目之间的关联数据。这个关联数据通常应当包含该第二音视图节目中的现场信息的内容，例如：如果现场信息是图片数据的话，这个关联数据中可以包含该图片数据的唯一标识信息，这样，也可以在生成第二音视图节目时不必要再将原来的图片数据再设置到节目数据里，而只是设置该图片的唯一标识信息。这样也可以避免整个运营系统在数据传输时的开销。同样，对于第一音视图节目中的影视数据，也可以仅仅在关联数据中包含该影视数据的唯一标识和采集时的播放位置信息等，这同样也可以避免整个运营系统在数据传输时的开销。

此外，所谓的关联数据还可以包括第一音视图节目和第二音视图节目之间的关联标识，这样，在播放该第一音视图节目时，收看者也可以看到其他人可以公开的与第一音视图节目中相关内容有关的互动交流的多个第二音视图节目；同时，作为发布者，也可以及时了解和统计收看者的互动情况。

在本发明第七类具体的实施方式中，还提供了如下的进一步的操作：

当第一音视图节目的发布方在收到第二音视图节目与所述所述静态图片、视频或者第一音视图节目的关联数据时，可以记录该第一音视图节目与第二音视图节目之间的上下游关系数据。

该上下游关系数据至少包含：第二音视图节目的上游节目标识、同级第二音视图节目标识。其中，第二音视图节目的上游节目标识用于告知运营系统该第二音视图节目上游的第一音视图节目或者上游的第二音视图节目是哪个，同级第二音视图节目标识用于告知运营系统该第二音视图节目的同级音视图节目有哪些。

这个上下游数据的记录使得互动可以在一个庞大而复杂的交流群体中进行，同时还能使得交流群体中的每个个体都能清楚地了解每个音图节目之间的上下游关系。这种数据在一个培训、教学的音视图节目平台中尤其有用，它可以帮助教学者全面地掌握各个学员的问题与第一音视图节目的关系，也可以使得每个学员清楚地了解每一个互动交流过程中所有问题与答复之间的树状分支和上下游关联性，可以更为有条理地学习知识。

Claims (6)

1.音视图数据的互动播放方法，包括：

当接收到观看静态图片、视频、文字或者第一音视图节目的用户交互请求时，当所述交互请求与所述静态图片相对应时，提取所述静态图片的图片数据作为现场信息，

或者，

当所述交互请求与所述视频相对应时，提取所述视频当前的视频帧数据作为现场信息；

或者，

当所述交互请求与所述文字相对应时，按照预定的格式生成含有所述文字的图片数据作为现场信息；

或者，

当所述交互请求与所述第一音视图节目相对应，且所述第一音视图节目当前播放的内容是音图节目时，提取所述第一音视图节目中相应音图节目中的图片数据作为现场信息；

或者，

当所述交互请求与所述第一音视图节目相对应，且所述第一音视图节目当前播放的内容是影视节目时，提取第一音视图节目中相应的影视节目的视频帧数据作为现场信息；

对所述图片数据或者视频帧数据进行处理，形成用于生成第二音视图节目的图片；

基于所述用户所选择的交互方式和/或所述现场信息，采集交互媒体数据，所述交互媒体数据类型与所述用户所选择的交互方式相关联；

基于所述交互媒体数据和所述形成用于生成所述第二音视图节目的图片形成第二音视图节目；

向所述静态图片、视频、文字或者第一音视图节目的发布方传送所述第二音视图节目。

2.根据权利要求1所述的方法，其特征在于，所述采集交互媒体数据包括：

提供一个操作界面，以使用户借助于所述操作界面采集用户的音频数据或者选取预先录制的音频数据；

和/或，

提供一个操作界面，以使用户借助于所述操作界面录制或者选取预先录制的影视数据；

和/或，

提供一个操作界面，以使用户借助于所述操作界面输入呈现于第二音视图节目的标记内容。

3.根据权利要求2所述的方法，其特征在于，所述基于所述交互媒体数据和所述形成用于生成所述第二音视图节目的图片形成第二音视图节目包括：

基于所述图片、所述音频数据和所述标记内容，形成单页音图节目形式的所述第二音视图节目；

或者，

基于所述影视数据和所述标记内容，形成影视节目形式的所述第二音视图节目。

4.根据权利要求1所述的方法，其特征在于：所述用户交互请求由播放设备采集到用户对交互界面上的按钮操作和/或预定的语音命令和/或标记操作触发。

5.根据权利要求1所述的方法，其特征在于，还包括：在向所述静态图片、视频或者第一音视图节目的发布方传送所述第二音视图节目时，还进一步传送所述第二音视图节目与所述静态图片、视频或者第一音视图节目的关联数据；

所述关联数据至少包括所述第一音视图节目中的图片数据唯一标识、影视数据唯一标识和/或所述第一音视图节目和所述第二音视图节目之间的关联标识。

6.根据权利要求5所述的方法，其特征在于，还包括：

所述第一音视图节目的发布方在收到所述第二音视图节目与所述静态图片、视频或者第一音视图节目的关联数据时，记录所述第一音视图节目与所述第二音视图节目之间的上下游关系数据；

所述上下游关系数据至少包括：第二音视图节目的上游节目标识、同级第二音视图节目标识。