CN109788327B - 多屏互动方法、装置及电子设备 - Google Patents

Abstract

本申请实施例公开了多屏互动方法、装置及电子设备，其中，所述方法包括：第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；采集实景图像；当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；在展示所述指定对象素材的过程中，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。通过本申请实施例，可以提高用户对互动的参与度。

Description

多屏互动方法、装置及电子设备

技术领域

本申请涉及多屏互动技术领域，特别是涉及多屏互动方法、装置及电子设备。

背景技术

多屏互动是指通过无线网络连接，在不同的多媒体终端设备上(如常见的手机与电视之间等等)，可进行多媒体(音频，视频，图片)内容的传输、解析、展示、控制等一系列操作，可以在不同终端设备显示同样的内容，并实现各个终端之间的内容互通。

现有技术中，从电视端到手机端的互动，通常是借助于图形码的方式来实现，例如，通常可以在电视屏幕上显示与当前正在播放的节目相关的二维码，用户可以用手机中安装的应用程序的“扫一扫”等功能对该二维码进行扫描，然后在手机端进行解析，并展示出具体的互动页面，然后，用户可以在页面中进行回答问题、抽奖等互动。

这种现有技术的方式虽然能够实现手机与电视之间的互动，但是具体的实现形式比较呆板，用户的实际参与度并不高。因此，如何提供形式更丰富的多屏互动，提高用户的参与度，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了多屏互动方法、装置及电子设备，可以提高用户对互动的参与度。

本申请提供了如下方案：

一种多屏互动方法，包括：

第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

在展示所述指定对象素材的过程中，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

一种多屏互动方法，包括：

第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

将所述互动素材提供给第一终端，以用于当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述第一终端采集的实景图像中，并提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

一种多屏互动方法，包括：

第二终端播放视频，以用于所述第一终端在检测到所述视频播放到与指定对象相关的目标事件时，将指定对象素材添加到采集到的实景图像中；

在所述视频中向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

一种多屏互动方法，包括：

第二服务端提供视频，以用于在第二终端中进行播放，并在所述视频播放到与指定对象相关的目标事件时，由第一终端将指定对象素材添加到采集到的实景图像中；

通过所述视频向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

一种多屏互动装置，应用于第一终端，包括：

互动素材加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

实景图像采集单元，用于采集实景图像；

互动素材添加单元，用于当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

互动单元，用于在展示所述指定对象素材的过程中，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

一种多屏互动装置，应用于第一服务端，包括：

互动素材保存单元，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

互动素材提供单元，用于将所述互动素材提供给第一终端，以用于当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述第一终端采集的实景图像中，并提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

一种多屏互动装置，应用于第二终端，包括：

视频播放单元，用于播放视频，以用于所述第一终端在检测到所述视频播放到与指定对象相关的目标事件时，将指定对象素材添加到采集到的实景图像中；

互动信号提供单元，用于在所述视频中向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

一种多屏互动装置，应用于第二服务端，包括：

视频提供单元，用于提供视频，以用于在第二终端中进行播放，并在所述视频播放到与指定对象相关的目标事件时，由第一终端将指定对象素材添加到采集到的实景图像中；

互动信号提供单元，用于通过所述视频向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

在展示所述指定对象素材的过程中，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，可以根据与指定对象相关的视频/动画等创建互动素材，在具体进行互动的过程中，可以对用户所在的实际环境进行采集实景图像，在第二终端中播出与所述指定对象对应的目标事件时，将指定对象素材添加到所述实景图像中进行展示，并且，指定对象还可以根据第二终端中的互动信号做出相应的回应。这样，使得用户可以获得相关指定对象来到自己所在空间环境(例如，自己家中等)的体验，并且，在来到自己的家中之后，还能够与舞台上的主持人等进行互动，因此，可以提高用户对互动的参与度。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的系统架构的示意图图；

图2是本申请实施例提供的第一方法的流程图；

图3-1至3-7是本申请实施例提供的用户界面的示意图；

图4是本申请实施例提供的第二方法的流程图；

图5是本申请实施例提供的第三方法的流程图；

图6是本申请实施例提供的第四方法的流程图；

图7是本申请实施例提供的第一装置的示意图；

图8是本申请实施例提供的第二装置的示意图；

图9是本申请实施例提供的第三装置的示意图；

图10是本申请实施例提供的第四装置的示意图；

图11是本申请实施例提供的电子设备的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，提供了一种新的多屏互动方案，在该方案中，主要是用户的手机等移动终端设备(本申请实施例中称为第一终端)与电视机等具有大屏幕的终端设备(本申请实施例中称为第二终端)之间的互动。具体的，可以在通过第二终端对一些大型直播类晚会等节目(当然，也可以是其他类型的节目)进行播放的过程中，进行上述互动过程。例如，在直播类晚会节目中，会节目主办方会邀请到一些娱乐明星等表演节目，但是，在现有技术中，用户只能从第二终端中观看明星在舞台上的表演。而在本申请实施例中，则可以通过一些技术手段，使用户获得“明星到我家”的体验。具体实现时，可以预先提供与特定的娱乐明星等人物表演相关的素材，在第二终端视频中该人物的互动环节中，可以在视频拍摄现场(例如，晚会的表演现场的舞台上，等等)作为互动活动开始的起点，之后，相关的人物可以从舞台上消失，紧接着，在第一终端中通过增强现实的方式，将预先录制的该人物的表演视频、动画等素材投射到用户所在的真实环境中，使得用户获得相关的人物从第一终端进入到第二终端的视觉效果。例如，用户通常是在家里观看电视等第二终端中的节目，在互动节目开始后，用户的手机等第一终端的摄像头等设备可以开启，屏幕中采集到其家中的相关影像，并且，可以将具体的人物表演视频/动画等添加到具体采集到的实景图像中，使得用户感觉对应的人物仿佛真的来到用户的家中。也就是说，虽然用户仍然需要隔着第一终端的屏幕观看到具体的投射结果，但是，由于看到的人物的背景是用户所在环境中拍摄到的实景图像，因此，相对于从第二终端中观看到的在舞台上的表演而言，可以使得用户获得该“明星”真的在其家中的体验。在将具体的人物相关的素材添加到实景图像中进行展示之后，还可以通过具体的素材，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。也就是说，在相关的人物“穿越”到用户的第一终端之后，该人物会在第二终端的视频中消失，但是，与此同时，第二终端的视频与该互动节目相关的内容并没有结束，也就是说，用户在第一终端中看到相关的人物进入到自己拍摄的实景图像中之后，可以通过第一终端观看该人物的表演等，这会经历一段时间，例如，几分钟等等，而在这几分钟内，电视机等第二终端中与该互动节目相关的内容也还在继续，例如，相关的节目主持人还在舞台上，为了避免第一终端与第二终端之间的内容脱节，在本申请实施例中，还可以由相关的主持人等通过第二终端的视频向已经“穿越”到第一终端中的目标人物发出互动信号，例如，可以是询问“某某你去哪里了？”，此时，该人物可以在用户的第一终端设备中做出回应，“我来某某家里了”；或者，主持人在舞台上让该人物为用户做出“比心”等动作，则在第一终端的实景图像中可以显示出该人物做了对应的动作，等等。通过这种方式，使得用户不仅可以获得人物到自己家中的体验，还可以体验到该人物在自己的家中与舞台上的主持人进行互动的过程，因此，更加丰富了互动的内容，更容易为用户带来新鲜感，提升用户的参与度。

当然，在具体实现时，除了指定人物之外，还可以是动物，甚至还可以是商品，等等，在本申请实施例中，统一称为“指定对象”。

具体实现时，从系统架构角度而言，参见图1，本申请实施例中涉及到的硬件设备就可以包括前述第一终端以及第二终端，而涉及到的软件可以是第一终端中安装的某关联的应用程序客户端(或者，也可以是固化在第一终端中的程序等)，以及云端的第一服务端。例如，假设是在“双11”晚会的过程中提供上述互动，则由于“双11”晚会的主办方通常是某网络销售平台(例如，“手机淘宝”、“天猫”等)的公司，因此，就可以通过该网络销售平台提供的应用程序客户端以及服务端，为上述多屏互动提供技术支持。也就是说，用户可以使用“手机淘宝”、“天猫”等应用程序的客户端来进行具体的互动过程中，而互动过程中所需用到的素材等数据，则可以由服务端进行提供。需要说明的是，第二终端主要作为播放终端存在，而其中播放的视频等内容可以是由后端的第二服务端(电视台的服务器等)进行控制的，也就是说，关于直播视频流等信号，可以由第二服务端执行统一的视频信号发射等操作，之后，将视频信号传输到各个第二终端进行播放。也就是说，在本申请实施例提供的多屏互动场景中，第一终端与第二终端对应的是不同的服务端。

下面对具体的实现方案进行详细介绍。

实施例一

首先，该实施例一从用户的手机端等第一终端的角度，提供了一种多屏互动方法，参见图2，该方法具体可以包括：

S201：第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

其中，关于互动素材也就是具体在进行增强现实的互动过程中，用于生成虚拟图像等信息内容所需的素材。具体实现时，指定对象具体可以是指定人物相关的信息，或者指定商品相关的信息，再或者，还可以是与线下游戏相关的道具相关的信息，等等。其中，不同的指定对象可以对应不同的互动场景，例如，当指定对象为指定人物时，具体的场景可以是“明星到你家”活动，也即，例如，用户在通过电视等观看电视节目的过程中，通过该方案，可以将节目中参加表演的“明星”等“穿越”到用户家中。而在指定对象为指定商品时，该商品通常可以是与网络销售系统中销售的实物性商品等相关的商品，通常情况下，用户需要支付较多的资源来购买该商品，但是，在活动期间，可以通过赠送或者超低价销售等方式，作为礼物送给用户。而在送礼物的过程中，就可以采用本申请实施例中的方式实现“跨屏送礼物”，具体的，通过在电视等第二终端中播放与指定商品相关的内容，并“穿越”到用户手机等第一终端，另外还可以提供用于对所述指定商品关联的数据对象进行抢购的操作选项，通过该操作选项接收到抢购操作时，提交到服务端，由服务端确定抢购结果。因此，使得用户获得抢购或者抽奖等机会，进而获得对应的商品，或者，获得以超低价购买对应商品的机会，等等。

另外，在指定对象为与线下游戏相关的道具时，可以对应“跨屏送礼物”的另一种形式，也即，在活动期间，系统如果想要为用户提供一些优惠券、“现金红包”等非实物性的礼物，则可以将送礼物的过程，与线下的魔术等游戏关联。例如，在电视等第二终端播放魔术等节目的过程中，期间可能会用到某道具，则通本申请实施例的方案，可以将该道具“穿越”到也用户的手机等第一终端设备中进行显示，进而，用户可以通过对该道具进行点击等操作方式，进行非实物性礼物的领取操作。也即，接收到对所述目标道具进行操作信息时，将所述操作信息提交到服务端，由所述服务端确定该操作所获得的奖励信息并返回，然后，第一终端可以提供所获得的奖励信息，等等。

指定对象素材具体可以包括通过对所述指定对象进行拍摄所获得的视频素材，例如，如果指定对象具体是指指定人物，则可以预先对指定人物表演的唱歌、跳舞等节目进行视频录制，得到视频素材。或者，在另一种方式下，所述指定对象素材也可以包括：以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素材等等。例如，在指定对象为指定人物的情况下，可以根据指定人物的形象制作卡通人物形象，并基于该卡通人物形象制作动画素材，包括由卡通人物形象的跳舞动画、唱歌动画等，其中，如果需要“唱歌”等，则可以由指定人物为该卡通形象进行配音，或者，播放该指定人物预先录制好的歌曲，等等。

其中，对于同一个指定对象而言，可以对应多套不同的指定对象素材，例如，对于同一个指定人物，表演的不同节目，可以分别生成不同的人物素材，等等。也即，同一指定对象对应的素材可以为多套，具体在该指定对象进入到某个用户的“家中”时，可以由用户选择具体的素材，然后，利用选定的素材提供具体的增强现实画面，或者，还可以在响应第二终端视频中的不同互动信号时，用不同的素材进行展示，等等。

另外，第一服务端提供的互动素材还可以包括：用于表示传送通道的素材。例如，具体可以通过门、隧道、虫洞、“天猫”等吉祥物、传送光阵等生成该素材。这种用于表示传送通道的素材可以用于：在具体将指定对象素材添加到实景图像中之前，由于该指定对象本来是在晚会现场的舞台上进行表演，但紧接着会来到用户家中，因此，为了增强趣味性，也使得指定对象出现的位置变化显得更合理，还可以首先通过该用于表示传送通道的素材，播放预置的动画效果，营造出一种即将有指定对象通过这种传送通道“穿越”到其家中的氛围，使得用户获得更好的体验。另外，在互动结束后，指定对象需要从家中离开时，还可以通过该用于表示传送通道的素材提供与来到家中时相反过程的动画，使得用户获得该指定对象从其家中离开、传送通道逐渐关闭的体验。

再者，第一服务端提供的互动素材还可以包括由所述指定对象录制的语音样本素材，这种语音样本素材可以用于在指定对象“进入”到用户家中时向用户进行打招呼表示问候。并且，还可以在具体打招呼之前获得用户的用户名称(包括昵称、真实姓名等)等信息，实现“千人千面”的问候语，例如，“XXX，我到你家来了”，其中，对不同的用户而言，“XXX”的具体内容是不同的。上述问候语会由所述指定对象通过语音的方式进行问候，而为了达到上述“千人千面”的目的，不能直接通过预先录制一条问候语语音的方式来实现。为此，在本申请实施例中，可以预先由指定对象(具体可以对应指定人物的情形)朗读一段特定文字，并对朗读的各个文字的语音进行录制，这段文字中会包括大部分的声母、韵母以及音调等的发音方式。具体实现时，上述特定文字通常可以为一千个左右，其基本可以涵盖90％的汉字发音。这样，当指定对象刚“进入”用户家中时，在根据用户的专有名称生成了具体的问候语之后，就可以通过该语音样本素材中保存的各个汉字的发音信息，发出对应的语音，以达到由指定对象喊出用户名称并进行问候的效果。

当然，在实际应用中，还可以包括其他素材，这里不再一一列举。具体实现时，上述互动素材的数据量可能会比较大，第一终端加载该互动素材的过程可能需要花费较长的时间，因此，可以是提前下载到第一终端本地。例如，在第二终端中播放的晚会开始后，用户就可以通过第一终端提供的晚会主会场界面，边观看第二终端中的节目，边通过该主会场界面时刻准备进行互动。而具体“明星到你家”环节可能是在晚会进行过程中的某个时刻，与第二终端的状态同步进行，因此，只要在晚会开始后，用户进入到第一终端的晚会主会场界面，即使具体的“明星到你家”活动尚未正式启动，也可以预先进行相关互动素材下载的操作，这样，具体的活动开始后，就可以快速进行到互动过程，避免由于互动素材尚未下载成功而导致的无法及时参加活动的情况。当然，对于没有提前进入到第一终端提供的主会场界面的用户，如果需要参加上述“明星到你家”活动，则也可以临时下载相关的互动素材。其中，对于临时下载的情况，为了避免下载所花费的时间过长，可以提供降级方案，例如，可以仅下载前述特定对象素材，关于用于表达传送通道的素材以及语音样本素材等可以不再下载，此时，用户体会不到“穿越”的感觉，也接收不到指定对象的问候。

S202：采集实景图像；

具体实现时，第一终端可以为“明星到你家”等活动提供对应的活动页面，在该页面中可以提供用于发出互动请求的操作选项。例如，如图3-1所示，其为一个例子中的活动页面展示示意图，其中可以提供相关指定对象等提示信息，还可以提供“立即启动”等按钮，该按钮就可以是所述用户发出互动请求的操作选项。用户可以通过点击该“立即启动”按钮发出具体的互动请求。当然，在实际应用中，还可以通过其他方式接收用户的互动请求，例如，可以在第二终端屏幕上展示出二维码，用户通过第一终端对二维码进行扫描的方式发出请求，等等。

具体实现时，上述“立即启动”的按钮等操作选项在正式互动过程开始之前可以处于不可操作状态，避免用户过早的点击。另外，在操作选项上显示的文案方面也可以有所不同，例如，在不可操作状态下，可以显示为“精彩马上开启”，等等。在互动即将开始之前，再将按钮上展示的文案修改为“立即启动”等状态，并且，为了为用户营造一种紧张的、焦急等待的氛围，同时更吸引用户执行点击操作，还可以将该按钮在显示上呈现出“呼吸”动效，例如，按钮可以以70％的比例收缩，3S后再恢复到原来大小，3S后再收缩，并不断重复此节奏，等等。

其中，接收用户互动请求的时间点可以早于指定对象正式从第二终端消失并“进入用户家中”的时间点，真是因为，在用户发出互动请求之后，客户端还可以预先执行一些准备工作。具体的，在接收到用户的互动请求后，可以首先开启第一终端中的实景图像采集，也即，可以启动第一终端上的摄像头组件，然后进入到实景拍摄的状态，为后续基于增强现实的互动做好准备。

具体实现时，在具体启动实景图像的采集之前，还可以首先判断第一终端本地是否已经加载了互动素材，如果尚未加载，则可以首先进行互动素材的加载处理。

需要说明的是，在本申请实施例中，通过增强现实的方式呈现给用户的虚拟图像是与具体指定对象素材等，为了使得互动的过程更加具有真实性，可以使得指定对象素材是展示在实景图像中的一个平面上，例如，可以是地面、桌子的平面，等等，这样，如果指定对象是指定人物，则可以使得指定人物的表演过程是在一个平面上进行的。而如果不进行特殊处理，则将所述指定对象素材添加到实景图像中之后，可能会出现指定对象素材“飘”在半空中的情况，如果对应的指定对象素材是指定人物的跳舞、唱歌等表演，则会使得指定人物“飘”在半空中表演，这会降低用户体验，无法使用户获得更真实的身临其境的沉浸感。

为此，在本申请的优选实施例中，还可以将与所述指定对象素材添加到所述实景图像中包括的平面上进行展示。具体实现时，可以由第一终端从实景图像中进行平面识别，然后，将所述指定对象素材添加到实景图像中该平面上，避免产生“飘”在空中的现象。此时，关于指定对象素材具体出现在哪个位置点上，可以是由第一终端任意决定，只要位于一个平面上即可。或者，在另一种实现方式下，还可以更进一步，由用户选择具体的指定对象素材的出现位置。具体的，在启动实景图像检测之后，客户端可以首先从中进行平面检测，在检测到一个平面之后，如图3-2所示，可以绘制出一个范围，并提供一个可移动的光标，还可以在界面中提示用户将光标放入绘制出的可放置范围内。在用户将光标移动到该可放置范围内之后，光标的颜色可以发生变化，以提示用户的放置位置可用。此时，客户端可以记录下光标具体被放置的位置。具体实现时，为了记录该光标被放置的位置信息，可以有多种方式，例如，在一种方式下，可以将某时刻第一终端所在的位置作为初始位置(例如，就可以将光标放置好时第一终端所在的位置作为初始位置，等等)，并以该初始位置(可以是第一终端的几何中心点等)作为坐标原点创建坐标系，然后，在光标被放入具体的可放置范围后，就可以记录下光标相对于该坐标系的位置，这样，后续在指定对象素材添加到实景图像中时，就可以以该位置为准进行添加。

另外，如前文所述，在可选的实施方式中，在指定对象素材正式“进入”到实景图像中之前，还可以将用于表示传送通道素材添加到实景图像中，则在上述方式下，在用户完成光标放置后，还可以在该光标所在的位置处呈现出具体的用于表达传送通道的素材。例如，假设以“传送门”素材作为传送通道，则具体实现时，如图3-3所示，在用户完成光标的放置后，可以提示用户“已确认平面，点击放置传送门”，等等，在用户对光标完成点击之后，就可以在对应的位置出呈现出“传送门”素材。

后续具体在开始向实景图像中添加指定对象素材，该光标可以消失，并且，还可以根据传送通道素材提供动画效果，以用于展示出有指定对象通过所述传送通道进入所述拍摄到的实景图像中的动画过程。例如，如图3-4以及3-5所示，其示出了上述动画过程中的两个状态，可以看出，其呈现出了即将有人通过该传送门“进入”用户家中的效果。在所述指定对象素材进入到所述实景图像中后，所述用于表示传送通道的素材消失。互动结束时，则可以重新展示所述用于表示传送通道的素材，并提供用于展示有指定对象通过所述传送通道离开的动画过程，完全离开后，所述用于表示传送通道的素材消失。

S203：当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

具体实现时，开始进行互动的时间点可以是以第二终端中播出的与所述指定对象对应的目标事件相关的。其中，所谓的目标事件具体可以是指与指定对象相关的互动活动开始等事件。例如，在第二终端播放的节目中，到了“明星到你家”环节时，可以在舞台上放置“传送门”(可以是实体的，或者也可以是通过投影的方式虚拟的)等，指定对象从舞台上的“传送门”穿出，使其在舞台上消失的事件就可以作为所述目标事件，此时，该时间点也就成为互动的开始时间点，相应的，第一终端就可以执行具体的指定对象素材添加到实景图像中进行展示的相关处理。

其中，由于具体在第二终端中播放的视频可能是现场直播的，因此，可能会无法按照预先在第一终端中设定好时间的方式，来保持与第二终端播放的节目内容的时间点之间的同步。并且，由于第二终端中播放的通常是广播电视信号，虽然电视信号发送的时间点是相同的，但是，对于不同地理位置的用户而言，信号到达用户的时间点可能会有所不同。也就是说，对于晚会现场发生的同一事件，北京的用户可能是在21：00：00从第二终端上看到该事件的发生，而广州的用户则可能是在21：00：02时才看到，等等。因此，即使晚会实际的各个环节严格按照预置的时间表来进行，也可能存在不同地区的用户实际体验到的结果不同的情况。然而对于互动类的节目内容而言，需要在电视机与手机之间相互配合，两者之间完美的衔接，才能够使得用户获得更好更真实的体验。但是，上述情况的存在，却可能使得有些用户从手机上看到的界面内容能够与电视中播放的节目内容相同步，而有些用户看到的情况却不同步。

为此，在本申请实施例中，还可以通过更优选的方式来实现。也即，由第一终端通过检测第二终端中的信息的方式来感知第二终端中视频的播放进度，其中就可以包括当前播放到了哪个节目内容，等等。具体的，由于用户通常是在边看电视的情况下，边用手机等移动终端进行互动，因此，第一终端与第二终端通常是位于同一空间环境中，并且两者相隔的距离比较近。在该情况下，还可以通过以下方式实现第一终端对第二终端中播放的目标节目内容的感知：第一终端可以对所述第二终端中播放的语音进行声纹检测，根据检测到的关键词等信息，确定所述第二终端中播放的所述视频内容的进度信息，其中就可以包括目标节目内容的名称等信息。其中，所述第二终端中播放的声音具体可以是指主持人或者嘉宾等通过口述的形式生成的语音信号，口述的内容中可以包括一些关键词，例如，某节目内容的名称等，第一终端在距离第二终端较近的情况下，第一终端能够检测到第二终端中的语音信号，进而就可以通过对语音信号进行声纹识别，获知具体的关键词等信息，这些关键词就可以确定出当前正在播放的目标节目内容，另外还可以获知具体节目播放到哪个环节，等等。

或者，在另一种情况下，还可以由广播电视台对应的第二服务端在各个节目内容开始或者即将开始的位置处，在待发送的视频信号中加入预置频率的声波信号。这样，随着具体视频信号送到用户的第二终端，该声波信号也会随之送达，并且，该声波信号的频率可以是在人类的听力范围之外，也即，用户并不会感知该声波信号的存在，但是，第一终端能够感知到该声波信号，进而，第一终端就可以将该声波信号作为确定目标节目内容开始或者即将开始的依据。通过这种方式，可以通过具体的视频信号携带具有提示作用的声波信号，并通过第二终端传达给第一终端，因此，可以保证用户在第二终端看到的事件，能够更好的与第一终端中看到的图像进行无缝衔接，从而获得更好的体验。

其中，关于所述的声波信号，其具体的频率信息可以是由服务端确定的，并由该服务端提供给第二终端对应的服务端(第二服务端)，由第二服务端在发送视频信号的过程中，在目标事件开始或者即将开始的位置处的视频信号中插入该声波信号。另一方面，服务端也可以通过一些方式将该声波信号的频率信息告知给第一终端，这样，第一终端与第二终端之间就可以通过该声波信号建立联系。需要说明的是，在具体实现时，由于同一视频内容中包括多个节目内容，因此，还可以分别为不同的节目内容提供不同频率的声波信号。可以将这种具体节目内容与声波频率之间的对应关系提供给第二服务端，第二服务端在添加声波信号时，可以根据上述对应关系进行添加；并且，该对应关系也会提供给第一终端，第一终端可以根据检测到的声波信号的频率的不同，确定出当前正在或者即将播放的节目内容，等等。

另外，需要说明的是，第一终端除了可以确定出终端设备中播放的视频当前正在播放的节目，还可以对当前节目具体播放到哪个环节、关键节点等进行识别，也即，除了可以在具体的节目名称层面上进行识别，还可以在同一个节目内对具体过程中的关键节点等进行识别。例如对于“明星到你家”活动，其中包括的关键节点可以包括：节目开始、舞台上的目标人物从“传送门”穿出离开舞台、舞台上的主持人口述各种互动信号，等等。其中，可以在各个关键节点处加入具体的声波信号，或者，也可以在关键节点处由主持人或者嘉宾都对关键点的名称等进行播报，总之，第一终端同样可以通过声波检测、声纹识别等方式，确定出当前节目具体播放到哪个关键节点。

具体开始互动之后，如前文所述，可以通过基于传送通道的动画作为互动开始的标志，之后，可以将与指定对象素材添加到实景图像中，如果用户已经指定位置，则可以添加到实景图像中对应的位置处。如果指定对象素材添加进来时，用户已经移动了第一终端设备的位置，也即其相对于初始位置已经发生了变化，以至于素材添加进来之后，却并没出现在第一终端的显示屏中。对于此情况，由于之前基于移动终端设备的初始位置(该位置一旦确定就不再变化)创建了坐标系，因此，还可以基于SLAM(Concurrent Mapping andLocalization，即时定位与地图构建)等技术，确定出第一终端移动后的位置在该坐标系中的坐标，也即确定出第一终端移动到了什么位置，并且可以确定第一终端相对于初始位置是向什么方向发生了移动，进而就可以引导用户向该方向相反的方向移动其第一终端，以使得已经添加的素材能够出现在第一终端的画面中。如图3-6所示，可以通过“箭头”的方式引导用户对第一终端进行移动。

如前文所述，同一指定对象对应的素材可能有多套，例如，包括跳舞的素材，唱歌的素材等等，则具体在将指定对象素材添加到实景图像之前，还可以为用户提供用于选择具体素材的选项，用户可以进行选择。在用户进行选择的过程中，还可以播放一段固定的视频等，例如，这段固定视频的内容可以是一个盒子，并在不停的跳动，用以表达指定对象正在做换衣服等准备工作，等等。在用户选择了一个具体的素材后，就可以将被选中的素材添加到实景图像中进行展示，例如，如图3-7所示，其为一个具体例子中，展示所述指定素材展示过程中的其中一帧图像，其中，关于人物的部分图像为虚拟图像，人物后面的背景则是用户通过第一终端采集到的实景图像。

其中，由于互动素材中还可以包括由所述指定对象录制的语音样本素材，因此，在添加了所述指定对象素材之后，还可以获得所述第一终端关联用户的用户名称信息，并针对所述关联用户生成该用户专用的问候语语料，其中包括所述用户名称。进而，根据所述语音样本素材将所述问候语预料转化为语音并进行播放。相应的，在指定对象素材中，还可以存在指定对象向用户进行打招呼时的动作、表情等，使得用户感觉到确实是该指定对象本人在跟自己打招呼。其中，关于用户名称，可以根据当前用户登录到的账户，确定对应的用户昵称，或者还可以根据用户预先提供的实名认证信息，获得用户真实姓名，等等，通过上述方式可以实现针对不同用户的“千人千面”。当然，如果无法获取到某些用户的昵称、真实姓名等，则还可以根据用户的性别、年龄等，为用户生成相对较通用的称呼，等等。

S204：在展示所述指定对象素材的过程中，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

在完成了指定对象的素材添加到实景图像中之后，如前文所述，由于第二终端的视频中与该互动节目相关的内容也还在继续，因此，本申请实施例中，在第一终端中展示指定对象相关素材的过程中，还可以通过具体的素材，实现第一终端中的指定对象与第二终端的主持人等之间进行互动，由两者相互配合，为用户带来更好更具有趣味性的体验。

具体实现时，所述指定对象的素材可以是根据一整段的视频等生成的模型，其中，在录制指定对象相关的视频时，可以预先进行编排，包括在具体的时间点，对应的指定对象做出对具体互动信号的响应，等等，例如，在互动开始后，第10S处包括对第一个互动信号的响应，在第22S包括对第二个互动信号的响应，等等，这样，舞台上的主持人也可以是预先获知这种具体编排对应的时间表信息，然后在对应的时间点发出具体的互动信号即可。例如，具体的互动信号可以包括与所述指定对象进行对话的互动信号，此时，所述互动效果包括：通过对应的指定对象素材对所述互动信号中的对话内容进行回应。例如，主持人在舞台上问“某某你去哪里了”，该指定对象可以在第一终端的界面内回应到“我来某某家里了”，等等。或者，互动信号也可以包括指示所述指定对象做出指定动作的互动信号，所述互动效果包括：通过对应的指定对象素材使所述指定对象做出对应的动作。例如，主持人可以在舞台上请对应的人物为用户做“比心”的动作，则该人物可以做出相应的动作；或者，主持人在舞台上请对应的人物摆出“pose”准备与用户的家人合个影，则该人物对应的素材中会展示出该人物摆出准备合影的姿势；再或者，主持人在舞台上为用户送礼物，做出将“礼物”从舞台上“抛出”请具体的人物“接住”送给用户的互动信号，此时，该人物对应的素材中可以展示出做出“接”的动作，等等。

也就是说，在上述方式中，指定对象具体对具体互动信号的回应可以是在具体素材中的特定时间点进行编排好的，这样，第二终端中只要按照该编排的时间发出对应的互动信号，即可使得用户感觉到所述指定对象是在根据第二终端的互动信号做出了相应的了回应。

或者，在另一种更灵活的实现方式下，服务端提供的所述指定对象的素材可以分为多份，每一份素材可以对应不同的互动信号，并且，第一终端可以对第二终端中播放的内容中所发出的具体互动信号进行识别，然后根据识别出的指令，播放对应的素材，这样，可以避免严格控制主持人等在舞台上发出具体互动信号的时间，主持人可以随时发出各种互动信号，相应的，第一终端可以检测所述第二终端视频中播放的向所述指定对象发出的互动信号，并且可以随时根据具体检测到的互动信号，以及对互动信号的识别结果，切换具体的素材，将对应的素材添加到所述实景图像中进行展示，以此做出对所述互动信号的回应。例如，具体实现时，同一指定对象对应的素材，可以包括用于与主持人对话的素材，用于做出某指定动作的素材，等等。这样，如果第一终端检测到与对话相关的互动信号，则可以将对话对应的素材添加到所述实景图像中，如果检测到与某指定动作相关的互动信号，则可以将对应动作的素材添加到实景图像中，等等。

其中，具体在对互动信号进行检测时，与对目标事件的检测方式可以是相同的，例如，具体的互动信号可以是由主持人等通过语音的方式发出，则具体可以是对通过语音的方式发出的信号进行声纹识别，获得具体的识别结果。或者，如果在发出具体的互动信号时，还通过插入特定频率的声波发出了信号，则第一终端可以对所述通过声波的方式发出的信号进行频率检测，获得识别结果。其中，具体通过声纹或者声波的检测方式可以参见前文中的相关记载，这里不再赘述。

例如，在具体实现时，如果是以声波频率为依据进行互动信号的检测，则第一终端保存的信息可以如以下表1所示：

表1

互动信号名称	声波频率	素材编号
			“比心”	频率1	00001
“合影”	频率2	00002
			送“礼物”	频率3	00003
……	……	……

或者，如果以声纹为依据进行互动信号的检测，则第一终端保存的信息可以如以下表1所示：

表1

互动信号名称	关键词	素材编号
			“比心”	比心	00001
“合影”	合影	00002
			送“礼物”	礼物	00003
……	……	……

需要说明的是，在具体实现时，第二终端向指定对象发出互动信号时，还可能会涉及到一些道具，例如，主持人可以在舞台上做出“抛出”篮球的动作，并指示指定对象接住篮球，则这里的篮球便可以作为互动中用到的道具。或者，主持人在舞台上要求指定对象为用户送“礼物”，并在舞台上将具体的“礼物”抛给指定对象，要求指定对象接住该“礼物”，这里的“礼物”也可以属于上述道具的范畴，具体可以是某商品，或者是“宝箱”等等。在这种情况下，服务端还可以预先提供这种道具相关的素材，第一终端在检测到与道具相关的互动信号后，还可以向实景图像中添加道具对应的素材，例如，可以是篮球、宝箱等对应的素材。当然，在具体实现时，在将所述目标道具对应的素材添加到所述实景图像的过程中，还可以提供所述目标道具从第二终端进入到所述第一终端屏幕的动态效果，使得互动过程的情节连贯性更强。其中，关于“宝箱”等类别的道具，还可能是用于资源领取的道具，也即，在将“宝箱”显示到实景图像中后，用户还可以对其进行操作，以开启宝箱，获得开奖结果。在这种情况下，在将所述目标道具对应的素材添加到所述实景图像中之后，还可以在所述实景图像的上层提供对应的资源领取操作选项，以便用户可以对该操作对象进行操作，以提交开启宝箱的请求，之后，可以显示出对应的开奖结果。其中，具体的开奖结果中可以包括具体获得的“现金红包”奖励、“优惠券”奖励、“1元抢购”奖励，等等。或者，还可以将另一个“宝箱”作为奖励，该“宝箱”通常可以在指定的时段进行开奖，因此称为“延时宝箱”，这种“延时宝箱”对应的奖品可以比较具有吸引力，以此引导用户按时回到“我的奖品”界面中对该“延时宝箱”进行开启。这样，可以为对应的承接页带来更多的用户流量，并且，还可以通过将“延时宝箱”的可开启时间设定在促销活动中用户活跃度比价低的时段(例如，“双11”当天的下午两点，等等)，来提升整个活动中的用户活跃度。

另外，为了进一步提高互动的效果，还可以根据所述第一终端所处环境的环境特征，在所述实景图像中添加对应的环境素材。其中，所谓的环境特征具体可以包括天气、温度和/或空气污染指数，等等。例如，如果在“双11晚会”当天，某用户所在的城市是下雪的天气，则可以在所述实景图像中添加“雪花”素材，并且还可以提供相应的文案：“某某冒着风雪来到您的家中”；如果用户所在的城市温度很低，则可以在所述实景图像在添加“火炉”素材，并且还可以提供相应的文案：“请某某烤烤火”，等等。

总之，通过本申请实施例，可以根据与指定对象相关的视频/动画等创建互动素材，在具体进行互动的过程中，可以对用户所在的实际环境进行采集实景图像，在第二终端中播出与所述指定对象对应的目标事件时，将指定对象素材添加到所述实景图像中进行展示，并且，指定对象还可以根据第二终端中的互动信号做出相应的回应。这样，使得用户可以获得相关指定对象来到自己所在空间环境(例如，自己家中等)的体验，并且，在来到自己的家中之后，还能够与舞台上的主持人等进行互动，因此，可以提高用户对互动的参与度。

实施例二

该实施例二主要从服务端的角度，提供了一种多屏互动方法，参见图4，该方法具体可以包括：

S401：服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

S402：将所述互动素材提供给第一终端，以用于当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述第一终端采集的实景图像中，并提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

关于该实施例二的具体实现，可以参见前述实施例一中的记载，这里不再赘述。

实施例三

该实施例三是从第二终端的角度，提供了一种多屏互动方法，在该方法中，具体的互动信号可以是由该第二终端添加到具体视频中的。例如，这里的第二终端可以是带有智能系统的电视机等设备，或者，连接有播放控制器(例如，天猫魔盒等)的电视机设备，等等。具体添加的互动信号可以是预置频率的声波信号等。具体的，参见图5，该方法具体可以包括：S501：第二终端播放视频，以用于所述第一终端在检测到所述视频播放到与指定对象相关的目标事件时，将指定对象素材添加到采集到的实景图像中；

S502：在所述视频中向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

实施例四

该实施例四是从第二服务端的角度，提供了一种多屏互动方法，在该方法中，可以由第二服务端，也即广播电视台用于发射具体电视节目视频信号的服务端，在视频中添加具体的互动信号，例如，具体同样可以以一定频率的声波信号等形式存在。具体的，参见图6，该方法具体可以包括：

S601：第二服务端提供视频，以用于在第二终端中进行播放，并在所述视频播放到与指定对象相关的目标事件时，由第一终端将指定对象素材添加到采集到的实景图像中；

S602：通过所述视频向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

其中，关于上述实施例三以及实施例四中其他的具体实现，可以参见前述实施例中的记载，这里不再赘述。

与实施例一相对应，本申请实施例还提供了一种多屏互动装置，参见图7，该装置应用于第一终端，包括：

互动素材加载单元701，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

实景图像采集单元702，用于采集实景图像；

互动素材添加单元703，用于当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

互动单元704，用于在展示所述指定对象素材的过程中，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

具体实现时，所述指定对象素材包括多份素材，分别对应于不同的互动信号；

所述互动单元具体可以包括：

互动信号检测子单元，用于检测所述第二终端视频中播放的向所述指定对象发出的互动信号；

信号识别子单元，用于对所述互动信号进行识别，并根据识别结果，将对应的素材添加到所述实景图像中。

其中，所述第二终端视频中播放的向所述指定对象发出的互动信号包括：通过语音的方式发出的信号；

此时，所述信号识别子单元具体可以用于：

对所述通过语音的方式发出的信号进行声纹识别，获得识别结果。

或者，所述第二终端视频中播放的向所述指定对象发出的互动信号包括：通过插入特定频率的声波发出的信号；

所述信号识别子单元具体可以用于：

对所述通过声波的方式发出的信号进行频率检测，获得识别结果。

其中，所述互动信号包括与所述指定对象进行对话的互动信号，所述互动效果包括：通过对应的指定对象素材对所述互动信号中的对话内容进行回应。

或者，所述互动信号包括指示所述指定对象做出指定动作的互动信号，所述互动效果包括：通过对应的指定对象素材使所述指定对象做出对应的动作。

如果所述互动信号关联有目标道具，所述装置还可以包括：

道具素材添加单元，用于将所述目标道具对应的素材添加到所述实景图像中，所述互动素材中包括与所述目标道具相关的内容。

动态效果提供单元，用于在将所述目标道具对应的素材添加到所述实景图像的过程中，提供所述目标道具从第二终端进入到所述第一终端屏幕的动态效果。

其中，所述目标道具包括与资源领取相关的道具，所述装置还可以包括：

操作选项在将所述目标道具对应的素材添加到所述实景图像中之后，在所述实景图像的上层提供对应的资源领取操作选项。

具体实现时，该装置还可以包括：

环境素材添加单元，用于根据所述第一终端所处环境的环境特征，在所述实景图像中添加对应的环境素材。

其中，所述环境特征包括天气、温度和/或空气污染指数。

具体的，所述互动素材添加单元具体可以用于：

将所述指定对象素材添加到所述实景图像中包括的平面上进行展示。

具体的，所述互动素材添加单元可以包括：

平面检测子单元，用于在采集到的实景图像中进行平面检测；

光标提供子单元，用于提供光标，根据检测到的平面，确定光标的可放置范围；

放置位置确定子单元，用于将所述光标被放置的位置作为所述放置位置。

其中，所述放置位置确定子单元具体可以用于：

以第一终端所在的初始位置为原点建立坐标系；

确定所述光标被放置的位置在所述坐标系中的光标坐标；

将所述光标坐标作为所述放置位置。

另外，该装置还可以包括：

变化方向确定单元，用于在将所述指定对象素材添加到所述放置位置处后，当所述素材未出现在所述第一终端的界面时，确定所述第一终端相对于所述初始位置的变化方向；

提示标识提供单元，用于根据所述变化方向，在所述第一终端的界面中提供相反方向的提示标识。

其中，所述互动素材还包括用于表示传送通道的素材，在所述采集实景图像步骤之后，还包括：

通道素材添加单元，用于将所述用于表示传送通道的素材添加到所述实景图像中。

所述互动素材添加单元具体可以用于：

基于所述传送通道素材，展示所述指定对象通过所述传送通道进入所述拍摄到的实景图像中的过程。

其中，所述指定对象素材包括通过对所述指定对象进行拍摄所获得的视频素材。

所述指定对象素材包括：以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素材。

与实施例二相对应，本申请实施例还提供了一种多屏互动装置，参见图8，该装置应用于第一服务端，包括：

互动素材保存单元801，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

互动素材提供单元802，用于将所述互动素材提供给第一终端，以用于当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述第一终端采集的实景图像中，并提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

与实施例三相对应，本申请实施例还提供了一种多屏互动装置，参见图9，该装置应用于第二终端，包括：

视频播放单元901，用于播放视频，以用于所述第一终端在检测到所述视频播放到与指定对象相关的目标事件时，将指定对象素材添加到采集到的实景图像中；

互动信号提供单元902，用于在所述视频中向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

与实施例四相对应，本申请实施例还提供了一种多屏互动装置，参见图10，该装置应用于第二服务端，包括：

视频提供单元1001，用于提供视频，以用于在第二终端中进行播放，并在所述视频播放到与指定对象相关的目标事件时，由第一终端将指定对象素材添加到采集到的实景图像中；

互动信号提供单元1002，用于通过所述视频向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号提供对应的互动效果。

另外，本申请实施例还提供了一种电子设备，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

在展示所述指定对象素材的过程中，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果。

其中，图11示例性的展示出了电子设备的架构，例如，设备1100可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理，飞行器等。

参照图11，设备1100可以包括以下一个或多个组件：处理组件1102，存储器1104，电源组件1106，多媒体组件1108，音频组件1110，输入/输出(I/O)的接口1112，传感器组件1114，以及通信组件1116。

处理组件1102通常控制设备1100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1102可以包括一个或多个处理器1120来执行指令，以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理部件1102可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。

存储器1104被配置为存储各种类型的数据以支持在设备1100的操作。这些数据的示例包括用于在设备1100上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1106为设备1100的各种组件提供电力。电源组件1106可以包括电源管理系统，一个或多个电源，及其他与为设备1100生成、管理和分配电力相关联的组件。

多媒体组件1108包括在设备1100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括一个前置摄像头和/或后置摄像头。当设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括一个麦克风(MIC)，当设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括一个扬声器，用于输出音频信号。

I/O接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1114包括一个或多个传感器，用于为设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到设备1100的打开/关闭状态，组件的相对定位，例如所述组件为设备1100的显示器和小键盘，传感器组件1114还可以检测设备1100或设备1100一个组件的位置改变，用户与设备1100接触的存在或不存在，设备1100方位或加速/减速和设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1116被配置为便于设备1100和其他设备之间有线或无线方式的通信。设备1100可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信部件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信部件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备1100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1104，上述指令可由设备1100的处理器1120执行以完成本公开技术方案提供的视频播放方法中的当满足预设条件时，生成流量压缩请求，并发送给服务器，其中所述流量压缩请求中记录有用于触发服务器获取目标关注区域的信息，所述流量压缩请求用于请求服务器优先保证目标关注区域内视频内容的码率；根据服务器返回的码流文件播放所述码流文件对应的视频内容，其中所述码流文件为服务器根据所述流量压缩请求对所述目标关注区域之外的视频内容进行码率压缩处理得到的视频文件。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的多屏互动方法、装置及电子设备，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (27)

1.一种多屏互动方法，其特征在于，包括：

第一终端加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

在展示所述指定对象素材的过程中，确定所述第二终端播放的向所述指定对象发出的互动信号，提供与所述第二终端视频中播放的向所述指定对象发出的所述互动信号对应的互动效果。

2.根据权利要求1所述的方法，其特征在于，所述指定对象素材包括多份素材，分别对应于不同的互动信号；

通过所述指定对象素材，提供与所述第二终端视频中播放的向所述指定对象发出的互动信号对应的互动效果，包括：

检测所述第二终端视频中播放的向所述指定对象发出的互动信号；

对所述互动信号进行识别，并根据识别结果，将对应的素材添加到所述实景图像中。

3.根据权利要求2所述的方法，其特征在于，所述第二终端视频中播放的向所述指定对象发出的互动信号包括：通过语音的方式发出的信号；

所述对所述互动信号进行识别，包括：

对所述通过语音的方式发出的信号进行声纹识别，获得识别结果。

4.根据权利要求2所述的方法，其特征在于，所述第二终端视频中播放的向所述指定对象发出的互动信号包括：通过插入特定频率的声波发出的信号；

所述对所述互动信号进行识别，包括：

对所述通过声波的方式发出的信号进行频率检测，获得识别结果。

5.根据权利要求2所述的方法，其特征在于，所述互动信号包括与所述指定对象进行对话的互动信号，所述互动效果包括：通过对应的指定对象素材对所述互动信号中的对话内容进行回应。

6.根据权利要求2所述的方法，其特征在于，所述互动信号包括指示所述指定对象做出指定动作的互动信号，所述互动效果包括：通过对应的指定对象素材使所述指定对象做出对应的动作。

7.根据权利要求1所述的方法，其特征在于，如果所述互动信号关联有目标道具，所述方法还包括：

将所述目标道具对应的素材添加到所述实景图像中，所述互动素材中包括与所述目标道具相关的内容。

8.根据权利要求7所述的方法，其特征在于，还包括：

在将所述目标道具对应的素材添加到所述实景图像的过程中，提供所述目标道具从第二终端进入到所述第一终端屏幕的动态效果。

9.根据权利要求7所述的方法，其特征在于，所述目标道具包括与资源领取相关的道具，所述方法还包括：

在将所述目标道具对应的素材添加到所述实景图像中之后，在所述实景图像的上层提供对应的资源领取操作选项。

10.根据权利要求1所述的方法，其特征在于，还包括：

根据所述第一终端所处环境的环境特征，在所述实景图像中添加对应的环境素材。

11.根据权利要求10所述的方法，其特征在于，所述环境特征包括天气、温度和/或空气污染指数。

12.根据权利要求1至11任一项所述的方法，其特征在于，所述将所述指定对象素材添加到所述实景图像中，包括：

将所述指定对象素材添加到所述实景图像中包括的平面上进行展示。

13.根据权利要求12所述的方法，其特征在于，

所述将所述指定对象素材添加到所述实景图像中包括的平面上进行展示，包括：

在采集到的实景图像中进行平面检测；

提供光标，根据检测到的平面，确定光标的可放置范围；

将所述光标被放置的位置作为所述指定对象素材的放置位置。

14.根据权利要求13所述的方法，其特征在于，所述将所述光标被放置的位置作为所述放置位置，包括：

以第一终端所在的初始位置为原点建立坐标系；

确定所述光标被放置的位置在所述坐标系中的光标坐标；

将所述光标坐标作为所述放置位置。

15.根据权利要求14所述的方法，其特征在于，还包括：

在将所述指定对象素材添加到所述放置位置处后，当所述素材未出现在所述第一终端的界面时，确定所述第一终端相对于所述初始位置的变化方向；

根据所述变化方向，在所述第一终端的界面中提供相反方向的提示标识。

16.根据权利要求1至11任一项所述的方法，其特征在于，所述互动素材还包括用于表示传送通道的素材，在所述采集实景图像步骤之后，还包括：

将所述用于表示传送通道的素材添加到所述实景图像中。

17.根据权利要求16所述的方法，其特征在于，所述将所述指定对象素材添加到所述实景图像具体包括：

基于所述传送通道素材，展示所述指定对象通过所述传送通道进入所述采集到的实景图像中的过程。

18.根据权利要求1至11任一项所述的方法，其特征在于，所述指定对象素材包括通过对所述指定对象进行拍摄所获得的视频素材。

19.根据权利要求1至11任一项所述的方法，其特征在于，所述指定对象素材包括：以所述指定对象的形象为原型制作的卡通形象，以及基于该卡通形象制作的动画素材。

20.一种多屏互动方法，其特征在于，包括：

第一服务端保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

将所述互动素材提供给第一终端，以用于当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述第一终端采集的实景图像中，并确定所述第二终端播放的向所述指定对象发出的互动信号，提供与所述第二终端视频中播放的向所述指定对象发出的所述互动信号对应的互动效果。

21.一种多屏互动方法，其特征在于，包括：

第二终端播放视频，以用于第一终端在检测到所述视频播放到与指定对象相关的目标事件时，将指定对象素材添加到采集到的实景图像中；

在所述视频中向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号，确定所述第二终端播放的向所述指定对象发出的互动信号，提供对应的互动效果。

22.一种多屏互动方法，其特征在于，包括：

第二服务端提供视频，以用于在第二终端中进行播放，并在所述视频播放到与指定对象相关的目标事件时，由第一终端将指定对象素材添加到采集到的实景图像中；

通过所述视频向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号，确定所述第二终端播放的向所述指定对象发出的互动信号，提供对应的互动效果。

23.一种多屏互动装置，其特征在于，应用于第一终端，包括：

互动素材加载单元，用于加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

实景图像采集单元，用于采集实景图像；

互动素材添加单元，用于当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

互动单元，用于在展示所述指定对象素材的过程中，确定所述第二终端播放的向所述指定对象发出的互动信号，提供与所述第二终端视频中播放的向所述指定对象发出的所述互动信号对应的互动效果。

24.一种多屏互动装置，其特征在于，应用于第一服务端，包括：

互动素材保存单元，用于保存互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

互动素材提供单元，用于将所述互动素材提供给第一终端，以用于当第二终端中的视频播放到与所述指定对象对应的目标事件时，将所述指定对象素材添加到所述第一终端采集的实景图像中，并确定所述第二终端播放的向所述指定对象发出的互动信号，提供与所述第二终端视频中播放的向所述指定对象发出的所述互动信号对应的互动效果。

25.一种多屏互动装置，其特征在于，应用于第二终端，包括：

视频播放单元，用于播放视频，以用于第一终端在检测到所述视频播放到与指定对象相关的目标事件时，将指定对象素材添加到采集到的实景图像中；

互动信号提供单元，用于在所述视频中向所述指定对象发出互动信号，以便所述第一终端通过检测所述互动信号，确定所述第二终端播放的向所述指定对象发出的互动信号，提供对应的互动效果。

26.一种多屏互动装置，其特征在于，应用于第二服务端，包括：

视频提供单元，用于提供视频，以用于在第二终端中进行播放，并在所述视频播放到与指定对象相关的目标事件时，由第一终端将指定对象素材添加到采集到的实景图像中；

互动信号提供单元，用于通过所述视频向所述指定对象发出互动信号，以便所述第一终端，确定所述第二终端播放的向所述指定对象发出的互动信号，通过检测所述互动信号提供对应的互动效果。

27.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

加载互动素材，所述互动素材包括根据指定对象创建的指定对象素材；

采集实景图像；

当第二终端中的视频播放到与所述指定对象相关的目标事件时，将所述指定对象素材添加到所述实景图像中；

在展示所述指定对象素材的过程中，确定所述第二终端播放的向所述指定对象发出的互动信号，提供与所述第二终端视频中播放的向所述指定对象发出的所述互动信号对应的互动效果。

Images