CN113407146A - 终端语音交互方法、系统以及相应的终端设备 - Google Patents

Abstract

提出了一种终端交互方法、系统和设备。所述终端交互方法，包括：呈现交互场景，所述交互场景中包括一个或多个交互对象；接收用户对交互对象的操作；以及在所述交互场景中呈现所述操作的操作结果。本发明通过提供具体交互场景并使得用户能够通过在交互场景中的语音交互来对交互对象进行操作，例如获知针对交互对象的操作效果，从而提升了参与性，并且能够更为明确地展示交互对象的各种功能，促进交互对象的推广。

Description

终端语音交互方法、系统以及相应的终端设备

技术领域

本公开涉及一种交互领域，尤其涉及一种终端语音交互方法、系统以及相应的终端设备。

背景技术

互联网时代，各类内容信息通过各种形式输送给用户。为了进行商业推广，各类APP中有各种各样的运营资源位。不同的运营资源位承接着商家想要输送给用户的各类信息。这些推广信息的内容都是确定的。即便是针对不同的用户投放了不同产品的推广信息，这些产品的推广信息本身也都是一成不变的，并且通常会对用户的正常APP操作造成妨碍。

为此，需要一种改进的信息推广方式。

发明内容

本公开要解决的一个技术问题是提供一种终端语音交互方案，该方案通过提供一个具体交互场景并使得用户能够通过在交互场景中的语音交互来对交互对象进行操作，例如获知针对交互对象的操作效果，从而提升了参与性，并且能够更为明确地展示交互对象的各种功能。

根据本公开的第一个方面，提出了一种终端语音交互方法，包括：呈现交互场景，所述交互场景中包括一个或多个交互对象；接收用户对交互对象的操作；以及在所述交互场景中呈现所述操作的操作结果。

根据本公开的第二个方面，提出了一种终端语音交互系统，包括多个终端和服务端，所述多个终端与服务端通信，并且，所述服务端用于：下发交互场景，所述交互场景中包括一个或多个交互对象；获取上传的用户对交互对象的操作；生成并下发操作响应指令，所述终端用于：接收下发的所述交互场景并进行呈现；接收并上传所述用户对交互对象的操作；接收下发的所述操作响应指令；基于所述操作响应指令，在所述交互场景中呈现所述操作的操作结果。

根据本公开的第三个方面，提出了一种终端显示方法，包括：显示虚拟交互场景页面，所述虚拟场景页面中包括一个或多个虚拟交互对象；以及响应于用户对虚拟交互对象的操作，在所述虚拟场景页面中显示所述操作的操作结果。

根据本公开的第四个方面，提出了一种终端设备，包括：输出装置，用于呈现交互场景，所述交互场景中包括一个或多个交互对象；输入装置，用于接收用户对交互对象的操作；以及处理装置，用于基于所述操作，使用所述呈现装置在所述交互场景中呈现所述操作的操作结果。

根据本公开的第五个方面，提出了一种终端语音交互方法，包括：在当前交互场景中基于预定条件呈现商业推广内容；接收用户对所述商业推广内容的语音指令操作；以及在所述交互场景中呈现所述操作针对所述商业推广内容的操作结果。

根据本公开的第六个方面，提出了一种语音交互方法，包括：播放影视剧，其中，所述影视剧的播放场景中呈现可交互对象；接收用户对可交互对象的语音指令操作；以及在所述影视剧的播放场景中呈现所述操作的操作结果。

根据本公开的第七个方面，提出了一种商业推广屏语音交互方法，包括：提示用户进行语音交互；获取所述用户的语音交互输入；呈现商业推广内容；接收用户对所述商业推广内容的语音指令操作；以及呈现所述语音指令操作针对所述商业推广内容的操作结果。

本发明通过为用户提供交互场景，接收用户操作并展示操作结果，使得用户能够参与到推广过程本身，并且能够准确获知操作对象的各种功能。本发明尤其适于实现为一种APP端内语音交互智能推广方案，即，APP端内用户可以在推广场景中进行语音交互，推广场景根据用户的语音指示，呈现不同的内容信息，由此展示要推广的服务或产品，提升用户的参与度和信息推广的趣味性，以及投放的精准性。

附图说明

通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。

图1示出了根据本发明一个实施例的终端交互方法的流程示意图。

图2示出了能够实现本发明的终端交互系统的一个例子。

图3示出了服务端参与本发明终端交互的一个例子。

图4示出了根据本发明一个实施例的终端显示方法的流程示意图。

图5示出了根据本发明一个实施例可用于实现上述交互方法的终端设备的结构示意图。

图6A-6B示出了根据本发明的终端交互场景的一个例子。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

互联网时代，各类内容信息通过各种形式输送给用户。为了进行商业推广，各类APP中有各种各样的运营资源位。不同的运营资源位承接着商家想要输送给用户的各类信息。这些推广信息的内容都是确定的。即便是针对不同的用户投放了不同产品的推广信息，这些产品的推广信息本身也都是一成不变的，并且通常会对用户的正常APP操作造成妨碍。

为此，本发明提出了一种终端交互方案，该方案通过提供一个具体交互场景并使得用户能够通过在交互场景中的主动操作来获知针对交互对象的操作效果，从而提升了参与性，并且能够更为明确地展示交互对象的各种功能。

图1示出了根据本发明一个实施例的终端交互方法的流程示意图。在此，终端交互可以指代终端设备与其用户之间的交互，因此该终端交互方法是终端针对用户的输入而给出相应操作的方法。在不同的实施例中，终端设备尤其可以实现为各类移动终端，例如，安装有交互APP的智能手机和平板电脑、专门的AR头盔等等。

在步骤S110，呈现交互场景。呈现的交互场景中包括一个或多个交互对象。在此，“呈现”指代通过各种感知方式让用户获知。在一个实施例中，呈现交互场景可以是在显示屏中显示交互场景页面，例如，在手机安装的APP内显示。作为替换或是补充，上述呈现还可以包括声音呈现。此时，扬声器或是耳机可以播放相应的场景声音，例如，音乐、语音提示或是描述、或是模拟某一真实场景(例如，下雨、刮风等)的声音。在其他上述两种，还可以通过振动等其他方式进行交互场景的呈现。

在此，“交互场景”指代用户可以针对一个或多个对象进行操作的情境。例如，为了方便用户对一个或多个物联网(IoT)设备进行操作，可以为用户提供一个模拟家居环境的交互场景。为了方便用户对烧烤架之类的户外设备进行操作，则可以为用户提供一个模拟户外环境的交互场景。该交互场景中可以包括一个或多个交互对象。在一些实施例中，交互场景和/或交互对象可以是虚拟的场景和/或对象，例如，动画绘制的场景和对象。在其他实施例中，交互场景可以是真实场景，交互对象则可以是在该真实场景上显示的虚拟AR对象。

在步骤S120，接收用户对交互对象的语音指令操作。在呈现的交互场景中，用户可以对其内包括的交互对象进行语音操作，并且由终端设备接收上述操作。在其他实施例中，用户还可以通过触摸屏进行触摸输入操作，利用鼠标进行点选操作，甚至可以利用游戏手柄进行类似的操作。

在步骤S130，在所述交互场景中呈现所述操作的操作结果。在某些实施例中，终端设备可以直接基于获取的用户操作，生成相应的操作响应并在交互场景中呈现。在其他实施例中，终端设备可以与服务端联网，上传获取的用户操作(或是经过部分处理的用户操作)，获取服务端下发的操作响应，或是中间数据，并基于由此得到的操作响应而在交互场景中呈现。

在此，接收用户对交互对象的操作可以包括：接收用户触发交互对象包含功能的操作。相应地，在所述交互场景中呈现所述操作的操作结果可以包括：在所述交互场景中呈现所述功能的触发结果。例如，用户可以进行开启某一虚拟交互对象的操作，于是在交互场景中可以呈现该虚拟对象被开启之后的效果。随后，用户可以关闭该虚拟交互对象，并在在交互场景中呈现相应的关闭效果。由此，通过提供一个具体交互场景并使得用户能够通过在交互场景中的主动操作来获知针对交互对象的相应操作效果，从而能够以一种互动的方式对交互对象进行展示。

在本发明中，可以通过各种方式来使得用户对触发对象的操作模拟对真实对象的操作。例如，用户可以通过点按虚拟场景中虚拟对象的虚拟按钮，来模拟真实场景中点按实体对象的真实按钮的场景。但上述模拟操作与真实场景始终中的操作始终有差距(例如，点按触摸屏的触感肯定不同于开启某真实设备开关按钮的触感)。为此，本发明尤其适用于接收用户对交互对象的语音指令操作。换句话说，在接收语音指令的情况下，可以完全模拟真实场景的语音操作。更具体地，步骤S120可以包括：接收用户对语音交互对象的语音指令操作，其中，所述语音指令操作使得所述语音交互对象控制其他交互对象启用相应功能。此时，交互场景中包括语音交互对象以及被所述语音交互对象语音控制的其他交互对象。由此，用户可以经由该语音交互对象来控制其他对象。例如，在虚拟场景中显示有一个智能音箱，以及与该智能音箱联网的智能电视。用户可以通过输入“XXX(例如，智能音箱唤醒词)，打开电视”的语音，使得虚拟场景中原本关闭的电视呈现打开的效果，以模拟真实家居场景中通过智能音箱控制智能电视的场景。这样用户就能够知道应该如何使用智能音箱控制智能家电，并切实感受到其使用效果。

在实际操作中，上述响应指令的生成可以在终端设备本地完成。例如，在用户输入本地可识别的简单语句时。但通常情况下，响应指令的生成需要服务端的参与。此时，终端交互方法还可以包括：将所述语音指令操作上传至服务端；获取生成的语音指令响应结果，并且步骤S130可以包括：基于所述响应结果，呈现所述操作的操作结果。

另外，为了方便用户参与，本发明的交互方法还可以包括呈现针对交互对象的操作提示。类似地，上述呈现可以以声音、图像或是振动等其他方式被用户感知。例如，在用户进入虚拟场景页面时，给出语音提示：“试着说出‘XXX(例如，智能音箱唤醒词)，开灯’”。

进一步地，在语音操作的情况下，本发明的交互方法还可以包括向用户给出所述语音指令操作的语音反馈。上述语音反馈可以是需要额外信息时的多轮对话反馈，也可以是操作执行完毕之后的说明。例如，在用户说出“XXX(例如，智能音箱唤醒词)，开灯”时，如果虚拟场景中包括多个智能电灯(例如，客厅一个、餐厅一个)，可以响应于用户指令开启所有的电灯，也可以进一步询问用户“开哪个灯”，用户可以回答“开餐厅的灯”。此时，可以在虚拟场景中开启餐厅的灯，并且进行语音说明“餐厅的灯打开了”。

由于本发明的交互方法能够很好地呈现交互对象的功能，并且为用户提供了参与的实感，因此尤其适用于进行针对交互对象的后续推广。此时，终端交互方法还可以包括：跳转至被操作交互对象的推广页面。在不同的实施例中，上述跳转可以基于用户的主动操作，也可以由用户退出交互场景触发，也可以以其他方式触发。例如，当用户在虚拟场景中使用智能音箱控制了智能电视和智能电灯，那么在用户退出该虚拟场景时，可以向用户显示包括智能音箱、智能电视和智能电灯的产品链接。作为替换或是补充，用户也可以在虚拟场景中直接通过例如点击或双击相应的交互对象，跳转至该对象对应的真实产品的购物链接，或是直接将该产品加入购物车。

为了进一步提升用户参与性和灵活度，在某些实现中，呈现的交互场景、以及场景内包含的交互对象，也是可以具有各种设置而变化或更新的。

可以根据用户信息，生成用于呈现的交互场景。所述用户信息包括如下至少一项：用户画像信息；用户购物信息；用户历史操作信息；用户对交互场景的选择信息；以及用户输入的交互场景信息。

具体地，可以通过用户的在前信息和偏好信息，呈现用户偏好的交互场景或是交互对象，以及后续的推广信息。例如，如果用户画像信息说明用户是一个热爱篮球运动的90后，则可以在交互场景中放置一双新款篮球鞋，以方便用户的后续操作。如果购物信息中显示用户已购入智能音箱，则后续推广链接中可以只推广其他用户尚未购入的智能设备。另外，在服务端支持的情况下，例如，如果服务端可以提供各类家居房型的交互场景，则用户可以自行输入感兴趣的房型信息，由此生成例如与自家房型(甚至配色)相一致的虚拟场景，以使得后续的操作更具有代入感。

在交互场景确定并呈现之后，还可以基于触发条件，更新所述交互场景中的交互对象。上述触发可以是用户触发、终端/服务端设置触发、或是时间触发。例如，用户如果觉得虚拟场景中智能电灯点亮之后亮度不够，或是款式不喜欢，可以例如通过语音“换一个更亮的灯”来更换虚拟场景中显示的交互对象。另外，还可以为用户提供交互对象库，以方便在初始显示交互场景之后，用户可以通过在对象库内的操作，向交互场景中添加或是删除对象。服务端也可以例如在特惠活动开始时进行特惠商品的主动推送。

如前所示，呈现交互场景可以包括例如在手机APP中显示虚拟场景页面，所述虚拟场景页面中包括一个或多个虚拟交互对象。所述虚拟交互对象可以是与实际商品相对应的虚拟对象，并且在所述交互场景中呈现所述操作的操作结果可以包括：在所述交互场景中演示所述实际商品的功能。在其他实施例中，虚拟交互对象还可以是与实际服务相对应的虚拟对象，并且随后可以演示所述实际服务的功能。例如，虚拟场景中的虚拟平板可以显示“在线课堂”服务，用户可以通过点击“在线课堂”服务进行体验。

在其他实施例中，呈现交互场景可以包括例如经由AR头盔或是手机拍摄实际场景，例如，自己家中的实际场景，并且根据拍摄并显示的实际场景，向其中添加虚拟交互对象。此时，用户可以通过对虚拟对象的操作，看到虚拟对象在真实场景中的使用效果，从而进一步增加代入感和趣味性。例如，用户正在选购一款卧室照明。用户可以打开手机上的对应APP并点选AR购物功能，于是手机摄像头开启并拍摄卧室画面。APP识别出卧室场景并发现卧室中配备有一个智能音箱，此时可以通过服务端获取该用户注册的智能音箱型号，并且在用户说出“我要买灯”的情况下，为用户推送智能电灯。用户可以选择该虚拟智能电灯在AR场景中的安装部位，并且通过开灯指令查看该款电灯在实景中的虚拟照明效果，由此确定是否需要购买。

虽然本发明的终端交互方案在某些情况下可以在本地实现，但通常情况下需要服务端的参与。为此，本发明还可以实现为一种终端交互系统。图2示出了能够实现本发明的终端交互系统的一个例子。如图所示，服务端210能够连接多个终端220，并为其提供服务，并且用于：下发交互场景，所述交互场景中包括一个或多个交互对象；获取上传的用户对交互对象的操作；以及生成并下发操作反馈指令。多个终端220与服务端通信，并且用于：接收下发的所述交互场景并进行呈现；接收并上传所述用户对交互对象的操作；接收下发的所述操作响应指令；以及基于所述操作响应指令，在所述交互场景中呈现所述操作的操作结果。

具体地，在终端具有语音交互能力的情况下，终端220可以用于：接收用户对交互对象的语音指令操作，所述语音指令操作用于触发交互对象包含功能；以及基于所述操作反馈指令，在所述交互场景中演示所述功能的触发结果。相应地，服务端210可以用于：识别所述语音指令操作的语音内容；以及将语音内容文本下发至所述终端。进一步地，服务端210可以用于：基于识别的语音内容生成交互对象的响应动作作为所述操作响应指令。

所述一个或多个交互对象可以对应于一个或多个物联网设备，并且服务端210可以用于：向终端220推送被操作交互对象的推广信息。如下将结合图3描述服务端参与本发明终端交互的一个例子。

为了更好地描述流程，以一个推广(广告)场景为例。比如，在物联网设备管理APP内设置智能家庭推广页面，用于介绍不同款式的智能音箱、物联网设备以及以及它们的使用方式。

用户可以预先安装有该APP，或是获取具有智能广告功能的更新。随后，用户打开APP，进入推广页面(图中的“智能广告”)，用户会看到一个虚拟的智能家庭场景。比如，客厅里布置有智能音箱、智能电灯和智能空调等。用户可以看到如何与智能音箱进行交互的一些提示。随后，用户可以进行语音输入，例如对APP说：“XXX，开灯”。APP收到该语音后，经过语音交互SDK，上传至语音交互智能云端。智能云端识别语音指令，下发到APP以呈现语音文本。同时，语音输入达到云端后，经过云智能算法，服务端将响应动作下发到APP，APP收到下发指令后，经由端智能算法刷新广告局部信息，将上述场景中“客厅中的灯”点亮。虚拟电灯点亮的同时，APP可以通过语音播放的方式实现智能广告互动，例如说“好的，灯已点亮”。经由上述场景和操作，可以让用户清楚地获知如何通过智能音箱操控IoT产品，并具有趣味性。既做到了推广信息的透出，也实现了用户的实时参与。进一步地，用户可以通过语音交互，和智能广告进行互动，获取到自己需要的内容信息，例如，语音输入“在哪里买”或是“换一款更亮的灯”之类。

进一步地，本发明还可以实现为一种终端显示方法。图4示出了根据本发明一个实施例的终端显示方法的流程示意图。该方法尤其适用于在诸如智能手机或平板电脑等的移动智能终端上实现。

在步骤S410，显示虚拟交互场景页面，所述虚拟场景页面中包括一个或多个虚拟交互对象。具体地，用户可以通过打开相应的APP，点击或选择相应的场景来实现虚拟交互场景页面的显示。随后，在步骤S420，响应于用户对虚拟交互对象的操作，在所述虚拟场景页面中显示所述操作的操作结果。

在一个实施例中，步骤S420可以包括：响应于用户触发交互对象包含功能的语音指令操作，在所述交互场景中显示触发所述功能的交互对象。例如，可以在虚拟场景中显示被开启电视的电视画面。相应地，可以刷新所述虚拟交互场景页面中包含对应虚拟交互对象的页面部分。

进一步地，步骤S420可以包括：在所述交互场景中显示交互对象触发所述功能后的效果。上述效果可以波及涉及交互对象之外的其他部分，例如，开灯后的光照效果可以照亮整个虚拟场景。相应地，可以在所述虚拟场景页面中渲染触发所述功能后的效果。

本发明还可以实现为一种终端设备。该终端设备可以用于执行如上所述的交互方法，并且可以是上述交互系统的一部分。图5示出了根据本发明一个实施例可用于实现上述交互方法的终端设备的结构示意图。

参见图5，终端设备500包括输出装置510、输入装置520和处理装置530。

输出装置510用于呈现交互场景，所述交互场景中包括一个或多个交互对象。输入装置520用于接收用户对交互对象的操作。处理装置530用于基于所述操作，使用所述呈现装置在所述交互场景中呈现所述操作的操作结果。

输出装置510可以包括：显示器，用于显示所述交互场景。在一个实施例中，所述显示器可以是触摸屏，并且用作接收用户对交互对象的触摸输入操作的输入装置。

作为替换或者补充，输入装置520可以包括：麦克风，用于接收用户对交互对象的语音指令操作。相应地，此时输出装置510还可以包括：语音输入装置，用于向用户给出所述语音指令操作的语音反馈和/或给出针对交互对象的语音操作提示。

进一步地，终端设备500可以包括联网装置，用于与服务端通信。具体地，该联网装置可以用于：获取所述交互场景；上报用户对交互对象的所述操作；以及获取所述操作的操作响应指令，所述响应指令由所述处理装置用于在所述交互场景中呈现所述操作的操作结果。

具体地，处理装置530可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器530可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器530可以使用定制的电路实现，例如特定用途集成电路(ASIC)或者现场可编程逻辑门阵列(FPGA)。

终端设备500还可以包括存储器来存储如上的设备管理APP以及其他数据内容。存储器可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器820或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器上存储有可执行代码，当可执行代码被处理器530处理时，可以使处理器530执行上文述及的交互访问方法。

上文中已经参考附图详细描述了根据本发明的终端交互方案，该方案通过为用户提供交互场景，接收用户操作并展示操作结果，使得用户能够参与到推广过程本身，并且能够准确获知操作对象的各种功能。本发明尤其适于实现为一种APP端内语音交互智能推广方案，即，APP端内用户可以在推广场景中进行语音交互，推广场景根据用户的语音指示，呈现不同的内容信息，由此展示要推广的服务或产品，提升用户的参与度和信息推广的趣味性，以及投放的精准性。

如前所述，本发明可以通过在交互场景中，对交互对象(例如，某件商品或某种服务)进行语音操作来考察其对应功能。然而，在一个更广泛的实施例中，上述交互对象可以是商业推广内容本身(例如，商业广告，而非广告所宣传的商品)。

为此，本发明还可以实现为一种终端语音交互方法，包括：在当前交互场景中基于预定条件呈现商业推广内容；接收用户对所述商业推广内容的语音指令操作；以及在所述交互场景中呈现所述操作针对所述商业推广内容的操作结果。

当前交互场景例如可以是视频播放场景，为此触发上述商业推广内容呈现的预定预定条件可以包括视频播放的开始操作以及视频播放的暂停操作等。在其他实施例，还可以包括终端用户的语音指令。

另外，当前交互场景还可以是APP的开启场景，由此将APP启动广告实现为本发明的语音交互广告。

在某些实施例中，可以生成预先确定的商业推广内容。例如，某某APP的所有用户在开启APP时都会被呈现同一个商业广告，并且该广告的可选操作方式相同。而在一个优选实施例中，所述商业推广内容的推广对象和语音操作方式都可以是针对特定用户即时生成或是选择的。具体地，可以基于终端用户画像信息；终端用户购物信息；终端用户历史操作信息；终端用户对交互场景的选择信息；以及终端用户输入的交互场景信息中的至少一项生成所述商业推广内容的推广对象和/或语音操作方式。

例如，可以基于用户的游戏偏好为用户推荐新的互动游戏，并且根据用户的玩家级别呈现不同难度的互动方式。再例如，如果用户点击了一个做菜视频，则可以向用户推荐烹饪工具，并且基于用户在前的网上购物清单给出不同的语音料理方式等。

进一步地，上述语音指令操作可以用于对所述商业推广内容本身的呈现进行操作，例如，控制商业广告的播放、暂停、快进。优选地，上述语音指令操作还可以用于对所述商业推广内容所包含的推广对象进行操作。例如，如上所述对智能音箱广告里呈现的智能音箱进行操作。

本发明还可以用于影视剧中的商业推广。为此，本发明还可以实现为一种语音交互方法，包括：播放影视剧，其中，所述影视剧的播放场景中呈现可交互对象；接收用户对可交互对象的语音指令操作；以及在所述影视剧的播放场景中呈现所述操作的操作结果。

例如，在影视剧的某个室内场景中，展示了一个新款蓝牙照明系统。此时，可以给出所述影视剧的播放场景中存在可交互对象的提示，例如，点亮场景中的某个设备，或是给出弹出框、弹幕提示等，使得用户知晓当前场景存在可以交互的对象。这时，用户可以对可交互对象进行相应的操作，例如，将当前场景中的照明系统从傍晚模式改为夜间模式。于是，可以在所述影视剧的播放场景中呈现所述可交互对象在基于所述语音指令操作启用相应功能后对所述播放场景的影响结果。例如，该影视剧改由在夜间模式的照明下继续进行剧情发展。

本发明还可以用于商业推广屏。商业推广屏可以是面对非特定用户的广告屏，例如户外广告屏、电梯广告屏以及交通运输工具上的广告屏(例如，出租车、高铁、飞机前排座位后侧安装的交互屏)。

为此，一种商业推广屏语音交互方法，包括：提示用户进行语音交互；获取所述用户的语音交互输入；呈现商业推广内容；接收用户对所述商业推广内容的语音指令操作；以及呈现所述语音指令操作针对所述商业推广内容的操作结果。

商业推广屏可以在空闲时保持显示“可以跟我语音交互哦”的提示语，以方便用户自行与其交互。在某些实施例中，商业推广屏可以感知到用户的接近，例如，基于图像传感器或压力传感器。此时，商业推广屏可被点亮，并给出其能够进行语音交互的提示(例如，基于语音或是文字显示)。

用户可以基于提示，与商业推广屏进行交互。类似地，商业推广屏中的推广内容可以是无关用户自行生成的，比如，按照投放竞价或是时段生成。在其他实施例中，还可以获取所述用户的用户信息；并基于所述用户信息，呈现所述商业推广内容。在此，所述用户信息包括如下至少一项：现场获取的所述用户的生物信息；现场获取的所述用户的语音交互输入；以及基于用户身份信息联网获取的用户信息。

例如，可以基于对用户性别和年龄的识别(例如，人脸或声音识别)，从数据库中选择具有对应年龄段标签的推广内容。再例如，可以根据用户语音交互中获取的内容信息，例如，“我现在有点累”，给出关怀内容的广告等。另外，还可以通过人脸识别，扫描二维码等辅助手段获取用户身份信息，例如，匹配用户ID，并基于用户ID关联存储的用户信息，进行基于偏好、历史操作或是购物习惯等的推广内容和语音交互形式的选择。

为了加深对本发明的理解，如下将结合图6A-6B描述基于本发明的交互场景例。图6A-6B示出了根据本发明的终端交互场景的一个例子。

例如，智能手机中安装的智能音箱APP或是其他APP中可以在显著位置向用户推送“体验智能家居”的链接，用户随后可以通过点击上述链接进入智能家居的虚拟场景页面，如图6A所示。在此，智能广告的呈现方式可以是Native页面、H5页面、小程序、小游戏等，本发明对此不作限制。

图6A示出了虚拟的智能家居场景。在起居室的茶几上，布置有智能音箱1，并且该起居室内还包括智能电视2、扫地机器人3、智能窗帘4和智能电灯5这些物联网设备。在具体的实现中，这些设备可以通过闪烁告知用户可操作。

具体地，智能音箱1可以通过自身的闪烁，或是通过一旁的文字提示框或是语音提示，甚至是可以说话的虚拟化身，来告知用户“欢迎进入虚拟家居，请试着唤醒XXX(智能音箱的名字和唤醒词)”。用户随后可以通过“你好，XXX”来唤醒智能音箱1。

智能音箱1此时可以回答“主人晚上好，需要我为您做什么”，随后用户可以会回答“拉开窗帘”。此时，终端可以将上述语音输入上传至服务端，并获取服务端的响应指令，进而显示窗帘被拉开的动画，并使得智能音箱1回答“窗帘拉开了”。

类似地，用户可以与智能音箱1进行进一步的交互，例如，打开电灯5、打开电视2、开启扫地机器人3，并得到如图6B所示的交互对象功能触发的场景。随后，用户还可以通过关闭指令或是其他指令来对交互对象进行操控。由此，使得用户能够明确体会到智能家居的语音操作效果。

用户可以在上述虚拟场景中通过点击对象或是语音输入，跳转至交互对象的购买页面或是将其放入购物车。也可以在用户退出该页面之后，为用户显示包括上述设备的购买链接列表，由此方便用户的后续购买。

通过本发明，用户可以在APP端内与广告进行语音交互。通过与智能广告进行双向交流，广告可以根据用户的语音指示，呈现不同的内容信息，让广告变得智能和更有人性。另外，APP端的广告资源位置有限，用户可以通过与广告进行语音交互，使广告呈现的内容信息最大程度的是用户自己关注的信息。

此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务端等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (40)

1.一种终端语音交互方法，包括：

呈现交互场景，所述交互场景中包括一个或多个交互对象；

接收用户对交互对象的语音指令操作；以及

在所述交互场景中呈现所述操作的操作结果。

2.如权利要求1所述的方法，其中，接收用户对交互对象的操作包括：

接收用户触发交互对象包含功能的操作。

3.如权利要求2所述的方法，其中，在所述交互场景中呈现所述操作的操作结果包括：

在所述交互场景中呈现所述功能的触发结果。

4.如权利要求1所述的方法，其中，所述交互场景中包括语音交互对象以及被所述语音交互对象语音控制的其他交互对象，并且

接收用户对交互对象的语音指令操作包括：

接收用户对所述语音交互对象的语音指令操作，其中，所述语音指令操作使得所述语音交互对象控制其他交互对象启用相应功能。

5.如权利要求4所述的方法，还包括：

将所述语音指令操作上传至服务端；

获取生成的语音指令响应结果，并且

在所述交互场景中呈现所述操作的操作结果包括：

基于所述响应结果，呈现所述操作的操作结果。

6.如权利要求4所述的方法，还包括：

向用户给出所述语音指令操作的语音反馈。

7.如权利要求1所述的方法，还包括：

呈现针对交互对象的操作提示。

8.如权利要求1所述的方法，还包括：

呈现被操作交互对象的相关信息。

9.如权利要求1所述的方法，还包括：

跳转至被操作交互对象的推广页面。

10.如权利要求1所述的方法，还包括：

基于触发条件，更新所述交互场景中的交互对象。

11.如权利要求1所述的方法，还包括：

根据用户信息，生成用于呈现的交互场景。

12.如权利要求11所述的方法，其中，所述用户信息包括如下至少一项：

用户画像信息；

用户购物信息；

用户历史操作信息；

用户对交互场景的选择信息；以及

用户输入的交互场景信息。

13.如权利要求1所述的方法，其中，呈现交互场景包括：

显示虚拟场景页面，所述虚拟场景页面中包括一个或多个虚拟交互对象。

14.如权利要求1所述的方法，其中，所述交互对象是与实际商品/服务相对应的虚拟对象，并且

在所述交互场景中呈现所述操作的操作结果包括：

在所述交互场景中演示所述实际商品/服务的功能。

15.一种终端语音交互系统，包括多个终端和服务端，所述多个终端与服务端通信，并且，

所述服务端用于：

下发交互场景，所述交互场景中包括一个或多个交互对象；

获取上传的用户对交互对象的操作；

生成并下发操作响应指令，

所述终端用于：

接收下发的所述交互场景并进行呈现；

接收并上传所述用户对交互对象的操作；

接收下发的所述操作响应指令；

基于所述操作响应指令，在所述交互场景中呈现所述操作的操作结果。

16.如权利要求15所述的系统，其中，所述终端用于：

接收用户对交互对象的语音指令操作，所述语音指令操作用于触发交互对象包含功能；以及

基于所述操作反馈指令，在所述交互场景中演示所述功能的触发结果。

17.如权利要求16所述的系统，其中，所述服务端用于：

识别所述语音指令操作的语音内容；以及

将语音内容文本下发至所述终端。

18.如权利要求17所述的系统，其中，所述服务端用于：

基于识别的语音内容生成交互对象的响应动作作为所述操作响应指令。

19.如权利要求16所述的系统，其中，所述一个或多个交互对象对应于一个或多个物联网设备。

20.如权利要求15所述的系统，其中，所述服务端用于：

向所述终端推送被操作交互对象的推广信息。

21.一种终端显示方法，包括：

显示虚拟交互场景页面，所述虚拟场景页面中包括一个或多个虚拟交互对象；以及

响应于用户对虚拟交互对象的语音指令操作，在所述虚拟场景页面中显示所述操作的操作结果。

22.如权利要求21所述的方法，其中，响应于用户对虚拟交互对象的操作，在所述虚拟场景页面中显示所述操作的操作结果包括：

响应于用户触发交互对象包含功能的操作，在所述交互场景中显示触发所述功能的交互对象。

23.如权利要求22所述的方法，其中，响应于用户对虚拟交互对象的操作，在所述虚拟场景页面中显示所述操作的操作结果包括：

在所述交互场景中显示交互对象触发所述功能后的效果。

24.如权利要求22所述的方法，其中，响应于用户对虚拟交互对象的操作，在所述虚拟场景页面中显示所述操作的操作结果包括：

在所述虚拟场景页面中渲染触发所述功能后的效果。

25.如权利要求21所述的方法，其中，响应于用户对虚拟交互对象的操作，在所述虚拟场景页面中显示所述操作的操作结果包括：

刷新所述虚拟交互场景页面中包含对应虚拟交互对象的页面部分。

26.一种终端设备，包括：

输出装置，用于呈现交互场景，所述交互场景中包括一个或多个交互对象；

输入装置，用于接收用户对交互对象的操作；

处理装置，用于基于所述操作，使用所述呈现装置在所述交互场景中呈现所述操作的操作结果。

27.如权利要求26所述的终端设备，其中，所述输出装置包括：

显示器，用于显示所述交互场景。

28.如权利要求27所述的终端设备，其中，所述显示器是触摸屏，并且用作接收用户对交互对象的触摸输入操作的输入装置。

29.如权利要求26所述的终端设备，其中，所述输入装置包括：

麦克风，用于接收用户对交互对象的语音指令操作，

并且所述输出装置还包括：

语音输入装置，用于向用户给出所述语音指令操作的语音反馈和/或给出针对交互对象的语音操作提示。

30.如权利要求26所述的终端设备，还包括：

联网装置，用于：

获取所述交互场景；

上报用户对交互对象的所述操作；以及

获取所述操作的操作响应指令，所述响应指令由所述处理装置用于在所述交互场景中呈现所述操作的操作结果。

31.一种终端语音交互方法，包括：

在当前交互场景中基于预定条件呈现商业推广内容；

接收用户对所述商业推广内容的语音指令操作；以及

在所述交互场景中呈现所述操作针对所述商业推广内容的操作结果。

32.如权利要求31所述的方法，其中，所述商业推广内容的推广对象和/或语音操作方式基于如下至少一项生成：

终端用户画像信息；

终端用户购物信息；

终端用户历史操作信息；

终端用户对交互场景的选择信息；以及

终端用户输入的交互场景信息。

33.如权利要求31所述的方法，其中，所述语音指令操作用于如下至少一项：

对所述商业推广内容的呈现进行操作；

对所述商业推广内容所包含的推广对象进行操作。

34.如权利要求31所述的方法，其中，所述预定条件包括如下至少一项：

视频播放的开始操作；

视频播放的暂停操作；

APP开启操作；以及

终端用户的语音指令。

35.一种语音交互方法，包括：

播放影视剧，其中，所述影视剧的播放场景中呈现可交互对象；

接收用户对可交互对象的语音指令操作；以及

在所述影视剧的播放场景中呈现所述操作的操作结果。

36.如权利要求35所述的方法，还包括：

给出所述影视剧的播放场景中存在可交互对象的提示。

37.如权利要求35所述的方法，其中，在所述影视剧的播放场景中呈现所述操作的操作结果包括：

在所述影视剧的播放场景中呈现所述可交互对象在基于所述语音指令操作启用相应功能后对所述播放场景的影响结果。

38.一种商业推广屏语音交互方法，包括：

提示用户进行语音交互；

获取所述用户的语音交互输入；

呈现商业推广内容；

接收用户对所述商业推广内容的语音指令操作；以及

呈现所述语音指令操作针对所述商业推广内容的操作结果。

39.如权利要求38所述的方法，其中，提示用户进行语音交互包括：

所述商业推广屏感知到用户接近并提示所述用户进行语音交互。

40.如权利要求38所述的方法，其中，呈现商业推广内容包括：

获取所述用户的用户信息；

基于所述用户信息，呈现所述商业推广内容，

其中，所述用户信息包括如下至少一项：

现场获取的所述用户的生物信息；

现场获取的所述用户的语音交互输入；以及

基于用户身份信息联网获取的用户信息。

Images