CN114245267B - 多设备协同工作的方法、系统及电子设备 - Google Patents

Abstract

本申请实施例提供了一种多设备协同工作的方法、系统及电子设备。该多设备协同工作系统包括智慧屏和智能音箱；智慧屏和智能音箱建立通信连接，分别播放与同一节目对应的视频和音频。其中，智能音箱的音频播放模式为三维环绕立体声播放模式。智能音箱还实时采集声音信息，并根据声音信息进行事件检测。当智能音箱检测到第一事件时，将音频播放模式切换为定向播放模式，以避免影响休息者，进而提高了智能家居系统的智慧化程度，提升了用户的使用体验。

Description

多设备协同工作的方法、系统及电子设备

技术领域

本申请涉及智能终端技术领域，尤其涉及一种多设备协同工作的方法、系统及电子设备。

背景技术

随着物联网技术的不断发展，智能家居设备越来越流行，为用户提供了更加方便舒适的家居生活。但是，智能家居系统的智慧化程度仍有待提高。

发明内容

为了解决上述技术问题，本申请实施例提供一种多设备协同工作的方法、系统及电子设备。在该方法中，智能音箱和智慧屏协同工作，分别播放与同一节目对应的视频和音频，以充分利用不同智能设备独有的特性。智能音箱还实时采集声音信息，并根据声音信息进行事件检测。当智能音箱检测到第一事件时，将音频播放模式由三维环绕立体声播放模式切换为定向播放模式，以避免影响休息者，由此提高了智能家居系统的智慧化程度，提升了用户的使用体验。

第一方面，本申请实施例提供一种多设备协同工作系统。该系统包括：智慧屏和智能音箱；智慧屏和智能音箱建立通信连接；智能音箱和智慧屏分别播放与节目对应的音频和视频，智能音箱的音频播放模式为三维环绕立体声播放模式。其中，智能音箱用于实时采集声音信息，并根据声音信息进行事件检测；智能音箱还用于在检测到第一事件时，将音频播放模式切换为定向播放模式。这样，智能音箱和智慧屏协同工作以播放节目的音视频，充分利用了不同智能设备独有的特性，智能音箱音频播放模式的自动切换也提高了智能家居系统的智慧化程度，进而提升了用户的使用体验。

其中，第一事件可以理解为在不适宜音箱进行三维环绕立体声播放的场景中发生的事件，例如可以是用户休息事件等。

根据第一方面，智能音箱用于在检测到第一事件时，向智慧屏发送第一指示信息；智慧屏用于根据第一指示信息采集图像并进行图像检测，将第一图像检测结果发送给智能音箱；智能音箱用于在根据第一图像检测结果确认第一事件时，将音频播放模式切换为定向播放模式。这样，智能音箱不仅依据其采集到的声音信息检测是否发生第一事件，还可以图像检测结果对检测到的第一事件进行再次确认，以此提高了智能音箱识别场景的准确性。

根据第一方面，或者以上第一方面的任意一种实现方式，智能音箱还用于根据第一图像检测结果，确定节目观看者的位置信息，并根据位置信息进行音频定向播放。这样，在一些特殊场景下，智能音箱将声频播放模式由三维环绕播放切换为定向播放，以避免影响休息者，提升智能家居系统的智慧化程度，最大可能地为用户服务，让用户有完全不一样的智慧生活新体验。

根据第一方面，或者以上第一方面的任意一种实现方式，智能音箱还用于在当前时间达到预设时间点时，将音频播放模式切换为定向播放模式。这样，在时间较晚（如凌晨等）时，智能音箱将声频播放模式由三维环绕播放切换为定向播放，以避免影响休息者。

根据第一方面，或者以上第一方面的任意一种实现方式，智能音箱还用于在检测到第二事件时，向智慧屏发送第二指示信息；智慧屏还用于根据第二指示信息与智能音箱协同工作以播放节目；智能音箱还用于根据采集到的声音信息对节目观看者进行定位，并根据定位结果进行三维环绕立体声播放，为用户提供了多通道环绕声的听感体验。

其中，第二事件可以理解为需要同时播放视频和音频的指令型事件，例如打开电视、播放某视频等。

根据第一方面，或者以上第一方面的任意一种实现方式，智能音箱还用于对节目观看者进行超声波测距，并根据测距结果和定位结果进行三维环绕立体声播放。这样，智能音箱基于超声波测距精准地对用户进行定位，使得三维环绕立体声的播放效果更佳。

根据第一方面，或者以上第一方面的任意一种实现方式，智慧屏还用于根据第二指示信息采集图像并进行图像检测，将第二图像检测结果发送给智能音箱；智能音箱还用于根据第二图像检测结果对定位结果进行确认。这样，智能音箱基于图像检测结果对节目观看者的定位进行确认，使得三维环绕立体声的播放效果更佳。

根据第一方面，或者以上第一方面的任意一种实现方式，智能音箱还用于在检测到第三事件时，向智慧屏发送第三指示信息；智慧屏还用于根据第三指示信息采集图像并进行图像检测，将第三图像检测结果发送给智能音箱；智能音箱用于在根据第三图像检测结果确认第三事件时，向智慧屏发送第四指示信息；智慧屏还用于根据第四指示信息，显示至少一个智能设备的运行状态。这样，智慧屏和智能音箱协同工作实现智能家居系统的状态展示，使用户能够更加清楚明了地了解智能家居系统当前的运行状态，提升用户对智能家居系统的感知及使用体验。

其中，第三事件可以理解为在用户可能需要获知智能家居系统运行状态的场景中发生的事件，例如可以是用户开门事件（或称用户开门回家事件）等。

第二方面，本申请实施例提供一种多设备协同工作的方法。该方法包括：智能音箱与智慧屏协同工作，以分别播放与节目对应的音频和视频；其中，智能音箱和智慧屏建立通信连接，智能音箱的音频播放模式为三维环绕立体声播放模式；智能音箱实时采集声音信息，并根据声音信息进行事件检测；智能音箱在检测到第一事件时，将音频播放模式切换为定向播放模式。

根据第二方面，该方法还包括：智能音箱在检测到第一事件时，向智慧屏发送第一指示信息；智慧屏根据第一指示信息采集图像并进行图像检测，将第一图像检测结果发送给智能音箱；智能音箱在根据第一图像检测结果确认第一事件时，将音频播放模式切换为定向播放模式。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：智能音箱根据第一图像检测结果，确定节目观看者的位置信息，并根据位置信息进行音频定向播放。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：智能音箱在当前时间达到预设时间点时，将音频播放模式切换为定向播放模式。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：智能音箱在检测到第二事件时，向智慧屏发送第二指示信息；智慧屏根据第二指示信息与智能音箱协同工作以播放节目；智能音箱根据采集到的声音信息对节目观看者进行定位，并根据定位结果进行三维环绕立体声播放。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：智能音箱对节目观看者进行超声波测距，并根据测距结果和定位结果进行三维环绕立体声播放。

根据第二方面，或者以上第二方面的任意一种实现方式，该方法还包括：智慧屏根据第二指示信息采集图像并进行图像检测，将第二图像检测结果发送给智能音箱；智能音箱根据第二图像检测结果对定位结果进行确认。

第二方面以及第二方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第二方面以及第二方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第三方面，本申请实施例提供一种电子设备。该电子设备包括：一个或多个处理器；存储器；以及一个或多个计算机程序，其中一个或多个计算机程序存储在存储器上，当计算机程序被一个或多个处理器执行时，使得电子设备执行如第二方面以及第二方面任意一项中智能音箱或智慧屏所执行的多设备协同工作的方法。

第三方面以及第三方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第三方面以及第三方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第四方面，本申请实施例提供一种计算机可读存储介质。该计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行第二方面以及第二方面任意一项智能音箱或智慧屏所执行的多设备协同工作的方法。

第四方面以及第四方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第四方面以及第四方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第五方面，本申请实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被运行时，使得计算机执行如第一方面或第一方面任意一项中智能音箱或智慧屏所执行的多设备协同工作的方法。

第五方面以及第五方面的任意一种实现方式分别与第一方面以及第一方面的任意一种实现方式相对应。第五方面以及第五方面的任意一种实现方式所对应的技术效果可参见上述第一方面以及第一方面的任意一种实现方式所对应的技术效果，此处不再赘述。

第六方面，本申请实施例提供一种多设备协同工作系统。该系统包括：智慧屏、智能音箱和智能摄像设备；智慧屏、智能音箱和智能摄像设备建立通信连接；智能音箱和智慧屏分别播放与节目对应的音频和视频，智能音箱的音频播放模式为三维环绕立体声播放模式。其中，智能音箱用于实时采集声音信息，并根据声音信息进行事件检测；智能音箱还用于在检测到第一事件时，向智能摄像设备发送第四指示信息；智能摄像设备用于根据第四指示信息采集图像并进行图像检测，将第四图像检测结果发送给智能音箱；智能音箱用于在根据第四图像检测结果确认第一事件时，将音频播放模式切换为定向播放模式。这样，智能音箱和智慧屏协同工作以播放节目的音视频，充分利用了不同智能设备独有的特性；智能音箱不仅依据其采集到的声音信息检测是否发生第一事件，还可以图像检测结果对检测到的第一事件进行再次确认，以此提高了智能音箱识别场景的准确性；智能音箱音频播放模式的自动切换也提高了智能家居系统的智慧化程度，进而提升了用户的使用体验。

其中，第一事件可以理解为在不适宜音箱进行三维环绕立体声播放的场景中发生的事件，例如可以是用户休息事件等。

根据第六方面，智能音箱还用于根据第四图像检测结果，确定节目观看者的位置信息，并根据位置信息进行音频定向播放。这样，在一些特殊场景下，智能音箱将声频播放模式由三维环绕播放切换为定向播放，以避免影响休息者，提升智能家居系统的智慧化程度，最大可能地为用户服务，让用户有完全不一样的智慧生活新体验。

根据第六方面，或者以上第六方面的任意一种实现方式，智能音箱还用于在当前时间达到预设时间点时，将音频播放模式切换为定向播放模式。这样，在时间较晚（如凌晨等）时，智能音箱将声频播放模式由三维环绕播放切换为定向播放，以避免影响休息者。

根据第六方面，或者以上第六方面的任意一种实现方式，智能音箱还用于在检测到第二事件时，向智慧屏发送第五指示信息；智慧屏还用于根据第五指示信息与智能音箱协同工作以播放节目；智能音箱还用于根据采集到的声音信息对节目观看者进行定位，并根据定位结果进行三维环绕立体声播放，为用户提供了多通道环绕声的听感体验。

其中，第二事件可以理解为需要同时播放视频和音频的指令型事件，例如打开电视、播放某视频等。

根据第六方面，或者以上第六方面的任意一种实现方式，智能音箱还用于对节目观看者进行超声波测距，并根据测距结果和定位结果进行三维环绕立体声播放。这样，智能音箱基于超声波测距精准地对用户进行定位，使得三维环绕立体声的播放效果更佳。

根据第六方面，或者以上第六方面的任意一种实现方式，智能音箱还用于在检测到第二事件时，向智能摄像设备发送第六指示信息；智能摄像设备还用于根据第六指示信息采集图像并进行图像检测，将第五图像检测结果发送给智能音箱；智能音箱还用于根据第五图像检测结果对定位结果进行确认。这样，智能音箱基于图像检测结果对节目观看者的定位进行确认，使得三维环绕立体声的播放效果更佳。

根据第六方面，或者以上第六方面的任意一种实现方式，智能音箱还用于在检测到第三事件时，向智能摄像设备发送第七指示信息；智能摄像设备还用于根据第七指示信息采集图像并进行图像检测，将第六图像检测结果发送给智能音箱；智能音箱用于在根据第六图像检测结果确认第三事件时，向智慧屏发送第八指示信息；智慧屏还用于根据第八指示信息，显示至少一个智能设备的运行状态。这样，智慧屏、智能摄像设备和智能音箱协同工作实现智能家居系统的状态展示，使用户能够更加清楚明了地了解智能家居系统当前的运行状态，提升用户对智能家居系统的感知及使用体验。

其中，第三事件可以理解为在用户可能需要获知智能家居系统运行状态的场景中发生的事件，例如可以是用户开门事件（或称用户开门回家事件）等。

附图说明

图1a~图1c为示例性示出的应用场景示意图；

图2为示例性示出的电子设备的硬件结构示意图；

图3a为示例性示出的电子设备的软件结构示意图；

图3b为示例性示出的电子设备的软件结构示意图；

图4为本申请实施例提供的智能设备交互流程示意图；

图5为示例性示出的应用场景示意图；

图6为示例性示出的应用场景示意图；

图7为本申请实施例提供的智能设备交互流程示意图；

图8为本申请实施例提供的智能设备交互流程示意图；

图9为本申请实施例提供的智能设备交互流程示意图；

图10a~图10c为示例性示出的应用场景示意图；

图11a~图11d为示例性示出的应用场景示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序。例如，第一目标对象和第二目标对象等是用于区别不同的目标对象，而不是用于描述目标对象的特定顺序。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。例如，多个处理单元是指两个或两个以上的处理单元；多个系统是指两个或两个以上的系统。

在智能家庭场景下，多个智能设备组网形成智能家居系统。其中，智能家居系统中的智能设备可以包括智能手机、智能电视或智慧屏、智能音箱、智能空调、智能摄像设备等。智能设备之间存在一定的规则关系，使多个智能设备之间能够协同起来完成一定的任务，以给用户提供更加方便舒适的家居生活。

在一种应用场景中，如图1a所示，智能家居系统中的智能电子设备包括智慧屏101和智能音箱102。其中，智慧屏101和智能音箱102均处于待机状态。示例性的，参照图1a，用户说出智能音箱102的唤醒词“你好悠悠”，以唤醒智能音箱102。在待机状态下，智能音箱102接收到用户发出的语音信息，进入工作状态。也即，智能音箱102接收到用户语音输入的唤醒词之后被唤醒。示例性的，智能音箱102响应于接收到的唤醒词，发出例如“在呢”之类的语音信息，以向用户进行回应。如图1b所示，用户在接收到智能音箱102的回应之后，也即在唤醒智能音箱102之后，向智能音箱102下发语音指令，例如“打开电视”。智能音箱102接收到用户输入的语音指令后，识别该语音指令并执行相应的操作。示例性的，智能音箱102在执行与“打开电视”相应的操作时，例如直接向智慧屏101发送开启指令或者通过中控设备向智慧屏101发送开启指令等，还可以同时以语音形式向用户进行回应，例如播放“正在为您打开电视”之类的语音。如图1c所示，智慧屏101响应于接收到的开启指令，执行开启操作，并在设备启动后为用户播放相应的节目。其中，智慧屏101播放节目指的是智慧屏101同时播放视频和音频。

这样，智能音箱和智慧屏协同工作，为用户观看电视节目提供了便利，为家庭场景实现了一定智能化。然而，如此之类的智能家居系统并没有充分利用不同智能设备独有的特性，智能家居系统的智慧化程度有待进一步提高。

示例性的，智慧屏或智能电视独有的特性为具有较大的显示屏，使用户的视觉体验较佳，而智能音箱独有的特性为音质较高，使用户的听觉体验较佳。因此，在智能家居系统中，如果能够充分利用不同智能设备独有的特性，则能够提高智能家居系统的智慧化程度，进而能够提升用户对智能家居系统的使用体验。

如图2所示为电子设备100的结构示意图。电子设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，加速度传感器，温度传感器，超声波测距传感器，运动传感器，气压传感器，磁传感器，距离传感器，接近光传感器，指纹传感器，触摸传感器，环境光传感器，骨传导传感器等。

作为举例，当电子设备100为手机时，可以包括图示中的全部部件，也可以仅包括图示中的部分部件。

当电子设备100为大屏设备时，大屏设备例如可以是智能电视或智慧屏等，可以包括图示中的处理器110，外部存储器接口120，内部存储器121，USB接口130，充电管理模块140，电源管理模块141，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，摄像头193，显示屏194。

当电子设备100为摄像设备时，可以包括图示中的处理器110，内部存储器121，USB接口130，充电管理模块140，电源管理模块141，无线通信模块160，摄像头193。

当电子设备100为智能音箱时，可以包括图示中的处理器110，内部存储器121，充电管理模块140，电源管理模块141，电池142，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，按键190。

应该理解的是，图2所示的电子设备100仅是电子设备的一个范例，并且电子设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图2中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。处理器110中还可以设置存储器，用于存储指令和数据。

充电管理模块140用于从充电器接收充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网（wireless local area networks，WLAN）（如无线保真（wireless fidelity，Wi-Fi）网络），蓝牙（bluetooth，BT），全球导航卫星系统（globalnavigation satellite system，GNSS），调频（frequency modulation，FM），近距离无线通信技术（near field communication，NFC），红外技术（infrared，IR）等无线通信的解决方案。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理，使得电子设备100实现本申请实施例中的多设备协同工作的方法。

在本申请实施例中，内部存储器121可以用于存储实现本申请实施例中多设备协同工作的方法涉及的各种算法，例如声学事件检测算法模型、声纹识别算法模型、超声波测距算法模型、扬声器定向播放算法模型、虚拟声源定位算法模型等。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。

扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。

受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。

麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中，电子设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。

在本申请实施例中，智能音箱中的麦克风170C可以用于实时采集人或物发出的声音。音频模块170可以将麦克风170C采集的模拟音频输入转换为数字音频信号。

耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。

压力传感器用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器可以设置于显示屏194。电子设备100也可以根据压力传感器的检测信号计算触摸的位置。

触摸传感器，也称“触控面板”。触摸传感器可以设置于显示屏194，由触摸传感器与显示屏194组成触摸屏，也称“触控屏”。触摸传感器用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。

超声波测距离传感器，用于将超声波信号转换成其它能量信号（通常是电信号）。电子设备100可以根据超声波测距离传感器的检测信号检测人体与电子设备100之间的距离。

按键190包括开机键（或称电源键），音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。

指示器192可以是指示灯，可以用于指示充电状态，电量变化等。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的操作系统为例，示例性说明电子设备100的软件结构。

图3a和图3b是本申请实施例的电子设备100的软件结构框图。

电子设备100的分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。

在一些实施例中，以电子设备100为手机或大屏设备为例，可以将操作系统分为三层，从上至下分别为应用程序层，应用程序框架层，以及内核层，如图3a所示。

其中，应用程序层可以包括一系列应用程序包。

作为举例，如图3a所示，应用程序包可以包括生活管家应用。其中，生活管家应用可以是系统级APP，也可以是用户级APP，本申请不做限定。示例性的，手机中安装生活管家应用这一用户级APP时，用户可以基于该生活管家应用对其绑定的一种或多种智能电子设备的运行进行管理。又示例性的，手机可以基于该生活管家应用作为智能家居系统中的中控设备。再示例性的，大屏设备中安装生活管家应用这一系统级APP时，大屏设备可以基于该生活管家应用与智能家居系统中的其他智能电子设备或中控设备进行信息交互以完成一定的任务。

另外，应用程序包还可以包括相机，图库，日历，通话，地图，导航，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图3a所示，应用程序框架层可以包括窗口管理器、视图系统等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，WiFi驱动等。

在一些实施例中，以电子设备100为智能音箱为例，可以将操作系统分为六层，从上至下分别为应用程序层，系统服务层，算法层，硬件抽象层，内核层，以及驱动层，如图3b所示。

其中，应用程序层可以包括一系列应用程序包，例如安装于智能音箱或智能摄像设备中的应用程序，本实施例对此不作限定。

系统服务层可以包括一系列系统服务。如图3b所示，系统服务层可以包括声学事件检测服务、声纹识别服务、声音播放服务等。其中，声学事件检测服务可以基于声学事件检测算法模型对采集到的声音信息进行事件检测；声纹识别服务可以基于声纹识别算法模型对用户身份进行识别；声音播放服务可以用于确定声频播放模式，例如常规播放、三维环绕播放以及定向播放等。

算法层可以包括一系列算法模型。如图3b所示，算法层可以包括声学事件检测算法模型、声纹识别算法模型、超声波测距算法模型、扬声器定向播放算法模型、虚拟声源定位算法模型等。其中，声学事件检测算法模型可以用于对采集到的声音信息进行事件检测；声纹识别算法模型可以用于对用户身份进行识别；超声波测距算法模型可以用于对人体与电子设备之间的距离进行计算；扬声器定向播放算法模型可以用于确定扬声器传播声音的方向；虚拟声源定位算法模型可以基于头部相关传输函数（Head Related TransferFunction，HRTF）进行虚拟声源定位，以播放三维环绕立体声。

硬件抽象层（hardware abstraction layer，HAL）为位于操作系统内核与硬件电路之间的接口层。如图3b所示，HAL层包括但不限于音频HAL。其中，音频HAL用于对音频流进行处理，例如，对音频流进行降噪、定向增强等处理。

内核层和驱动层是硬件和软件之间的层。如图3b所示，内核层至少包括操作系统内核，驱动层至少包括传感器驱动，蓝牙驱动，WiFi驱动，扬声器驱动等。其中，传感器驱动可以包括与超声波测距离传感器对应的驱动。

在一些实施例中，以电子设备100为智能摄像设备为例，也可以将操作系统分为六层，从上至下分别为应用程序层，系统服务层，算法层，硬件抽象层，内核层，以及驱动层。其中，系统服务层中可以包括用户身份识别服务，用户位置计算服务等。算法层中可以包括图像检测算法模型等。

可以理解的是，图3a和图3b示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请不做限定。

可以理解的是，各种电子设备为了实现本申请实施例中的多设备协同工作的方法，包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例提供了一种多设备协同工作的方法，应用于智能家居系统中。在智能家居系统中，该多设备协同工作的方法充分利用了不同智能设备独有的特性，如智能大屏设备显示效果较佳的特性，智能音箱音质较佳的特性等，以提高智能家居系统的智慧化程度。

在该多设备协同工作的方法中，智能音箱实时采集声音信息（也即智能音箱实时使用麦克风进行拾音），对采集到的声音信息进行声学事件检测，并根据声学事件检测结果确定当前场景，协同至少一个智能设备执行与当前场景对应的操作。在一种情形下，智能家居系统中的各种智能设备之间直接通信；在另一种情形下，智能家居系统中的各种智能设备之间通过中控设备（例如手机等）进行通信。本实施例对智能设备之间的通信方式不做限定。

下述以智能家居系统中至少包括智慧屏和智能音箱为例，对本实施例提供的多设备协同工作的方法进行详细解释说明。其中，智慧屏和智能音箱建立通信连接，可以是有线连接，也可以是无线连接（如WiFi连接或蓝牙连接等）。

场景一

在本场景中，智慧屏和智能音箱协同工作实现音视频的播放，智能音箱根据当前情形确定声频播放模式（如三维环绕播放或定向播放等），以此提升智能家居系统的智慧化程度。其中，智能音箱可以根据其采集的声音信息确定是否自动切换声频播放模式。下述以智慧屏和智能音箱直接通信为例进行解释说明。

如图4所示为智能设备之间的交互示意图。参照图4，本申请提供的多设备协同工作的方法的流程，具体包括：

S401, 智能音箱实时采集声音信息，并对声音信息进行声学事件检测。

智能音箱在待机状态下实时进行拾音，并对采集到的声音信息进行声学事件检测，以主动感知当前场景。其中，检测到的事件可以是场景型事件，如用户回家事件、用户入睡事件等，还可以是指令型事件，例如打开电视、播放某节目等。

示例性的，智能音箱的麦克风实时采集声音信息，并将采集到的声音信息经音频HAL发送至输入系统服务层中的声学事件检测服务。声学事件检测服务调用算法层中的声学事件检测算法模型，对麦克风采集到的声音信息进行声学事件检测，以确定当前发生的事件。关于声学事件检测方法，可以参照已有技术，在此不再赘述。

需要指出的是，在待机状态下，智能音箱采集到声音信息后随即会对该声音信息进行事件检测，而非是在接收到唤醒词被唤醒后才对采集到的声音信息进行事件检测。也即，在本实施例中，智能音箱会主动感知当前场景，而非是在被唤醒后才识别用户需求。

S402, 智能音箱检测到电视开启指令。

示例性的，当用户说出例如“我要看电视”、“打开电视”等之列的命令词时，智能音箱采集到相应的声音信息，并对声音信息进行事件检测，此时可以检测到电视开启指令。

S403, 智能音箱向智慧屏发送第一指令信息。

其中，第一指令信息，用于指示智慧屏执行开启操作。

智能音箱当检测到电视开启指令时，向智慧屏发送第一指令信息，以指示智慧屏执行开启操作。

S404, 智能音箱根据声音信息对用户进行定位。

智能音箱在采集到声音信息后，根据该声音信息对用户进行定位，确定用户在房间中的相对位置，也即对声源进行定位。示例性的，智能音箱根据麦克风阵列采集的声音信号，进行声源定位，以确定声源所在的方位。又示例性的，智能音箱根据麦克风阵列采集的声音信号，以及预先训练得到的声源定位模型，对声源进行定位。关于声源定位的具体方法可以参照已有技术，在此不再赘述。

本实施例对S403和S404的执行顺序不做限定。

S405, 智慧屏设备启动。

智慧屏接收到第一指令信息之后，响应于该第一指令信息，执行设备启动操作。

S406, 智慧屏播放与节目对应的视频。

S407, 智慧屏向智能音箱同步发送与节目对应的音频。

响应于用户操作，智慧屏确定待播放的节目。在本实施例中，智慧屏播放与该节目对应的视频，并向智能音箱同步发送与该节目对应的音频，以实现分别通过智慧屏和智能音箱播放节目的视频和音频，充分利用智慧屏和智能音箱独有的特性。

在一种场景下，智能音箱包括显示屏，可以同时播放音视频。在该情形下，响应于用户操作，智能音箱确定待播放的节目。智能音箱播放与该节目对应的音频，并向智慧屏同步发送与该节目对应的视频，以实现分别通过智慧屏和智能音箱播放节目的视频和音频，充分利用智慧屏和智能音箱独有的特性。

在一种可选的实时方式中，智能音箱实时采集声音信息，不仅对声音信息进行声学事件检测，还根据声音信息进行声纹识别，以确定说话者的身份信息。或者是，当智能音箱检测到电视开启指令时，智能音箱还对声音信息进行声纹识别，以确定说话者的身份信息。进而，智能音箱可以将说话者的身份信息发送给智慧屏，智慧屏根据该身份信息为用户推荐与该身份信息匹配的节目，例如为儿童推荐动画，为女生推荐偶像剧等。或者，智能音箱根据说话者的身份信息为用户推荐与该身份信息匹配的节目。其中，关于声纹识别的相关技术，以及节目推荐的相关技术，可以参照已有技术，在此不再赘述。

S408, 智能音箱对用户进行超声波定位，并以三维环绕立体声的形式播放音频。

智能音箱在基于采集到的声音信息对用户定位之后，还可以再对用户进行超声波定位，以提高用户定位的精准性，进而基于该精准定位进行三维环绕立体声播放。

在另外一种场景下，当智能家居系统中包括智能摄像设备时，或者当智慧屏包括摄像装置时，智能音箱还可以基于智能摄像设备或摄像装置采集到的图像对用户在房间中的位置进行确认，以提高用户定位的精准性。示例性的，智能音箱在根据声音信息对用户进行定位之后，向智能摄像设备或摄像装置发送指令信息，以指示智能摄像设备或摄像装置进行图像采集及图像检测。智能摄像设备或摄像装置在进行图像采集及图像检测之后，将图像检测结果发送给智能音箱。其中，该图像检测结果可以是人像在房间图像中的方位信息等。智能音箱基于该图像检测结果对用户定位结果进行再次确认，以此提高用户定位结果的准确性。其中，图像检测方法可以参照已有技术，在此不再赘述。

示例性的，智能音箱在向智慧屏发送第一指令信息之后，确定声频播放模式为三维环绕播放，并基于超声波测距离传感器以及超声波测距算法模型，检测智能音箱与用户之间的距离。其中，超声波测距离传感器，采用超声波回波测距原理，运用精确的时差测量技术，可以检测超声波测距离传感器与用户之间的距离。超声波测距原理是通过超声波发射器向某一方位（例如用户在房间中的方位）发射超声波，在发射时刻的同时开始计时，超声波在空气中传播时碰到障碍物就立即返回来，超声波接收器收到反射波就立即停止计时，以根据超声波在空气中的传播速度以及计时时长，计算超声波测距离传感器与用户之间的距离。

智能音箱根据用户在房间中的方位，以及智能音箱与用户之间的距离，确定用户在房间中的位置，并根据该位置进行三维环绕立体声的播放。其中，智能音箱基于预设的虚拟声源定位算法模型确定虚拟声源，并通过其扬声器进行重放，以实现播放三维环绕立体声。示例性的，智能音箱通过声源卷积用户在房间中位置的头部相关传输函数得到虚拟声源，以实现播放三维环绕立体声。

本实施例对S406~S408的执行顺序不做限定。

这样，在智能家居系统中，若要同时播放音频和视频，则通过智慧屏和智能音箱分别播放节目的视频和音频，以此充分利用智慧屏的显示特性和智能音箱的音质特性，提升智能家居的智慧化，进而提升了用户的使用体验。

S409, 智能音箱根据声音信息检测到用户休息事件。

其中，用户休息事件可以指的是用户睡着或疑似睡着的事件。

智能音箱在待机状态下实时进行拾音，并对采集到的声音信息进行声学事件检测，以主动感知当前场景。示例性的，用户发出鼾声时，智能音箱采集到相应的声音信息，并对声音信息进行事件检测，此时可以检测到用户休息事件。

在另外一种场景下，当智能家居系统中包括智能摄像设备时，或者当智慧屏包括摄像装置时，智能音箱还可以基于智能摄像设备或摄像装置采集到的图像对用户休息事件进行确认，以提高场景判断的精准性。示例性的，智能音箱在根据声音信息检测到用户休息事件之后，向智能摄像设备或摄像装置发送指令信息，以指示智能摄像设备或摄像装置进行图像采集及图像检测。智能摄像设备或摄像装置在进行图像采集及图像检测之后，将图像检测结果发送给智能音箱。智能音箱基于该图像检测结果对事件检测结果进行再次确认，以此提高场景判断的精准性。其中，该图像检测结果可以指的是检测到人眼闭着或眯着的人像。

S410, 智能音箱向智慧屏发送第二指令信息。

其中，第二指令信息，用于指示智能设备进行图像采集及图像检测等。

在智慧屏包括摄像装置的情况下，智能音箱在检测到用户休息事件之后，向智慧屏发送第二指令信息，以指示智慧屏通过摄像装置进行图像采集并基于相关图像检测算法进行图像检测。

S411, 智慧屏根据第二指令信息进行图像采集及图像检测。

智慧屏接收到第二指令信息之后，响应于该第二指令信息，调用摄像装置进行图像采集操作，并基于预设的图像检测算法执行图像检测操作。

S412, 智慧屏向智能音箱发送图像检测结果。

智慧屏在基于预设的图像检测算法对摄像装置采集到的图像进行图像检测之后，将图像检测结果发送给智能音箱。

在智慧屏不包括摄像装置的情况下，智能音箱在检测到用户休息事件之后，可以向智能家居系统中的智能摄像设备发送第二指令信息，以指示智能摄像设备进行图像采集并基于相关图像检测算法进行图像检测。智能摄像设备接收到第二指令信息之后，响应于该第二指令信息，进行图像采集操作，并基于预设的图像检测算法执行图像检测操作，并将图像检测结果发送给智能音箱。

S413, 智能音箱根据图像检测结果确定节目观看者的位置。

其中，图像检测结果指的是人像在房间图像中的方位信息，不仅可以包括休息者在房间图像中的方位信息，也可以包括节目观看者在房间图像中的方位信息。

S414, 智能音箱根据节目观看者的位置定向播放音频。

智能音箱在检测到用户休息事件后，确定节目观看者的位置，此时就可以切换声频播放模式，如由三维环绕播放自动切换为定向播放。

根据声学理论，声波频率越高，其传播过程中指向性越好，频率大于20KHz的高频信号（超声波）在传输过程中具有良好的指向性。其中，定向播音的工作原理是：通过把音频信号调制到超声波载波上，利用超声波指向性传播的特性以及空气的非线性作用，形成可听声的定向传播。示例性的，智能音箱启动超声换能器阵列，实现给节目观看者提供定向播音，同时降低音量，不会影响休息者。

可选的，当智能音箱自动切换声频播放模式之前，智能音箱可以向智慧屏发送指示信息，以指示智慧屏显示相关的提示信息。智慧屏接收的指示信息后，根据该指示信息显示相关的播音切换提示信息，例如显示“当前即将由环绕播音切换为定向播音”，以给节目观看者提示。

图5示例性示出了一种应用场景。如图5中(1)所示，用户想要观看电视时，向智能音箱下发语音指令，例如“打开电视”。智能音箱实时采集到与该语音指令对应的声音信息，并对该声音信息进行声学事件检测，确认检测到电视开启指令。智能音箱向智慧屏发送指令信息，以指示智慧屏启动设备。同时，智能音箱根据采集到的声音信息对观看用户进行定位，还可以基于超声波测距传感器对用户与智能音箱之间的距离进行测量，以此确定三维环绕立体声播放的区域及“甜心点”。其中，“甜心点”可以理解为三维环绕立体声播放效果最好的区域点。在确定待播放的节目之后，节目的视频和音频分别通过智慧屏和智能音箱来播放，以充分利用不同智能设备的特性，扬长避短，提升了用户观看节目的视觉体验和听觉体验。如图5中(2)所示，节目的视频在智慧屏上播放，节目的音频以环绕立体声的形式在智能音箱上播放。

另外，如图5中(1)所示，当智慧屏具备摄像装置时，智慧屏上的摄像装置可以采集图像，智慧屏也可以对摄像装置采集到的图像进行图像检测。进而，智能音箱可以基于该图像检测结果对用户进行更加精准地定位，以使确定的三维环绕立体声播放的“甜心点”更加准确。

图6示例性示出了一种应用场景。如图6中(1)所示，智能音箱实时采集声音信息，当采集到用户鼾声时，对该声音信息进行声学事件检测，确认检测到用户休息事件。智能音箱向智慧屏发送指令信息，以指示智慧屏采集图像并进行图像检测。智慧屏通过摄像装置采集图像，并对摄像装置采集到的图像进行图像检测，将图像检测结果反馈给智能音箱。智能音箱根据图像检测结果确定节目观看者位置，并根据节目观看者的位置定向播放音频，如图6中(2)所示，以避免影响休息者。

另外，如图6中(1)所示，当智慧屏具备摄像装置时，智慧屏上的摄像装置可以采集图像，智慧屏也可以对摄像装置采集到的图像进行图像检测。进而，智能音箱可以基于该图像检测结果再次确认用户休息事件。

这样，在正常情况下，智能音箱根据用户位置播放影视声音，为用户提供多通道环绕声的听感体验；在特殊场景下，例如智能音箱通过鼾声检测检测到有人在睡觉，智能音箱自动切换声频播放模式，也即由三维环绕播放切换为定向播放，以避免影响休息者，提升智能家居系统的智慧化程度，最大可能地为用户服务，让用户有完全不一样的智慧生活新体验。其中，在智能音箱自动切换声频播放模式之前，智慧屏可以向观看者给予声频播放模式切换提示，进一步提升用户的使用体验。

需要指出的是，在特殊场景取消时，智能音箱也可以根据声音事件检测结果和/或摄像装置的图像检测结果，再次自动切换声频播放模式，如由定向播放切换为三维环绕播放，以进一步提升智能家居系统的智慧化程度。

场景二

在本场景中，智慧屏和智能音箱协同工作实现音视频的播放，智能音箱根据当前情形确定声频播放模式（如三维环绕播放或定向播放等），以此提升智能家居系统的智慧化程度。其中，智能音箱可以根据智慧屏反馈的图像检测结果，确定是否自动切换声频播放模式。下述以智慧屏和智能音箱直接通信为例进行解释说明。

如图7所示为智能设备之间的交互示意图。参照图7，本申请提供的多设备协同工作的方法的流程，具体包括：

S701, 智能音箱实时采集声音信息，并对声音信息进行声学事件检测。

S702, 智能音箱检测到电视开启指令。

S703, 智能音箱向智慧屏发送第三指令信息。

S704, 智能音箱根据声音信息对用户进行定位。

S705, 智慧屏设备启动。

S706, 智慧屏通过摄像装置采集图像，并对摄像装置采集到的图像进行图像检测。

其中，智慧屏可以实时通过摄像装置采集图像，并对摄像装置采集到的图像进行图像检测。或者，智慧屏可以定时通过摄像装置采集图像，并对摄像装置采集到的图像进行图像检测。

S707, 智慧屏播放与节目对应的视频。

S708, 智慧屏向智能音箱同步发送与节目对应的音频。

S709, 智能音箱对用户进行超声波定位，并以三维环绕立体声的形式播放音频。

S710, 智慧屏根据图像检测结果确定用户休息事件。

其中，如果图像检测结果中人像在房间图像中的方位信息，不仅包括休息者在房间图像中的方位信息，还包括节目观看者在房间图像中的方位信息，则智慧屏可以确认检测到用户休息事件。可选的，休息者可以理解为人眼闭着或眯着的用户。

S711, 智慧屏向智能音箱发送第四指令信息，以及图像检测结果。

S712, 智能音箱根据图像检测结果确定节目观看者的位置。

S713, 智能音箱根据节目观看者的位置定向播放音频。

本流程未尽详细解释之处，可以参照前述场景的相关解释，在此不再赘述。

这样，在特殊场景下，例如智慧屏通过图像检测确认有人在休息，则智慧屏指示智能音箱自动切换声频播放模式，也即由三维环绕播放切换为定向播放，以避免影响休息者，提升智能家居系统的智慧化程度，最大可能地为用户服务，让用户有完全不一样的智慧生活新体验。其中，在智能音箱自动切换声频播放模式之前，智慧屏可以向观看者给予声频播放模式切换提示，进一步提升用户的使用体验。

场景三

在本场景中，智慧屏和智能音箱协同工作实现音视频的播放，智能音箱根据当前情形确定声频播放模式（如三维环绕播放或定向播放等），以此提升智能家居系统的智慧化程度。其中，智能音箱可以时间信息确定是否自动切换声频播放模式，或者智慧屏根据时间信息指示智能音箱是否自动切换声频播放模式。下述以智慧屏和智能音箱直接通信为例进行解释说明。

如图8所示为智能设备之间的交互示意图。参照图8，本申请提供的多设备协同工作的方法的流程，具体包括：

S801, 智能音箱实时采集声音信息，并对声音信息进行声学事件检测。

S802, 智能音箱检测到电视开启指令。

S803, 智能音箱向智慧屏发送第五指令信息。

S804, 智能音箱根据声音信息对用户进行定位。

S805, 智慧屏设备启动。

S806, 智慧屏播放与节目对应的视频。

S807, 智慧屏向智能音箱同步发送与节目对应的音频。

S808, 智能音箱对用户进行超声波定位，并以三维环绕立体声的形式播放音频。

S809, 智能音箱在当前时间达到预设时间点时，向智慧屏发送第六指令信息。

其中，预设时间点可以是稍晚有可能影响他人休息的时间点，例如为凌晨或夜晚时间等。

S810, 智慧屏根据第六指令信息进行图像采集及图像检测。

S811, 智慧屏向智能音箱发送图像检测结果。

在另一种可选的实施方式中，智慧屏在当前时间达到预设时间点时，进行图像采集及图像检测。

S812, 智能音箱根据图像检测结果确定节目观看者的位置。

S813, 智能音箱根据节目观看者的位置定向播放音频。

本流程未尽详细解释之处，可以参照前述场景的相关解释，在此不再赘述。

这样，在特殊场景下，例如当前时间达到预设时间点时，智能音箱自动切换声频播放模式，或者，智慧屏指示智能音箱自动切换声频播放模式，也即由三维环绕播放切换为定向播放，以避免影响休息者，提升智能家居系统的智慧化程度，最大可能地为用户服务，让用户有完全不一样的智慧生活新体验。其中，在智能音箱自动切换声频播放模式之前，智慧屏可以向观看者给予声频播放模式切换提示，进一步提升用户的使用体验。

需要指出的是，智能音箱根据采集到的声音信息检测到人体鼾声、智慧屏根据采集到图像信息监测到有人在休息，当前时间到达预设时间点，都可以理解为智能音箱进行声音播模式切换的条件，也即由三维环绕播放切换为定向播放的条件。智能音箱将声音播模式由三维环绕播放切换为定向播放，还可以由其他特定条件触发，本实施例对此不做限定。当满足其中一个或多个特定条件时，智能音箱即可将声音播模式由三维环绕播放切换为定向播放，以适应与特定条件对应的特殊场景，提高智能家居系统的智慧化水平，满足用户需求。类似的，智能音箱也可以将声音播模式由定向播放自动切换为三维环绕播放，关于此情形本实施不再赘述。

场景四

在本场景中，智慧屏和智能音箱协同工作实现智能家居系统的状态展示，使用户能够更加清楚明了地了解智能家居系统当前的运行状态，提升用户对智能家居系统的感知及使用体验。下述以智慧屏和智能音箱直接通信为例进行解释说明。

如图9所示为智能设备之间的交互示意图。参照图9，本申请提供的多设备协同工作的方法的流程，具体包括：

S901, 智能音箱实时采集声音信息，并对声音信息进行声学事件检测。

S902,智能音箱检测到用户回家事件。

其中，用户回家事件可以指的是用户打开家门走进房间的事件。

智能音箱在待机状态下实时进行拾音，并对采集到的声音信息进行声学事件检测，以主动感知当前场景。示例性的，用户打开家门，并在走进房间后关闭家门。智能音箱采集到相应的声音信息，如家门关闭发出的“咣当”声，用户的走路声或说话声等，并对采集到的声音信息进行事件检测，此时可以检测到用户回家事件。

S903,智能音箱向智慧屏发送第七指令信息。

其中，第七指令信息，用于指示智能设备进行图像采集及图像检测等。

在智慧屏包括摄像装置的情况下，智能音箱在检测到用户回家事件之后，向智慧屏发送第七指令信息，以指示智慧屏通过摄像装置进行图像采集并基于相关图像检测算法进行图像检测。

S904, 智慧屏根据第七指令信息进行图像采集及图像检测。

智慧屏接收到第七指令信息之后，响应于该第七指令信息，调用摄像装置进行图像采集操作，并基于预设的图像检测算法执行图像检测操作。

S905, 智慧屏向智能音箱发送图像检测结果。

智慧屏在基于预设的图像检测算法对摄像装置采集到的图像进行图像检测之后，将图像检测结果发送给智能音箱。

在智慧屏不包括摄像装置的情况下，智能音箱在检测到用户回家事件之后，可以向智能家居系统中的智能摄像设备发送第七指令信息，以指示智能摄像设备进行图像采集并基于相关图像检测算法进行图像检测。智能摄像设备接收到第七指令信息之后，响应于该第七指令信息，进行图像采集操作，并基于预设的图像检测算法执行图像检测操作，并将图像检测结果发送给智能音箱。

S906, 智能音箱在根据图像检测结果确认用户回家事件后，向智慧屏发送第八指令信息。

其中，该图像检测结果可以指的是检测到人像，或者是检测到用户开门或关门图像等。智能音箱基于该图像检测结果对事件检测结果进行再次确认，以此提高了场景判断的精准性。

其中，第八指令信息，用于指示智慧屏展示智能家居系统中各智能设备的运行状态。

当智能音箱根据图像检测结果确认用户回家事件之后，向智慧屏发送第八指令信息，以指示智慧屏将智能家居系统中各智能设备的运行状态展示给用户查看。

S907, 智慧屏根据第八指令信息，获取与其它智能设备对应的待显示参数。

响应于接收到的第八指令信息，智慧屏与智能家居系统中的其它智能设备通信，以以获取相应的智能设备的运行状态，作为待显示参数。其中，智能设备的类型不同，相应的待显示参数也就不同。示例性的，智能空调的待显示参数包括但不限于开关状态和温度信息等，智能洗衣机的待显示参数包括但不限于开关状态和运行时长等。

示例性的，智慧屏向其它智能设备发送状态参数获取请求，其它智能设备响应于该状态参数获取请求，将其状态参数作为反馈发送给智慧屏。

又示例性的，智慧屏向智能家居系统中的中控设备（如手机等）发送状态参数获取请求，以获取智能家居系统中各其它智能设备的状态参数。中控设备响应于该状态参数获取请求，获取各其它智能设备的状态参数，并将这些状态参数作为反馈发送给智慧屏。

S908, 智慧屏显示与其它智能设备对应的运行参数。

智慧屏将其获取到的与其它智能设备对应的运行参数显示在显示屏上，以供用户查看。

其中，智慧屏在显示与其它智能设备对应的运行参数之前，还可以首先判断智慧屏是否在播放节目。如果智慧屏未在播放节目，则在获取到其它智能设备对应的运行参数之后进行显示，这样用户一眼就可以了解家里的情况。

图10a~图10c示例性示出了一种应用场景。智能音箱实时采集声音信息，并对声音信息进行声学事件检测。如图10a所示，用户打开家门，并在走进房间后关闭家门，发出“咣当”声。智能音箱采集到相应的声音信息，并对采集到的声音信息进行事件检测，此时可以检测到用户回家事件。智能音箱向智慧屏发送指令信息，以指示智慧屏采集图像并进行图像检测。参照图10b，智慧屏通过摄像装置采集图像，并对摄像装置采集到的图像进行图像检测，如检测到人像等，并将图像检测结果反馈给智能音箱。此时，智能音箱可以基于该图像检测结果再次确认用户回家事件。智能音箱向智慧屏发送指令信息，以指示智慧屏获取并显示与其它智能设备对应的运行参数，如图10c所示。

这样，智慧屏和智能音箱协同工作实现智能家居系统的状态展示，使用户能够更加清楚明了地了解智能家居系统的运行状态，提升用户对智能家居系统的感知及使用体验。

当智能家居系统中的各种智能设备之间通过中控设备（例如手机等）进行通信时，本申请提供的多设备协同工作的方法流程，与上述场景中提及的方法流程是类似的，在此不再赘述。

需要注意的是，上述场景中提及的“第一指令信息”至“第八指令信息”，也可以称之为指示信息。“第一指令信息”至“第八指令信息”所涉及的信息内容可能相同，也可能不同，本申请实施例对此不做限定。

为了实现本申请实施例提供的多设备协同工作的方法，用户可以预先对智能家居系统中相应的智能设备进行设置。在一种应用场景中，用户可以在于智能家居系统配套的应用程序（APP）中绑定智能家居系统中包括的各智能设备。其中，该APP可以运行在智能终端（如手机中）。用户在该APP种可以查看各智能设备的运行状态，也可以对智能设备进行相关设置。可选的，APP与其配套的智能设备可以通过相同账号登录方式进行绑定，也可以通过扫描设备二维码的方式进行绑定。下述以APP为生活管家应用为例进行解释说明。

图11a为示例性示出的手机中生活管家应用的账号登录界面，图11b为示例性示出的智慧屏的账号登录界面。当用户分别在如图11a所示和如图11b所示的账号登录界面中登录相同的账号，即可实现手机中生活管家应用与智慧屏绑定。可选的，图11a也可以理解为是手机的账号登录界面。若生活管家应用为与手机系统匹配的APP，或者手机默认安装的系统APP，则当用户在如图11a所示的手机账号登录界面中登录一个账号时，生活管家应用也会默认登录该账号。由此，当用户分别手机账号登录界面和智慧屏账号登录界面中登录相同的账号时，也可以实现手机中生活管家应用与智慧屏的绑定。在手机中生活管家应用与智慧屏完成绑定之后，用户即可在手机生活管家应用中查看智慧屏的运行状态，以及对智慧屏进行相关设置等。另外，用户可以使用手机中生活管家应用的扫码功能完成生活管家应用与智能音箱、空调等智能设备的绑定。

参照图11c中(1)，用户点击主界面中生活管家应用的图标1101。手机响应于用户操作，显示如图11c中(2)所示的生活管家应用显示界面。参照图11c中(2)，该生活管家应用绑定了智慧屏、智能音箱和第一空调等智能设备。此时，用户可以在该生活管家应用中查看这些智能设备的运行状态，也可以对这些智能设备进行相关设置。

示例性的，参照图11c中(2)，用户点击生活管家应用显示界面中选项1102，手机响应于用户操作，显示如图11c中(3)所示的生活管家应用显示界面。在该界面中，用户可以选择是否开启多设备协作功能，以确定是否使智能家居系统执行本申请实施例提供的多设备协同工作的方法。又示例性的，如图11c中(4)所示，用户右滑选项1103开启智能家居系统的多设备协作功能。当智能家居系统的多设备协作功能启动后，用户可以选择执行多设备协同工作方法的智能设备。例如，为了实现上述提及的智慧屏和智能音箱之间的交互，用户可以点击选项1104和选项1105，以使智慧屏和智能音箱作为执行多设备协同工作方法的智能设备。其中，在选择某智能设备执行多设备协同工作的方法时，用户还需要开启该智能设备相应的功能。参照图11d中(1)和图11d中(2)，用户右滑相应的选项，分别开启智慧屏的图像检测功能和智能音箱的事件检测功能。

需要注意的是，为了实现类似的多设备协同工作方案，上述场景中提及的包含摄像装置的智慧屏，可以使用不包含摄像装置的智慧屏和智能摄像设备来代替。此时，用户可以选择执行多设备协同工作方法的智能设备为：不包含摄像装置的智慧屏、智能音箱和智能摄像设备，并分别开启智能摄像设备的图像检测功能和智能音箱的事件检测功能。

本实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机指令，当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施例中的多设备协同工作的方法，或者实现上述实施例中多设备协同工作的方法中任一设备所执行的方法。

本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中的多设备协同工作的方法，或者实现上述实施例中多设备协同工作的方法中任一设备所执行的方法。

另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的多设备协同工作的方法，或者执行上述各方法实施例中多设备协同工作的方法中任一设备所执行的方法。

其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (11)

1.一种多设备协同工作系统，其特征在于，包括：智慧屏和智能音箱；所述智慧屏和所述智能音箱建立通信连接；所述智能音箱和所述智慧屏分别播放与节目对应的音频和视频，所述智能音箱的音频播放模式为三维环绕立体声播放模式；其中，

所述智能音箱，用于：实时采集声音信息，并根据所述声音信息进行事件检测；

所述智能音箱，还用于：在检测到第一事件时，向所述智慧屏发送第一指示信息；

所述智慧屏，用于：根据所述第一指示信息采集图像并进行图像检测，将第一图像检测结果发送给所述智能音箱；

所述智能音箱，还用于：在根据所述第一图像检测结果确认所述第一事件时，将所述音频播放模式切换为定向播放模式。

2.根据权利要求1所述的系统，其特征在于，

所述智能音箱，还用于：根据所述第一图像检测结果，确定节目观看者的位置信息，并根据所述位置信息进行音频定向播放。

3.根据权利要求1所述的系统，其特征在于，

所述智能音箱，还用于：在当前时间达到预设时间点时，将所述音频播放模式切换为定向播放模式。

4.根据权利要求1-3任一项所述的系统，其特征在于，

所述智能音箱，还用于：在检测到第二事件时，向所述智慧屏发送第二指示信息；

所述智慧屏，还用于：根据所述第二指示信息与所述智能音箱协同工作，以播放所述节目；

所述智能音箱，还用于：根据采集到的声音信息对节目观看者进行定位，并根据定位结果进行三维环绕立体声播放。

5.根据权利要求4所述的系统，其特征在于，

所述智能音箱，还用于：对所述节目观看者进行超声波测距，并根据测距结果和所述定位结果进行三维环绕立体声播放。

6.根据权利要求4所述的系统，其特征在于，

所述智慧屏，还用于：根据所述第二指示信息采集图像并进行图像检测，将第二图像检测结果发送给所述智能音箱；

所述智能音箱，还用于：根据所述第二图像检测结果对所述定位结果进行确认。

7.根据权利要求1-3任一项所述的系统，其特征在于，

所述智能音箱，还用于：在检测到第三事件时，向所述智慧屏发送第三指示信息；

所述智慧屏，还用于：根据所述第三指示信息采集图像并进行图像检测，将第三图像检测结果发送给所述智能音箱；

所述智能音箱，用于：在根据所述第三图像检测结果确认所述第三事件时，向所述智慧屏发送第四指示信息；

所述智慧屏，还用于：根据所述第四指示信息，显示至少一个智能设备的运行状态。

8.一种多设备协同工作的方法，其特征在于，包括：

智能音箱与智慧屏协同工作，以分别播放与节目对应的音频和视频；其中，所述智能音箱和所述智慧屏建立通信连接，所述智能音箱的音频播放模式为三维环绕立体声播放模式；

所述智能音箱实时采集声音信息，并根据所述声音信息进行事件检测；

所述智能音箱在检测到第一事件时，向所述智慧屏发送第一指示信息；

所述智慧屏根据所述第一指示信息采集图像并进行图像检测，将第一图像检测结果发送给所述智能音箱；

所述智能音箱在根据所述第一图像检测结果确认所述第一事件时，将所述音频播放模式切换为定向播放模式。

9.根据权利要求8所述的方法，其特征在于，还包括：

所述智能音箱根据所述第一图像检测结果，确定节目观看者的位置信息，并根据所述位置信息进行音频定向播放。

10.根据权利要求8所述的方法，其特征在于，还包括：

所述智能音箱在当前时间达到预设时间点时，将所述音频播放模式切换为定向播放模式。

11.一种电子设备，其特征在于，包括：

存储器和处理器，所述存储器与所述处理器耦合；

所述存储器存储有程序指令，当所述程序指令由所述处理器执行时，使得所述电子设备执行权利要求8-10任一项中的多设备协同工作的方法。

Images