CN105100911A

CN105100911A - 智能多媒体系统和方法

Info

Publication number: CN105100911A
Application number: CN201410188020.6A
Authority: CN
Inventors: 李鑫欣
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2014-05-06
Filing date: 2014-05-06
Publication date: 2015-11-25

Abstract

本公开涉及一种智能多媒体系统，包括：控制设备和多媒体终端。控制设备包括：语音输入模块，接收用户的语音搜索命令；以及控制设备通信模块，向所述多媒体终端发送所述语音搜索命令。多媒体终端包括：多媒体终端通信模块，接收语音搜索命令；帧捕获模块，捕获当前播放的视频中与所述语音搜索命令相对应的视频帧；图像解析模块，分析和识别所述视频帧中包括的对象；对象确认模块，根据所述语音搜索命令，确认所述视频帧中识别的对象中用户感兴趣的对象；搜索模块，搜索在线购物系统，以找到与所确认的用户感兴趣的对象有关的商品信息；以及显示模块，显示搜索到的商品信息。还公开了一种智能多媒体方法。根据本公开，不需要用户通知当前播放的视频节目就可以自动地搜索用户感兴趣的对象的信息。

Description

智能多媒体系统和方法

技术领域

本公开涉及智能多媒体技术，更具体地，涉及响应语音搜索请求的智能多媒体系统和方法。

背景技术

随着网络技术的发展和多媒体设备的发展，出现了各种应用，给人们的生活带来了便利。其中，电视购物技术也得到了快速发展。现有一种智能用户交互控制系统的方法，例如CN201310310509.1中公开的方法，包括：对一段时间内传进来的视频节目的数据流产生数个视频略览帧，所述视频节目播放在显示屏上显示给用户，并检测所述用户的暂停指令，以停止所述视频节目。所述方法还包括：通知所述视频节目后，在显示屏上为所述用户显示数个视频略览帧，并获取所述用户从所述数个视频略览帧中挑选一个视频略览帧的选择信息，根据所述被选择的视频略览帧，在显示屏上显示给所述用户数个感兴趣的对象，系统从所述数个感兴趣的对象中确定所述用户已选的感兴趣的对象。所述方法还包括：在在线数据库中搜索所述用户已选的感兴趣的对象，获得相应于所述用户已选的感兴趣的对象的搜索结果，并将所述搜索结果提示给所述用户。

在该方法中，用户需要停止当前播放的视频节目以从数个视频略览帧中选择一个视频略览帧，等待系统呈现所选的视频略览帧中的多个感兴趣的对象，并确认多个感兴趣的对象中的对象。因此，利用该方法的电视购物技术影响了用户欣赏视频节目和电视购物的体验。

发明内容

本公开提出了一种智能多媒体系统和方法，能够响应语音搜索请求，从而自动地搜索用户感兴趣的对象的信息，不需要用户停止当前播放的视频节目，改善了用户体验。

根据本公开的一个方面，提出了一种智能多媒体系统，包括：控制设备和多媒体终端。控制设备包括：语音输入模块，被配置为接收用户的语音搜索命令，所述语音搜索命令请求获取与当前播放的视频中的对象有关的信息；以及控制设备通信模块，被配置为向所述多媒体终端发送所述语音搜索命令。多媒体终端包括：多媒体终端通信模块，被配置为接收语音搜索命令；帧捕获模块，被配置为捕获当前播放的视频中与所述语音搜索命令相对应的视频帧；图像解析模块，被配置为分析和识别所述视频帧中包括的对象；对象确认模块，被配置为根据所述语音搜索命令，确认所述视频帧中识别的对象中用户感兴趣的对象；搜索模块，被配置为搜索在线购物系统，以找到与所确认的用户感兴趣的对象有关的商品信息；以及显示模块，被配置为显示搜索到的商品信息。

根据本公开的另一方面，提出了一种智能多媒体方法。在该方法中，首先播放视频。在接收到语音搜索命令，所述语音搜索命令请求获取与当前播放的视频中的对象有关的信息时，响应于语音搜索命令，在继续视频播放的同时，在后台搜索与当前播放的视频中的对象有关的商品信息。

根据本公开的一个或多个实施例，当用户正在观看视频节目时，如果用户对视频中出现的东西感兴趣，则他可以通过发出语音搜索命令来搜索与感兴趣的东西有关的商品信息，此时，多媒体终端在后台进行视频帧捕获、对象确认、商品信息搜索等操作。用户不需要停止当前播放的视频来执行帧选择操作、对象确认操作和搜索操作。此外，用户仅需要发出语音搜索命令，智能多媒体系统就自动地搜索与用户感兴趣的对象有关的商品信息。因此，改善了电子购物的用户体验。

附图说明

通过下面结合附图说明本公开的优选实施例，将使本公开的上述及其它目的、特征和优点更加清楚，其中：

图1是示出了根据本公开的一个或多个实施例的智能多媒体系统的示意框图。

图2是示出了根据本公开的一个或多个实施例的语音输入模块的示意框图。

图3是示出了根据本公开的一个或多个实施例的帧捕获模块的示意框图。

图4是示出了根据本公开的一个或多个实施例的智能多媒体方法的流程图。

图5是示出了根据本公开的一个或多个实施例的智能多媒体方法的流程图。

图6是示出了根据本公开的一个或多个实施例的用户与智能多媒体系统交互的过程。

图7是示出了根据本公开的一个或多个实施例的应用场景的示意图。

具体实施方式

以下参照附图，对本公开的示例实施例进行详细描述。在以下描述中，一些具体实施例仅用于描述目的，而不应该理解为对本公开有任何限制，而只是本公开的示例。在可能导致对本公开的理解造成混淆时，将省略常规结构或构造。

图1是示出了根据本公开的一个或多个实施例的智能多媒体系统1000的示意框图。如图所示，该系统1000包括：控制设备1100和多媒体终端1200。控制设备1100包括：语音输入模块1110和通信模块1120。多媒体终端1200包括：通信模块1210；帧捕获模块1220；图像解析模块1230；对象确认模块1240；搜索模块1250以及显示模块1260。各个模块的功能描述如下。

◆语音输入模块1110：该模块用于接收用户的语音搜索命令。用户在观看视频时，可能对视频中出现的事物感兴趣。此时，用户向语音输入模块110发出语音搜索命令，以请求获取与当前播放的视频中的对象有关的信息。

◆通信模块1120：该模块被配置为与多媒体终端1200进行通信。在接收到语音搜索命令时，通信模块1120向多媒体终端1200发送该语音搜索命令。。

◆通信模块1210：该模块被配置为与控制设备中的通信模块1120进行通信，从其接收语音搜索命令。通信模块1200可以通过蓝牙、WiFi、或其他家庭网络与通信模块1210进行通信。

◆帧捕获模块1220：该模块被配置为捕获当前播放的视频中与所述语音搜索命令相对应的视频帧。

◆图像解析模块1230：该模块被配置为分析和识别帧捕获模块1220捕获的视频帧中包括的对象。

◆对象确认模块1240：该模块被配置为根据所述语音搜索命令，确认所述视频帧中识别的对象中用户感兴趣的对象。根据一个或多个实施例，对象确认模块1240与语音搜索引擎相连，向所述语音搜索引擎发送所述语音搜索命令，并从所述语音搜索引擎接收指示所述用户感兴趣的对象的数据.

◆搜索模块1250：该模块被配置为搜索在线购物系统，以找到与所确认的用户感兴趣的对象有关的商品信息。根据一个或多个实施例，搜索模块1250通过互联网与数据库相连，数据库中存储有大量的商品信息。搜索模块1250可以在数据库中搜索与对象有关的商品信息。

◆显示模块1260：该模块被配置为显示搜索到的商品信息。

根据一个或多个实施例，控制设备1100是遥控器、智能手机、平板PC之一。多媒体终端1200是可以播放多媒体内容的电视机、PC、平板PC之一。

图2是示出了根据本公开的一个或多个实施例的语音输入模块2000的示意框图。

如图所示，语音输入模块2000包括：语音接收单元2100；时钟单元2200以及时间标记单元2300。各个单元的功能描述如下。

◆语音接收单元2100：该模块被配置为接收用户的语音搜索命令。

◆时钟单元2200：该模块被配置为提供时间信息。

◆时间标记单元2300：该模块被配置为标记语音接收单元2100接收语音搜索命令的起始时间。

其中，与语音输入模块2000相连的通信模块从语音接收单元2100接收语音搜索命令，从时间标记单元2300接收起始时间T_s，并向多媒体终端发送语音搜索命令和起始时间T_s。

图3是示出了根据本公开的一个或多个实施例的帧捕获模块3000的示意框图。

如图所示，帧捕获模块3000包括：视频编码单元3100；视频帧存储单元3200以及帧提取单元3300。各个单元的功能描述如下。

◆视频编码单元3100：该模块被配置为对当前播放的视频进行编码，以生成视频帧。

◆视频帧存储单元3200：该模块被配置为存储所述视频编码单元所编码的视频帧。根据一个或多个实施例，预先设置视频帧存储单元3200所存储的视频帧的存储时间长度。例如，可以设置5秒、一分钟等。存储时间长度大于估计的语音获取时间、语音搜索命令从控制设备到多媒体终端的传输时间以及语音搜索命令从多媒体终端的通信设备到帧捕获模块的时间的总和。

◆帧提取单元3300：该模块被配置为提取与所述语音搜索命令相对应的视频帧。根据一个或多个实施例，帧提取单元3300根据语音搜索命令的起始时间T_s，从视频帧存储单元3200中提取起始时间T_s前的第一预定时间到起始时间T_s后的第二预定时间内的一段时间的视频帧。例如，可以预先设置提取起始时间前5秒到提取时间后10秒的共15秒的视频帧。

图4是示出了根据本公开的一个或多个实施例的智能多媒体方法4000的流程图。

如图所示，首先，在步骤S4100，在多媒体终端上播放视频，以供用户欣赏。在步骤S4200，接收到用户的语音搜索命令。然后，在步骤S4300，在继续视频的播放的同时，在后台搜索与当前播放的视频中的对象有关的商品信息。最后，在步骤S4400，输出搜索到的商品信息。

图5是示出了根据本公开的一个或多个实施例的智能多媒体方法5000的流程图。

如图所示，首先，在步骤S5100，在多媒体终端上播放视频，以供用户欣赏。在步骤S5200，接收到用户的语音搜索命令和该命令的起始时间。然后在步骤S5300，在继续播放视频的同时，在后台捕获所述视频中所述起始时间前的第一预定时间到起始时间后的第二预定时间的一段时间的视频帧。在步骤S5400，根据图像解析算法，识别所捕获的视频帧中的对象。在步骤S5500，根据所述语音搜索命令，确认所识别的对象中用户感兴趣的对象。在步骤S5600，搜索与所确认的用户感兴趣的对象有关的商品信息。在步骤S5700，显示搜索到的商品信息。

根据一个或多个实施例，在步骤S5200，从智能多媒体系统的控制设备接收到语音搜索命令和起始时间。该控制设备在从用户接收到语音搜索命令时，标记语音搜索命令的起始时间，并向智能多媒体系统的多媒体终端发送该语音搜索命令和起始时间。

如图所示，多媒体终端6300在其显示模块上显示视频。用户6100在观看视频时，可能对其中的东西感兴趣。这时，用户6100向控制设备6200发出语音搜索命令。控制设备6200接收到语音搜索命令，标记语音搜索命令的起始时间，然后向多媒体终端6300发送语音搜索命令和起始时间。多媒体终端6300继续在其显示模块上显示视频以供用户6100观看，并在后台自动地搜索与当前播放的视频中的、用户感兴趣的对象有关的商品信息。然后，多媒体终端6300显示所搜索的商品信息，用户可以在稍后进行确认。根据一个或多个实施例，可以在当前播放的视频的一个角落上叠加显示商品信息。根据另一些实施例，可以在当前播放的视频的一个角落上叠加显示提示消息，提示用户已经获得了有关商品的信息，用户可以在观看完视频之后查阅该信息。

在本申请中，当用户正在观看视频节目时，如果用户对视频中出现的东西感兴趣，则他可以通过发出语音搜索命令来搜索与感兴趣的东西有关的商品信息，此时，多媒体终端在后台进行视频帧捕获、对象确认、商品信息搜索等操作。用户不需要停止当前播放的视频来执行帧选择操作、对象确认操作和搜索操作。此外，用户仅需要发出语音搜索命令，智能多媒体系统就自动地搜索与用户感兴趣的对象有关的商品信息。因此，改善了电子购物的用户体验。

图7是示出了根据本公开的一个或多个实施例的一个具体应用场景的示意图。如图所示，用户在观看视频时，对看到的视频中的一个东西感兴趣。用户向控制设备(在图中示出为用户手持的遥控器)发出语音搜索命令“我喜欢小孩正在玩的东西”。控制设备向多媒体终端(在图中示出为显示屏)发送命令和起始时间。多媒体终端根据起始时间，捕获用户发出命令时观看的视频帧，根据图像解析算法，识别视频帧中包括的对象，例如，小孩玩的包、沙发靠垫、地毯、水杯等。然后根据命令“我喜欢小孩正在玩的东西”，确认所识别的对象中的小孩玩的包是用户感兴趣的对象。接下来，多媒体终端搜索与这个包有关的商品信息，并在显示屏的一个角落处显示搜索结果，以便用户在稍后进行确认。在用户发出语音视频命令之后，显示屏继续播放视频，在后台进行搜索商品信息的操作。

在本申请中，通过记录用户发出语音搜索命令的起始时间，可以避免由于控制设备与多媒体终端之间的通信的延迟而导致捕获到错误的帧，可以精确地捕获用户发出命令时的视频帧，减少了捕获视频帧的处理量，可以准确地找到用户感兴趣的对象。

这里所公开的本公开实施例的其他设置包括执行在先概述的方法实施例的步骤和操作的软件程序。更具体地，计算机程序产品是如下的一种实施例：具有计算机可读介质，计算机可读介质上编码有计算机程序逻辑，当在计算设备上执行时，计算机程序逻辑提供相关的操作，从而提供上述技术方案。当在计算系统的至少一个处理器上执行时，计算机程序逻辑使得处理器执行本公开实施例所述的操作(方法)。本公开的这种设置典型地提供为设置或编码在例如光介质(例如CD-ROM)、软盘或硬盘等的计算机可读介质上的软件、代码和/或其他数据结构、或者诸如一个或多个ROM或RAM或PROM芯片上的固件或微代码的其他介质、或专用集成电路(ASIC)、或一个或多个模块中的可下载的软件图像、共享数据库等。软件或固件或这种配置可安装在计算设备上，以使得计算设备中的一个或多个处理器执行本公开实施例所述的技术。结合诸如一组数据通信设备或其他实体中的计算设备进行操作的软件过程也可以提供根据本公开的设备。根据本公开的设备也可以分布在多个数据通信设备上的多个软件过程、或者在一组小型专用计算机上运行的所有软件过程、或者单个计算机上运行的所有软件过程之间。

应该理解，严格地讲，本公开的实施例可以实现为计算机设备上的软件程序、软件和硬件、或者单独的软件和/或单独的电路。

应当注意的是，在以上的描述中，仅以示例的方式，示出了本公开的技术方案，但并不意味着本公开局限于上述步骤和单元结构。在可能的情形下，可以根据需要对步骤和单元结构进行调整和取舍。因此，某些步骤和单元并非实施本公开的总体公开思想所必需的元素。因此，本公开所必需的技术特征仅受限于能够实现本公开的总体公开思想的最低要求，而不受以上具体实例的限制。

至此已经结合优选实施例对本公开进行了描述。应该理解，本领域技术人员在不脱离本公开的精神和范围的情况下，可以进行各种其它的改变、替换和添加。因此，本公开的范围不局限于上述特定实施例，而应由所附权利要求所限定。

Claims

1.一种智能多媒体系统，包括：

控制设备，包括：

语音输入模块，被配置为接收用户的语音搜索命令，所述语音搜索命令请求获取与当前播放的视频中的对象有关的信息；以及

控制设备通信模块，被配置为向所述多媒体终端发送所述语音搜索命令；

多媒体终端，包括：

多媒体终端通信模块，被配置为接收语音搜索命令；

帧捕获模块，被配置为捕获当前播放的视频中与所述语音搜索命令相对应的视频帧；

图像解析模块，被配置为分析和识别所述视频帧中包括的对象；

对象确认模块，被配置为根据所述语音搜索命令，确认所述视频帧中识别的对象中用户感兴趣的对象；

搜索模块，被配置为搜索在线购物系统，以找到与所确认的用户感兴趣的对象有关的商品信息；以及

显示模块，被配置为显示搜索到的商品信息。

2.根据权利要求1所述的智能多媒体系统，其中，所述语音输入模块包括：

语音接收单元，被配置为接收用户的语音搜索命令；

时钟单元，被配置为提供时间信息；以及

时间标记单元，被配置为标记所述语音接收单元接收所述语音搜索命令的起始时间，

其中，所述控制设备通信模块还被配置为向所述多媒体终端发送所述起始时间。

3.根据权利要求2所述的智能多媒体系统，其中，所述帧捕获模块被配置为：

捕获所述视频中所述起始时间前的第一预定时间到起始时间后的第二预定时间的一段时间的视频帧。

4.根据权利要求3所述的智能多媒体系统，其中，所述帧捕获模块包括：

视频编码单元，被配置为对当前播放的视频进行编码，以产生视频帧；

视频帧存储单元，被配置为存储所述视频编码单元所编码的视频帧；以及

帧提取单元，被配置为提取与所述语音搜索命令相对应的视频帧。

5.一种智能多媒体方法，包括：

播放视频；

接收语音搜索命令，所述语音搜索命令请求获取与当前播放的视频中的对象有关的信息；以及

响应于语音搜索命令，在继续视频播放的同时，在后台搜索与当前播放的视频中的对象有关的商品信息。

6.根据权利要求5所述的智能多媒体方法，还包括：

接收语音搜索命令的起始时间，

其中，搜索与当前播放的视频中的对象有关的商品信息包括：

7.根据权利要求6所述的智能多媒体方法，其中，捕获与当前播放的视频中的对象有关的商品信息还包括：

根据图像解析算法，识别所捕获的视频帧中的对象。

8.根据权利要求7所述的智能多媒体方法，其中，捕获与当前播放的视频中的对象有关的商品信息还包括：

根据所述语音搜索命令，确认所识别的对象中用户感兴趣的对象。

9.根据权利要求8所述的智能多媒体方法，其中，捕获与当前播放的视频中的对象有关的商品信息还包括：

搜索与所确认的用户感兴趣的对象有关的商品信息。

10.根据权利要求9所述的智能多媒体方法，还包括：

显示所述商品信息。

11.根据权利要求10所述的智能多媒体方法，其中显示所述商品信息包括：

在当前播放的视频的一个角落显示所述商品信息。

12.根据权利要求10所述的智能多媒体方法，其中显示所述商品信息包括：

在当前播放的视频的一个角落显示提示信息，提示用户已经获取了所述商品信息。

13.根据权利要求5所述的智能多媒体方法，其中，所述语音搜索命令是从播放所述视频的智能多媒体系统的控制设备接收到的。

14.根据权利要求13所述的智能多媒体方法，其中，所述控制设备在从用户接收到语音搜索命令时，标记语音搜索命令的起始时间，并向智能多媒体系统的多媒体终端发送所述语音搜索命令和所述起始时间。