CN104159136B - 互动信息的获取方法、终端、服务器及系统 - Google Patents

互动信息的获取方法、终端、服务器及系统 Download PDF

Info

Publication number
CN104159136B
CN104159136B CN201410367512.1A CN201410367512A CN104159136B CN 104159136 B CN104159136 B CN 104159136B CN 201410367512 A CN201410367512 A CN 201410367512A CN 104159136 B CN104159136 B CN 104159136B
Authority
CN
China
Prior art keywords
information
interactive information
audio signal
medium data
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410367512.1A
Other languages
English (en)
Other versions
CN104159136A (zh
Inventor
叶娃
臧静
徐震宇
黎可人
王泓扬
唐旭成
黎勇杰
唐卓
王蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410367512.1A priority Critical patent/CN104159136B/zh
Publication of CN104159136A publication Critical patent/CN104159136A/zh
Application granted granted Critical
Publication of CN104159136B publication Critical patent/CN104159136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8545Content authoring for generating interactive applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/433Query formulation using audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/489Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using time information

Abstract

本发明公开了一种互动信息的获取方法、终端、服务器及系统,属于信息处理技术领域。方法包括:获取互动指令;确定互动指令的时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。本发明通过确定时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况。

Description

互动信息的获取方法、终端、服务器及系统
技术领域
本发明涉及信息处理技术领域,特别涉及一种互动信息的获取方法、终端、服务器及系统。
背景技术
电视媒体往往出于提高节目收视率,或者提高节目质量等目的,在节目播出的过程中增加互动环节。例如:在节目播出的同时播出用于描述互动内容、互动信息获取方式等内容的描述信息;获取到描述信息后,根据描述信息即可获取到对应的互动信息,进而参与互动。因此,如何简单、快速地获取互动信息,成为亟待解决的问题。
目前,互动信息的获取方法有如下三种:
第一种互动信息的获取方法:获取二维码,发送二维码后,接收与该二维码对应的公众号发布的互动信息。
第二种互动信息的获取方法:获取用户通过输入设备输入的互动信息获取指令,发送互动信息获取指令发后,接收与该互动信息获取指令匹配的互动信息。
第三种互动信息的获取方法:获取用户通过操作遥控器发送的互动信息获取信号,发送互动信息获取信号后,接收与该互动信息获取信号匹配的互动信息。
在实现本发明的过程中,发明人发现上述方法至少存在以下缺点:
第一种互动信息的获取方法由于需要获取二维码,而显示二维码的设备的分辨率很难统一,因而会出现由于显示二维码的设备的分辨率较低造成二维码获取失败的情况,进而造成互动信息获取失败的情况,限制了上述方法的实施场景。第二种互动信息的获取方法由于互动信息获取指令是用户通过输入设备输入的,增加了由于输入错误造成互动信息获取指令不正确的概率,进而增加了互动信息获取错误的概率。第三种互动信息的获取方法,由于互动信息获取信号是用户通过操作遥控器发送的,增加了由于遥控器操作错误造成互动信息获取信号不正确的概率,进而增加了互动信息获取错误的概率。
发明内容
为了解决现有技术的问题,本发明实施例提供了一种互动信息的获取方法、终端、服务器及系统。所述技术方案如下:
第一方面,提供了一种互动信息的获取方法,所述方法包括:
获取互动指令;
确定所述互动指令的时间信息;
获取与所述时间信息相关的多媒体数据;
发送至少包括所述多媒体数据及所述时间信息的互动信息获取请求;
接收与所述互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。
第二方面,提供了一种互动信息的获取方法,所述方法包括:
获取互动信息获取请求及与所述互动信息获取请求相关的时间信息,所述互动信息获取请求中至少包括多媒体数据;
获取与所述多媒体数据匹配的节目信息;
获取与所述节目信息及所述时间信息匹配的互动信息;
发送所述互动信息。
第三方面,提供了一种互动信息的获取方法,所述方法包括:
终端获取互动指令,确定所述互动指令的时间信息,获取与所述时间信息相关的多媒体数据,向服务器发送至少包括所述多媒体数据及所述时间信息的互动信息获取请求;
所述服务器获取所述终端发送的所述互动信息获取请求,获取与所述多媒体数据匹配的节目信息,获取与所述节目信息及所述时间信息匹配的互动信息,向所述终端发送与所述节目信息及所述时间信息匹配的互动信息;
所述终端接收所述服务器发送的与所述节目信息及所述时间信息匹配的互动信息。
第四方面,提供了一种互动信息的获取方法,所述方法包括:
终端获取互动指令,根据所述互动指令获取多媒体数据,向服务器发送至少包括所述多媒体数据的互动信息获取请求;
所述服务器获取所述终端发送的所述互动信息获取请求,获取与所述互动信息获取请求相关的时间信息,获取与所述多媒体数据匹配的节目信息,获取与所述节目信息及所述时间信息匹配的互动信息,向所述终端发送与所述节目信息及所述时间信息匹配的互动信息;
所述终端接收所述服务器发送的与所述节目信息及所述时间信息匹配的互动信息。
第五方面,提供了一种终端,所述终端包括:
第一获取模块,用于获取互动指令;
确定模块,用于确定所述第一获取模块获取到互动指令的时间信息;
第二获取模块,用于获取与所述确定模块确定的时间信息相关的多媒体数据;
发送模块,用于发送至少包括所述第二获取模块获取到的多媒体数据及所述确定模块确定的时间信息的互动信息获取请求;
接收模块,用于接收与所述发送模块发送的互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。
第六方面,提供了一种服务器,所述服务器包括:
第一获取模块,用于获取互动信息获取请求;
第二获取模块,用于获取与所述第一获取模块获取到的互动信息获取请求相关的时间信息,所述互动信息获取请求中至少包括多媒体数据;
第三获取模块,用于获取与所述多媒体数据匹配的节目信息;
第四获取模块,用于获取与所述第三获取模块获取到的节目信息及所述第二获取模块获取到的时间信息匹配的互动信息;
发送模块,用于发送所述第四获取模块获取到的互动信息。
第七方面,提供了一种互动信息的获取系统,所述系统包括:终端及服务器;
所述终端,如上述第三方面提供的方法中所述的终端;
所述服务器,如上述第三方面提供的方法中所述的服务器。
第八方面,提供了一种互动信息的获取系统,所述系统包括:终端及服务器;
所述终端,如上述第四方面提供的方法中所述的终端;
所述服务器,如上述第四方面提供的方法中所述的服务器。
第九方面,提供了一种互动信息的获取系统,所述系统包括:终端及服务器;
所述终端,如上述第五方面所述的终端;
所述服务器,如上述第六方面所述的服务器。
本发明实施例提供的技术方案带来的有益效果是:
通过确定互动指令的时间信息,获取与时间信息相关的多媒体数据,进而发送至少包括多媒体数据及时间信息的互动信息获取请求后,接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息;或者,通过根据互动指令获取多媒体数据,发送至少包括该多媒体数据的互动信息获取请求,接收与互动信息获取请求中的多媒体数据及该互动信息获取请求的接收时间匹配的互动信息,从而避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种互动信息的获取方法实施环境结构示意图
图2是根据一示例性实施例示出的一种互动信息的获取方法流程图;
图3是根据一示例性实施例示出的一种互动信息的获取方法流程图;
图4是根据一示例性实施例示出的一种互动信息的获取方法流程图;
图5是根据一示例性实施例示出的一种手机A的操作界面示意图;
图6是根据一示例性实施例示出的一种互动信息的获取方法实施过程示意图;
图7是根据一示例性实施例示出的一种互动信息的获取方法流程图;
图8是根据一示例性实施例示出的一种互动信息的获取方法实施过程示意图;
图9是根据一示例性实施例示出的一种互动信息的获取方法流程图;
图10是根据一示例性实施例示出的一种互动信息的获取方法流程图;
图11是根据一示例性实施例示出的一种终端的结构示意图;
图12是根据一示例性实施例示出的一种终端的结构示意图;
图13是根据一示例性实施例示出的一种终端的结构示意图;
图14是根据一示例性实施例示出的一种服务器的结构示意图;
图15是根据一示例性实施例示出的第一种第三获取模块的结构示意图;
图16是根据一示例性实施例示出的第二种第三获取模块的结构示意图;
图17是根据一示例性实施例示出的第三种第三获取模块的结构示意图;
图18是根据一示例性实施例示出的一种服务器结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供了一种互动信息的获取方法,请参考图1,其展示出了本发明实施例提供的互动信息的获取方法所涉及的实施环境的结构示意图。该实施环境包括终端101、服务器102和信号提供设备103。
其中,终端101为如下述实施例的终端。该终端101用于根据互动指令获取多媒体数据后,向服务器102发送至少包括多媒体数据的互动信息获取请求,接收服务器102返回的与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。其中,该时间信息可以是终端确定的互动指令的时间信息,或者是服务器接收互动信息获取请求的时间信息。该终端101可以为智能手机、遥控器或机顶盒,也可以是其它形式的与电视进行交互的设备。此外,这些设备可以为独立于电视之外的设备,也可以为与电视一体化的设备,本发明实施例在此不作限定。
服务器102为向终端101提供互动信息的服务器,如下面实施例所述的服务器。该服务器102接收到终端101发送的至少包括多媒体数据的互动信息获取请求后,与信号提供设备103结合获取与互动信息获取请求中的多媒体数据匹配的互动信息。
信号提供设备103可以是服务器,该信号提供设备103用于与服务器102结合获取与互动信息获取请求中的多媒体数据匹配的互动信息。
上述终端101、服务器102和信号提供设备103之间可以通过无线网络或者有线网络进行通信。
图2是根据一示例性实施例示出的一种互动信息的获取方法流程图,如图2所示,该互动信息的获取方法应用于终端中,包括以下步骤。
201:获取互动指令;
202:确定互动指令的时间信息;
203:获取与时间信息相关的多媒体数据;
可选地,获取与时间信息相关的多媒体数据,包括:
获取与时间信息相关的音频信号,生成与音频信号对应的音频指纹,将音频指纹作为获取到的多媒体数据。
可选地,获取与时间信息相关的多媒体数据,包括:
获取与时间信息相关的音频信号,将音频信号作为获取到的多媒体数据。
可选地,获取与时间信息相关的多媒体数据,包括:
获取与时间信息相关的图像数据,将图像数据作为获取到的多媒体数据。
204:发送至少包括多媒体数据及时间信息的互动信息获取请求;
205:接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。
可选地,该方法还包括:获取用户信息;
发送至少包括多媒体数据及时间信息的互动信息获取请求,包括:发送至少包括多媒体数据、用户信息及时间信息的互动信息获取请求;
接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,包括:接收与互动信息获取请求中的多媒体数据、用户信息及时间信息匹配的互动信息。
图3是根据一示例性实施例示出的另一种互动信息的获取方法流程图,如图3所示,该互动信息的获取方法应用于服务器中,包括以下步骤。
301:获取互动信息获取请求及与互动信息获取请求相关的时间信息,互动信息获取请求中至少包括多媒体数据;
302:获取与多媒体数据匹配的节目信息;
可选地,多媒体数据为音频指纹;
获取与多媒体数据匹配的节目信息,包括:
发送音频指纹;
接收与音频指纹匹配的节目信息,节目信息至少包括与音频指纹匹配的节目的音频信号、名称及播放时间信息。
可选地,多媒体数据为音频信号;
获取与多媒体数据匹配的节目信息,包括:
生成与音频信号对应的音频指纹;
发送音频指纹;
接收与音频指纹匹配的节目信息,节目信息至少包括与音频指纹匹配的节目的音频信号、名称及播放时间信息。
可选地,多媒体数据为图像数据;
获取与多媒体数据匹配的节目信息,包括:
发送图像数据;
接收与图像数据匹配的节目信息,节目信息至少包括与图像数据匹配的节目的音频信号、名称及播放时间信息。
303:获取与节目信息及时间信息匹配的互动信息;
304:发送互动信息。
可选地,互动信息获取请求中还包括用户信息;
获取与节目信息及时间信息匹配的互动信息,包括:
获取与节目信息、用户信息及时间信息匹配的互动信息。
本实施例提供的方法,通过确定互动指令的时间信息,获取与时间信息相关的多媒体数据,进而发送至少包括多媒体数据及时间信息的互动信息获取请求后,接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
为了更加清楚地阐述上述实施例提供的一种互动信息的获取方法,结合上述实施例的内容及实施环境,以如下实施例为例,对一种互动信息的获取方法进行详细说明,详见如下实施例:
图4是根据一示例性实施例示出的一种互动信息的获取方法流程图,为了便于说明,本实施例以终端为手机A,服务器为服务器A,且信号提供设备为服务器B,多媒体数据为音频数据,手机A获取互动指令的时间信息为例,对本实施例提供的方法进行详细地举例说明。参见图4,本实施例提供的方法流程具体如下:
401:终端获取互动指令;
本实施例不对终端获取互动指令的具体方法进行限定,包括但不限于:若终端检测到摇晃动作,则认为获取到互动指令。
本实施例不对终端是否检测到摇晃动作的具体判断条件进行限定。包括但不限于,如果终端自身包含位置传感器,则通过位置传感器检测终端的重心位置是否发生变化,若通过位置传感器检测到终端的重心位置发生变化,则确定终端检测到摇晃动作。
除了上述获取互动指令的方法之外,获取互动指令的具体方法还可以为:若终端检测到预设指纹,则认为获取到互动指令。或者,若终端检测到预设音频信号,则认为获取到互动指令。或者,若终端检测到预设密码,则认为获取到互动指令。
另外,为了防止在本实施例提供的方法中的互动指令与终端的其他功能指令相同时,将其他功能指令误认为本实施例提供的方法中的互动指令,可选地,终端在获取互动指令触发条件被触发后再获取互动指令。本实施例不对互动指令触发条件被触发的具体方法进行限定。例如:若开启互动功能,则认为互动指令触发条件被触发。
本实施例也不对开启互动功能的具体方法进行限定。例如:若终端提供了多种功能选项,其中一种功能选项为互动功能选项,当终端获取到互动功能选项被选中,则认为开启互动功能。
以图5(a)所示的手机A的操作界面为例,手机A提供了两种功能选项,即交友功能选项“查找好友”及互动功能选项“获取互动信息”。若手机A获取到“获取互动信息”被选中,则认为开启互动功能。开启互动功能后,若手机A通过自身包含的位置传感器检测手机A的重心位置发生变化,则确定手机A检测到摇晃动作,认为获取到互动指令。
402:终端确定互动指令的时间信息;
由于获取到的互动指令可以为持续一段时间的互动指令,例如,获取的互动指令为摇晃动作,该摇晃动作可以持续摇晃一段时间,因此终端可以将获取到互动指令的开始时间确定为互动指令的时间信息。终端也可以将获取到互动指令的结束时间确定为互动指令的时间信息。本实施例不对确定互动指令的时间信息的具体方法进行限定。
以手机A从10:30:30开始持续摇晃至10:30:32为例,手机A获取到摇晃动作的开始时间为10:30:30,则确定互动指令的时间信息为10:30:30。或者,手机A获取到摇晃动作的结束时间为10:30:32,则确定互动指令的时间信息为10:30:32。
当然,摇晃动作的开始时间还可以为其他时间,本实施例不对摇晃动作的具体开始时间进行限定。摇晃动作的结束时间还可以为其他时间,本实施例不对摇晃动作的具体结束时间进行限定。
403:终端获取与时间信息相关的音频数据;
其中,音频数据为音频信号,或者,音频指纹。本实施例不对代表音频数据的具体内容进行限定。
对于音频数据为音频信号的情况,该步骤在具体实施时,可以在音频播放设备播放音频的同时,终端根据时间信息采集音频播放设备播放的音频信号,从而通过音频播放设备播放的音频信号实现互动。除此之外,还可以通过其他方法获取与时间信息相关的音频信号,本实施例不对获取与时间信息相关的音频信号的具体方法进行限定。
本实施例不对终端根据时间信息采集音频信号的具体方法进行限定。例如:终端根据时间信息每隔第一预设时间段采集一次音频信号,直至采集音频信号的总时间长度达到预设长度。或者,终端根据时间信息采集预设时长的音频信号。此外,本实施例同样不对音频播放设备进行限定,包括但不限于电视机、收音机等音频播放设备。
例子一:以时间信息为10:30:30,音频播放设备为电视机为例,若第一预设时间段为3秒,预设时间长度为15秒,每次采集音频信号的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视音频信号1,将电视音频信号1作为第一次采集到的音频信号1,此时采集音频信号的总时长为3秒。
在10:30:33至10:30:36采集电视机在10:30:33至10:30:36播出的电视音频信号2,将电视音频信号2作为第二次采集到的音频信号2,此时采集音频信号的总时长为6秒。
在10:30:36至10:30:39采集电视机在10:30:36至10:30:39播出的电视音频信号3,将电视音频信号3作为第三次采集到的音频信号3,此时采集音频信号的总时长为9秒。
在10:30:39至10:30:42采集电视机在10:30:39至10:30:42播出的电视音频信号4,将电视音频信号4作为第四次采集到的音频信号4,此时采集音频信号的总时长为12秒。
在10:30:42至10:30:45采集电视机在10:30:42至10:30:45播出的电视音频信号5,将电视音频信号5作为第五次采集到的音频信号5,此时采集音频信号的总时长为15秒,达到预设时间长度15秒,停止采集音频信号。
其中,电视音频信号是电视节目的带有语音、音乐和音效的有规律的声波的频率、幅度变化信息载体。
当然,音频播放设备还可以为其他设备,第一预设时间段还可以为其他时间长度,预设时间长度还可以为其他时间长度,每次采集音频信号的时长还可以为其他时间长度,采集到的音频信号名称还可以为其他名称,本实施例不对具体的音频播放设备、第一预设时间段的具体值、预设时间长度的具体值、每次采集音频信号的具体时长及采集到的音频信号的具体名称进行限定。
终端根据时间信息采集音频信号的具体方法除上述方法外,还可以为终端根据时间信息仅采集一次音频信号。
例子二:以时间信息为10:30:30,音频播放设备为电视机为例,若采集音频信号的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视音频信号6,将电视音频信号6作为采集到的音频信号6。
对于音频数据为音频指纹的情况,该步骤在具体实施时,可以先获取与时间信息相关的音频信号,再生成与音频信号对应的音频指纹,从而通过音频信号对应的音频指纹实现互动。
本实施例不对生成与音频信号对应的音频指纹的具体方法进行限定。包括但不限于,若预先存储了各个预设音频信号及对应标识的对应关系,则根据各个预设音频信号与获取到的与时间信息相关的音频信号之间的关系,以及预先存储的各个预设音频信号及对应标识的对应关系确定获取到的与时间信息相关的音频信号对应的标识,并将获取到的与时间信息相关的音频信号对应的标识作为音频指纹。
具体的,任一个预设音频信号与获取到的与时间信息相关的音频信号之间的关系可以为如下四种关系中的一种。
第一种关系:任一个预设音频信号与获取到的与时间信息相关的音频信号无关系;
第二种关系:任一个预设音频信号完全包含获取到的与时间信息相关的音频信号;
第三种关系:任一个预设音频信号部分包含获取到的与时间信息相关的音频信号;
第四种关系:任一个预设音频信号完全包含于获取到的与时间信息相关的音频信号。
以预设音频信号为3个预设音频信号,分别为:预设音频信号1、预设音频信号2和预设音频信号3,且预先存储的各个预设音频信号及对应标识的对应关系如表1所示,获取到的与时间信息相关的音频信号为电视音频信号1为例。
表1
预设音频信号 对应标识
预设音频信号1 ID1(Identity,标识)
预设音频信号2 ID2
预设音频信号3 ID3
如果预设音频信号1部分包含电视音频信号1,且预设音频信号2及预设音频信号3与电视音频信号1无关系,则确定电视音频信号1对应的标识为预设音频信号1对应的标识:ID1,并将ID1作为与电视音频信号1对应的音频指纹。
如果预设音频信号2完全包含电视音频信号1,且预设音频信号1及预设音频信号3与电视音频信号1无关系,则确定电视音频信号1对应的标识为预设音频信号2对应的标识:ID2,并将ID2作为与电视音频信号1对应的音频指纹。
如果预设音频信号2完全包含于电视音频信号1,且预设音频信号1及预设音频信号3与电视音频信号1无关系,则确定电视音频信号1对应的标识为预设音频信号2对应的标识:ID2,并将ID2作为与电视音频信号1对应的音频指纹。
如果预设音频信号2部分包含电视音频信号1,预设音频信号2部分包含预设音频信号3,且预设音频信号1与电视音频信号1无关系,则确定电视音频信号1对应的标识为预设音频信号2对应的标识:ID2和预设音频信号3对应的标识:ID3,并将ID2和ID3作为与电视音频信号1对应的音频指纹。
当然,预设音频信号的数量还可以为其他数量,预设音频信号的名称还可以为其他名称,预先存储的各个预设音频信号及对应标识的对应关系还可以为其他关系,预设音频信号1与电视音频信号1之间的关系、预设音频信号2与电视音频信号1之间的关系以及预设音频信号3与电视音频信号1之间的关系还可以为其他关系。本实施例不对预设音频信号的具体数量,预设音频信号的具体名称,预先存储的各个预设音频信号及对应标识的具体对应关系,预设音频信号1与电视音频信号1之间的关系、预设音频信号2与电视音频信号1之间的关系以及预设音频信号3与电视音频信号1之间的具体关系进行限定。
除了上述生成与音频信号对应的音频指纹的方法之外,生成与音频信号对应的音频指纹的具体方法还可以为:将音频信号转化为由特定符号组成的符号序列,将符号序列作为与音频信号对应的音频指纹。
404:终端发送至少包括音频数据及时间信息的互动信息获取请求;
本实施例不对终端发送至少包括音频数据及时间信息的互动信息获取请求的具体方法进行限定。例如:如果终端每隔第一预设时间段采集一次音频数据,则终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据及时间信息的互动信息获取请求。
以步骤403中的例子一,音频数据为音频信号为例,由于手机A在10:30:30至10:30:33采集到音频信号1,在10:30:33至10:30:36采集到音频信号2,在10:30:36至10:30:39采集到音频信号3,在10:30:39至10:30:42采集到音频信号4,在10:30:42至10:30:45采集到音频信号5,因此手机A每隔3秒依次发送至少包括音频信号1及10:30:30的互动信息获取请求11、至少包括音频信号2及10:30:30的互动信息获取请求12、至少包括音频信号3及10:30:30的互动信息获取请求13、至少包括音频信号4及10:30:30的互动信息获取请求14、至少包括音频信号5及10:30:30的互动信息获取请求15。
当然,互动信息获取请求还可以为其他名称,本实施例不对互动信息获取请求的具体名称进行限定。
另外,为了更精确的反应音频数据的时间信息,可选地,终端发送至少包括音频数据及时间信息的互动信息获取请求的方法还可以为:如果终端每隔第一预设时间段采集一次音频数据,则终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据、时间信息及采集音频数据的时间信息的互动信息获取请求。
仍以步骤403中的例子一,音频数据为音频信号为例,由于手机A在10:30:30至10:30:33采集到音频信号1,在10:30:33至10:30:36采集到音频信号2,在10:30:36至10:30:39采集到音频信号3,在10:30:39至10:30:42采集到音频信号4,在10:30:42至10:30:45采集到音频信号5,因此采集音频信号1的时间信息为10:30:30至10:30:33,采集音频信号2的时间信息为10:30:33至10:30:36,采集音频信号3的时间信息为10:30:36至10:30:39,采集音频信号4的时间信息为10:30:39至10:30:42,采集音频信号5的时间信息为10:30:42至10:30:45。手机A每隔3秒依次发送至少包括音频信号1、10:30:30及10:30:30至10:30:33的互动信息获取请求21;至少包括音频信号2、10:30:30及10:30:33至10:30:36的互动信息获取请求22;至少包括音频信号3、10:30:30及10:30:36至10:30:39的互动信息获取请求23;至少包括音频信号4、10:30:30及10:30:39至10:30:42的互动信息获取请求24;至少包括音频信号5、10:30:30及10:30:42至10:30:45的互动信息获取请求25。
除了上述终端发送至少包括音频数据及时间信息的互动信息获取请求的方法之外,若终端仅采集一次音频数据,则终端发送至少包括音频数据及时间信息的互动信息获取请求的方法还可以为:终端仅在采集音频数据后发送至少包括音频数据及时间信息的互动信息获取请求。
以步骤403中的例子二,音频数据为音频信号为例,由于手机A在10:30:30至10:30:33采集到音频信号6,因此手机A发送至少包括音频信号6及10:30:30的互动信息获取请求6。
另外,对于终端仅采集一次音频数据的情况,为了防止步骤404中发送至少包括音频数据及时间信息的互动信息获取请求时,由于网络问题或者其他问题造成发送失败,终端发送至少包括音频数据及时间信息的互动信息获取请求的方法还可以为:终端每隔第二预设时间段发送相同的互动信息获取请求,该互动信息获取请求中至少包括音频数据及时间信息。
仍以步骤403中的例子二为例,若第二预设时间段为3秒,则由于手机A在10:30:30至10:30:33采集到音频信号6,因此每隔3秒发送至少包括音频信号6及10:30:30的互动信息获取请求6。
当然,第二预设时间段还可以为其他时间长度,本实施例不对第二预设时间段的具体值进行限定。第二预设时间段与步骤403中的第一预设时间段可以相同,也可以不同,本实施例不对第二预设时间段与第一预设时间段的关系进行限定。
此外,为了针对不同的用户提供不同的个性化服务,可选地,终端发送至少包括音频数据及时间信息的互动信息获取请求之前,还可以获取用户信息。终端发送至少包括音频数据及时间信息的互动信息获取请求的具体方法,还可以为:发送至少包括音频数据、用户信息及时间信息的互动信息获取请求。
405:服务器获取互动信息获取请求;
其中,互动信息获取请求中至少包括音频数据及时间信息。
服务器获取互动信息获取请求的具体方法随着互动信息获取请求的发送方法的改变而变化,本实施例不对服务器获取互动信息获取请求的具体方法进行限定。包括但不限于,如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据及时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括音频数据及时间信息。
如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据、时间信息及采集音频数据的时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括音频数据、时间信息及采集音频数据的时间信息。
如果互动信息获取请求的发送方法为:终端仅在一次采集音频数据后发送至少包括音频数据及时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器仅获取一次互动信息获取请求,且该互动信息获取请求中至少包括音频数据及时间信息。
如果互动信息获取请求的发送方法为:终端每隔第二预设时间段发送相同的至少包括音频数据及时间信息的互动信息获取请求,则服务器每隔第二预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括音频数据及时间信息。
406:服务器获取与音频数据匹配的节目信息;
由于音频数据为音频信号,或者音频指纹,若音频数据为音频信号,则获取与音频数据匹配的节目信息的方法为:生成与音频信号对应的音频指纹;向存储有各个节目的音频指纹、节目名称、播放时间信息等节目信息的信号提供设备发送音频指纹;接收与音频指纹匹配的节目信息。若音频数据为音频指纹,则获取与音频数据匹配的节目信息的方法为:向存储有各个节目的音频指纹、节目名称、播放时间信息等节目信息的信号提供设备发送音频指纹;接收与音频指纹匹配的节目信息,其中,节目信息至少包括与音频指纹匹配的节目的音频信号、名称及播放时间信息。本实施例不对获取与音频数据匹配的节目信息的具体方法进行限定。
以服务器A获取到的音频数据为音频指纹,且音频指纹为ID1为例,服务器A向服务器B发送ID1,并接收服务器B返回的与ID1匹配的节目信息1:电视台A播出的电视节目A的音频信号、电视节目A及10:00:00至11:00:00。
当然,节目信息的名称还可以为其他名称,节目信息还可以为其他内容,本实施例不对节目信息的具体名称,节目信息的具体内容进行限定。
另外,由于步骤405中服务器可能获取到多个音频数据,因此,在步骤406中服务器每当获取到音频数据后,均获取与音频数据匹配的节目信息。
以服务器A获取到的音频数据为音频指纹为例:服务器A获取到ID1后,获取与ID1匹配的节目信息。服务器A获取到ID2后,获取与ID2匹配的节目信息。服务器A获取到ID3后,获取与ID3匹配的节目信息。服务器A获取到ID4后,获取与ID4匹配的节目信息。服务器A获取到ID5后,获取与ID5匹配的节目信息。
407:服务器获取与节目信息及与时间信息匹配的互动信息,并发送互动信息;
其中,互动信息的内容可以包括但不限于为节目公众号属性信息/对话信息、抽奖/投票类H5互动信息,原生支付信息、原生商详情信息、电视详情信息等,本实施例不对互动信息的具体内容进行限定。
本实施例不对服务器获取与节目信息及与时间信息匹配的互动信息的具体方法进行限定。包括但不限于:如果服务器预先存储了节目信息、时间信息及互动信息的对应关系,则服务器可以根据预先存储的节目信息、时间信息及互动信息的对应关系获取与节目信息及与时间信息匹配的互动信息。
以服务器A预先存储了表2所示的节目信息、时间信息及互动信息的对应关系,节目信息为节目信息1,时间信息为10:30:30为例,服务器A可以根据表2获取与节目信息1及10:30:30匹配的互动信息为互动信息2和互动信息3。
表2
节目信息 时间信息 互动信息
节目信息1 10:00:00至10:30:00 互动信息1
节目信息1 10:30:00至11:00:00 互动信息2和互动信息3
节目信息2 11:00:00至12:00:00 互动信息4
另外,本实施例不对服务器预先存储节目信息、时间信息及互动信息的对应关系的具体方法进行限定。例如:服务器预先收集节目信息,并确定与节目信息对应的时间信息及互动信息;服务器根据节目信息对应的时间信息及互动信息存储节目信息、时间信息及互动信息的对应关系。
例如,服务器A预先收集的节目信息有2个,分别为节目信息1:电视台A播出的电视节目A的音频信号、电视节目A及10:00:00至11:00:00,节目信息2:电视台A播出的电视节目B的音频信号、电视节目B及11:00:00至12:00:00。确定与节目信息1对应的时间信息有2个,分别为10:00:00至10:30:00与10:30:00至11:00:00。与节目信息1及10:00:00至10:30:00对应的互动信息为互动信息1,与节目信息1及10:30:00至11:00:00对应的互动信息有2个,分别为互动信息2和互动信息3。确定与节目信息2对应的时间信息有1个,即11:00:00至12:00:00。与节目信息2及11:00:00至12:00:00对应的互动信息有1个,即互动信息4。服务器A根据节目信息对应的时间信息及互动信息存储节目信息、时间信息及互动信息的对应关系如表2所示。
当然,预先收集的节目信息的数量还可以为其他数量,与节目信息对应的时间信息的数量还可以为其他数量,与节目信息对应的时间信息的内容还可以为其他内容,与节目信息及时间信息对应的互动信息的数量还可以为其他数量,与节目信息及时间信息对应的互动信息的名称还可以为其他名称,存储节目信息、时间信息及互动信息的对应关系的形式还可以为其他形式,本实施例不对预先收集的节目信息的具体数量,与节目信息对应的时间信息的具体数量,与节目信息对应的时间信息的具体内容,与节目信息及时间信息对应的互动信息的具体数量,与节目信息及时间信息对应的互动信息的具体名称,存储节目信息、时间信息及互动信息的对应关系的具体形式进行限定。
需要说明的是,在执行本实施例提供的方法时,服务器无需每次均预先存储节目信息、时间信息及互动信息的对应关系,即仅在第一次通过本实施例提供的方法获取互动信息时,预先存储节目信息、时间信息及互动信息的对应关系。但当节目信息变化,或者节目信息对应的时间信息或者互动信息变化时,即需要更新存储的节目信息、时间信息及互动信息的对应关系时,可以重新执行存储节目信息、时间信息及互动信息的对应关系的步骤。或者,每隔第三预设时间段,可以重新执行存储节目信息、时间信息及互动信息的对应关系的步骤,以对存储的节目信息、时间信息及互动信息的对应关系进行更新。第三预设时间段可以为任意时间长度,本实施例不对第三预设时间段的具体值进行限定,本实施例同样不对触发重新执行存储的节目信息、时间信息及互动信息的对应关系的步骤的具体条件进行限定。
另外,若获取到的互动信息获取请求中还包括用户信息,则服务器获取与节目信息及与时间信息匹配的互动信息的具体实现方法可以为:获取与节目信息、用户信息及时间信息匹配的互动信息。
本实施例不对服务器获取与节目信息、用户信息及时间信息匹配的互动信息的具体方法进行限定。包括但不限于:如果服务器预先存储了节目信息、用户信息、时间信息及互动信息的对应关系,则服务器可以根据预先存储的节目信息、用户信息、时间信息及互动信息的对应关系获取与节目信息、用户信息及时间信息匹配的互动信息。
以服务器A预先存储了表3所示的节目信息、用户信息、时间信息及互动信息的对应关系,节目信息为节目信息1,时间信息为10:30:30,用户信息为用户1为例,服务器A可以根据表3与节目信息1、用户1及10:30:30匹配的互动信息为互动信息2和互动信息3。
表3
节目信息 用户信息 时间信息 互动信息
节目信息1 用户1 10:00:00至10:30:00 互动信息1
节目信息1 用户1 10:30:00至11:00:00 互动信息2和互动信息3
节目信息2 用户2 11:00:00至12:00:00 互动信息4
节目信息2 用户2 10:30:00至11:00:00 互动信息4
另外,本实施例不对服务器预先存储节目信息、用户信息、时间信息及互动信息的对应关系的具体方法进行限定。例如:服务器预先收集节目信息,并确定与节目信息对应的用户信息、时间信息及互动信息;服务器根据节目信息对应的用户信息、时间信息及互动信息存储节目信息、用户信息、时间信息及互动信息的对应关系。
例如,服务器A预先收集的节目信息有2个,分别为节目信息1:电视台A播出的电视节目A的音频信号、电视节目A及10:00:00至11:00:00,节目信息2:电视台A播出的电视节目B的音频信号、电视节目B及11:00:00至12:00:00。确定与节目信息1对应的用户信息有1个,即用户1,与节目信息1对应的时间信息有2个,分别为10:00:00至10:30:00与10:30:00至11:00:00。与节目信息1及10:00:00至10:30:00对应的互动信息为互动信息1,与节目信息1及10:30:00至11:00:00对应的互动信息为互动信息2和互动信息3。确定与节目信息2对应的用户信息有1个,即用户1,与节目信息2对应的时间信息有1个,即11:00:00至12:00:00。与节目信息2及11:00:00至12:00:00对应的互动信息为互动信息4。服务器A根据节目信息对应的时间信息及互动信息存储节目信息、时间信息及互动信息的对应关系如表3所示。
当然,与节目信息对应的用户信息的数量还可以为其他数量,与节目信息对应的用户信息的内容还可以为其他内容,本实施例不对与节目信息对应的用户信息的具体数量,与节目信息对应的用户信息的具体内容进行限定。
需要说明的是,在执行本实施例提供的方法时,服务器无需每次均预先存储节目信息、用户信息、时间信息及互动信息的对应关系,即仅在第一次通过本实施例提供的方法获取互动信息时,预先存储节目信息、用户信息、时间信息及互动信息的对应关系。但当节目信息变化,或者节目信息对应的用户信息变化,或者节目信息对应的时间信息或者互动信息变化时,即需要更新存储的节目信息、用户信息、时间信息及互动信息的对应关系时,可以重新执行存储节目信息、用户信息、时间信息及互动信息的对应关系的步骤。或者,每隔第四预设时间段,可以重新执行存储节目信息、用户信息、时间信息及互动信息的对应关系的步骤,以对存储的节目信息、用户信息、时间信息及互动信息的对应关系进行更新。第四预设时间段可以为任意时间长度,本实施例不对第四预设时间段的具体值进行限定,本实施例同样不对触发重新执行存储的节目信息、用户信息、时间信息及互动信息的对应关系的步骤的具体条件进行限定。本实施例也不对第四预设时间段的时间长度与第三预设时间段的时间长度是否相同进行限定。
408:终端接收互动信息。
若步骤407中发送的互动信息为与节目信息及时间信息匹配的互动信息,则本步骤终端接收到的互动信息为与互动信息获取请求中的音频数据及时间信息匹配的互动信息。
若步骤407中发送的互动信息为与节目信息、用户信息及时间信息匹配的互动信息,则本步骤终端接收到的互动信息为与互动信息获取请求中的音频数据、用户信息及时间信息匹配的互动信息。
另外,终端接收到互动信息之后,还可以显示接收到的互动信息。
以手机A接收到的互动信息为投票互动信息为例,手机A显示投票互动信息,如图5(b)所示。
另外,步骤403至步骤408的执行顺序仅以本实施例描述的顺序为例,实际应用时终端执行步骤403采集到一次音频数据后会立即执行步骤404发送至少包括音频数据及时间信息的互动信息获取请求,服务器执行步骤405获取互动信息获取请求及时间信息后会执行步骤406及步骤407匹配并发送对应的互动信息,终端执行步骤408接收互动信息。若终端执行步骤403时采用每隔第一预设时间段采集一次音频数据的方式采集音频数据,且终端采集到一次音频数据后,执行步骤404至步骤408的总时间小于第一预设时间段,即终端在采集到一次音频数据之后,未到执行采集下一次音频数据步骤的时间,却先接收到发送的互动信息,此时,由于已经接收到互动信息,因此,可选地,不再执行采集下一次音频数据的步骤。
此外,由于步骤407中服务器获取并发送的互动信息可以为多个,因此步骤408中终端接收到的互动信息也可以为多个,为了减少显示互动信息的数量,可选地,终端接收到多个互动信息时,可以先根据预设的选择策略从多个互动信息中选择一个互动信息,显示选择的互动信息。
此外,获取互动信息之后,如果该互动信息还需要在终端与服务器之间进行后续信息交互,完成互动内容,此时,终端还可以继续获取用户根据互动信息输入或者选择的信息,将该信息发送给服务器,并接收服务器返回的信息,以在终端与服务器间进行信息交互,完成互动信息的后续步骤。
需要说明的是,本实施例提供的方法在具体实施时,可以按图6所示的实施过程,终端开启互动功能的条件下检测到摇晃动作后确定摇晃动作的时间信息,获取与时间信息相关的音频数据,并执行步骤601发送至少包括音频数据及时间信息的互动信息获取请求。服务器获取互动信息获取请求后,执行步骤602发送获取到的互动信息获取请求中的音频数据。信号提供设备执行步骤603接收服务器发送的音频数据并返回与音频数据匹配的节目信息。服务器获取到节目信息后执行步骤604,根据预先存储的节目信息、时间信息及互动信息的对应关系获取与节目信息及时间信息匹配的互动信息,并执行步骤605发送获取到的互动信息。
另外,目前互动信息的获取方法有如下三种:
第一种互动信息的获取方法:电视中出现的用于获取互动信息的二维码后,通过手机扫描电视中出现的二维码,发送二维码后,接收与该二维码对应的公众号发布的互动信息。此时,可能出现由于电视分辨率不高造成二维码扫描失败的情况,进而造成互动信息获取失败的情况。
第二种互动信息的获取方法:电视中出现的用于获取互动信息的获取说明后,获取用户通过输入设备输入的与获取说明对应的互动信息获取指令,发送互动信息获取指令后,接收与该互动信息获取指令匹配的互动信息。此时,可能出现由于互动信息获取指令输入错误,进而造成互动信息获取失败的情况。
第三种互动信息的获取方法:电视中出现的用于获取互动信息的获取说明后,获取用户通过操作遥控器发送的与获取说明对应的互动信息获取信号,发送互动信息获取信号后,接收与该互动信息获取信号匹配的互动信息。此时,可能出现由于遥控器操作错误造成互动信息获取信号错误,进而造成互动信息获取失败的情况。
而本实施例提供的方法,在电视中出现的用于获取互动信息的说明后,终端获取互动指令,确定互动指令的时间信息;获取与时间信息相关的音频数据;发送至少包括音频数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的音频数据及时间信息匹配的互动信息。避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况。
本实施例提供的方法,通过确定时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
图7是根据一示例性实施例示出的一种互动信息的获取方法流程图,为了便于说明,本实施例以终端为手机A,服务器为服务器A,且信号提供设备为服务器B,多媒体数据为音频数据,服务器A获取互动信息获取请求相关的时间信息为例,对本实施例提供的方法进行详细地举例说明。参见图7,本实施例提供的方法流程具体如下:
701:终端获取互动指令;
该步骤的具体实现方式详见上述图4所示的实施例中步骤401的描述,此处不再赘述。
702:终端根据互动指令获取音频数据;
其中,音频数据为音频信号,或者,音频指纹。本实施例不对代表音频数据的具体内容进行限定。
对于音频数据为音频信号的情况,该步骤在具体实施时,可以在音频播放设备播放音频的同时,终端根据互动指令采集音频播放设备播放的音频信号,从而通过音频播放设备播放的音频信号实现互动。除此之外,还可以通过其他方法根据互动指令获取音频信号,本实施例不对根据互动指令获取音频数据的具体方法进行限定。
本实施例不对终端根据互动指令采集音频信号的具体方法进行限定。例如:终端每隔第一预设时间段采集一次音频信号,直至采集音频信号的总时间长度达到预设长度。或者,终端采集预设时长的音频信号。此外,本实施例同样不对音频播放设备进行限定,包括但不限于电视机、收音机等音频播放设备。
例子一:以开始采集音频信号的时间信息为10:30:30,音频播放设备为电视机为例,若第一预设时间段为3秒,预设时间长度为15秒,每次采集音频信号的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视音频信号1,将电视音频信号1作为第一次采集到的音频信号1,此时采集音频信号的总时长为3秒。
在10:30:33至10:30:36采集电视机在10:30:33至10:30:36播出的电视音频信号2,将电视音频信号2作为第二次采集到的音频信号2,此时采集音频信号的总时长为6秒。
在10:30:36至10:30:39采集电视机在10:30:36至10:30:39播出的电视音频信号3,将电视音频信号3作为第三次采集到的音频信号3,此时采集音频信号的总时长为9秒。
在10:30:39至10:30:42采集电视机在10:30:39至10:30:42播出的电视音频信号4,将电视音频信号4作为第四次采集到的音频信号4,此时采集音频信号的总时长为12秒。
在10:30:42至10:30:45采集电视机在10:30:42至10:30:45播出的电视音频信号5,将电视音频信号5作为第五次采集到的音频信号5,此时采集音频信号的总时长为15秒,达到预设时间长度15秒,停止采集音频信号。
终端根据时间信息采集音频信号的具体方法除上述方法外,还可以为终端仅采集一次音频信号。
例子二:以开始采集音频信号的时间信息为10:30:30,音频播放设备为电视机为例,若采集音频信号的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视音频信号6,将电视音频信号6作为采集到的音频信号6。
对于音频数据为音频指纹的情况,该步骤在具体实施时,可以先获取音频信号,再生成与音频信号对应的音频指纹,从而通过音频信号对应的音频指纹实现互动。
703:终端发送至少包括音频数据的互动信息获取请求;
本实施例不对终端发送至少包括音频数据的互动信息获取请求的具体方法进行限定。例如:如果终端每隔第一预设时间段采集一次音频数据,则终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据的互动信息获取请求。
以步骤702中的例子一,音频数据为音频信号为例,由于手机A在10:30:30至10:30:33采集到音频信号1,在10:30:33至10:30:36采集到音频信号2,在10:30:36至10:30:39采集到音频信号3,在10:30:39至10:30:42采集到音频信号4,在10:30:42至10:30:45采集到音频信号5,因此手机A每隔3秒依次发送至少包括音频信号1的互动信息获取请求31、至少包括音频信号2的互动信息获取请求32、至少包括音频信号3的互动信息获取请求33、至少包括音频信号4的互动信息获取请求34、至少包括音频信号5的互动信息获取请求35。
可选地,终端发送至少包括音频数据的互动信息获取请求的方法还可以为:如果终端每隔第一预设时间段采集一次音频数据,则终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据及采集音频数据的时间信息的互动信息获取请求。
仍以步骤702中的例子一,音频数据为音频信号为例,由于手机A在10:30:30至10:30:33采集到音频信号1,在10:30:33至10:30:36采集到音频信号2,在10:30:36至10:30:39采集到音频信号3,在10:30:39至10:30:42采集到音频信号4,在10:30:42至10:30:45采集到音频信号5。手机A每隔3秒依次发送至少包括音频信号1及10:30:30至10:30:33的互动信息获取请求41;至少包括音频信号2及10:30:33至10:30:36的互动信息获取请求42;至少包括音频信号3及10:30:36至10:30:39的互动信息获取请求43;至少包括音频信号4及10:30:39至10:30:42的互动信息获取请求44;至少包括音频信号5及10:30:42至10:30:45的互动信息获取请求45。
除了上述终端发送至少包括音频数据及时间信息的互动信息获取请求的方法之外,若终端仅采集一次音频数据,则终端发送至少包括音频数据的互动信息获取请求的方法还可以为:终端仅在采集音频数据后发送相同的互动信息获取请求,该互动信息获取请求至少包括音频数据。
以步骤702中的例子二,音频数据为音频信号为例,由于手机A在10:30:30至10:30:33采集到音频信号6,因此手机A发送至少包括音频信号6的互动信息获取请求7。
另外,对于终端仅采集一次音频数据的情况,终端发送至少包括音频数据的互动信息获取请求的方法还可以为:终端每隔第二预设时间段发送至少包括相同的音频数据的互动信息获取请求。
仍以步骤702中的例子二为例,若第二预设时间段为3秒,则由于手机A在10:30:30至10:30:33采集到音频信号6,因此每隔3秒发送至少包括音频信号6的互动信息获取请求7。
可选地,终端发送至少包括音频数据的互动信息获取请求之前,还可以获取用户信息。终端发送至少包括音频数据的互动信息获取请求的具体方法,还可以为:发送至少包括音频数据及用户信息的互动信息获取请求。
704:服务器获取互动信息获取请求;
其中,互动信息获取请求中至少包括音频数据。
服务器获取互动信息获取请求的具体方法随着互动信息获取请求的发送方法的改变而变化,本实施例不对服务器获取互动信息获取请求的具体方法进行限定。包括但不限于,如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括音频数据。
如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次音频数据后发送至少包括采集到的音频数据及采集音频数据的时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括音频数据及采集音频数据的时间信息。
如果互动信息获取请求的发送方法为:终端仅在一次采集音频数据后发送至少包括音频数据的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器仅获取一次互动信息获取请求,且该互动信息获取请求中至少包括音频数据。
如果互动信息获取请求的发送方法为:终端每隔第二预设时间段发送相同的至少包括音频数据的互动信息获取请求,则服务器每隔第二预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括音频数据。
705:服务器获取与互动信息获取请求相关的时间信息;
本实施例不对服务器获取与互动信息获取请求相关的时间信息的具体方法进行限定。包括但不限于,将获取到互动信息获取请求的时间信息确定为与互动信息获取请求相关的时间信息。例如,服务器获取到终端发送的互动信息获取请求的时间为10:30,则服务器获取到的与互动信息获取请求相关的时间信息也为10:30。
706:服务器获取与音频数据匹配的节目信息;
该步骤的具体实现方式与上述图4所示的实施例中步骤406的描述内容原理一致,不同的是步骤406中的时间信息是终端确定的互动指令的时间信息,而该步骤中的时间信息是服务器确定的与获取互动信息获取请求相关的时间信息,此处不再赘述。
707:服务器获取与节目信息及与时间信息匹配的互动信息,并发送互动信息;
该步骤的具体实现方式详见上述图4所示的实施例中步骤407的描述,不同的是步骤407中的时间信息是终端确定的互动指令的时间信息,而该步骤中的时间信息是服务器确定的与获取互动信息获取请求相关的时间信息,此处不再赘述。
708:终端接收互动信息。
该步骤的具体实现方式详见上述图4所示的实施例中步骤408的描述,此处不再赘述。
需要说明的是,本实施例提供的方法在具体实施时,可以按图8所示的实施过程,终端开启互动功能的条件下检测到摇晃动作后获取音频数据,并执行步骤801发送至少包括音频数据的互动信息获取请求。服务器获取互动信息获取请求后,执行步骤802获取与互动信息获取请求相关的时间信息,并发送获取到的互动信息获取请求中的音频数据。信号提供设备执行步骤803接收服务器发送的音频数据并返回与音频数据匹配的节目信息。服务器获取到节目信息后执行步骤804,根据预先存储的节目信息、时间信息及互动信息的对应关系获取与节目信息及时间信息匹配的互动信息,并执行步骤805发送获取到的互动信息。
本实施例提供的方法,通过服务器接收到终端发送的至少包括多媒体数据的互动信息获取请求,并获取与多媒体数据匹配的节目信息后,获取与节目信息及时间信息匹配的互动信息,并将其发送给终端,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
图9是根据一示例性实施例示出的一种互动信息的获取方法流程图,为了便于说明,本实施例以终端为手机A,服务器为服务器A,且信号提供设备为服务器B,多媒体数据为图像数据,手机A获取互动指令的时间信息为例,对本实施例提供的方法进行详细地举例说明。参见图9,本实施例提供的方法流程具体如下:
901:终端获取互动指令;
该步骤的具体实现方式详见上述图4所示的实施例中步骤401的描述,此处不再赘述。
902:终端确定互动指令的时间信息;
该步骤的具体实现方式详见上述图4所示的实施例中步骤402的描述,此处不再赘述。
903:终端获取与时间信息相关的图像数据;
其中,图像数据可以为图片数据,也可以为视频数据,本实施例不对代表图像数据的具体内容进行限定。
该步骤在具体实施时,本实施例不对获取与时间信息相关的图像数据的具体方法进行限定,例如:在视频播放设备播放视频的同时,终端根据时间信息采集视频播放设备播放的图像数据,从而通过视频播放设备播放的图像数据实现互动。
本实施例不对终端根据时间信息采集图像数据的具体方法进行限定。例如:终端根据时间信息每隔第一预设时间段采集一次图像数据,直至采集图像数据的总时间长度达到预设长度。或者,终端根据时间信息采集预设时长的图像数据。此外,本实施例同样不对视频播放设备进行限定,包括但不限于电视机、电脑等视频播放设备。
例子一:以时间信息为10:30:30,视频播放设备为电视机为例,若第一预设时间段为3秒,预设时间长度为15秒,每次采集视频信号的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视图像数据1,将电视图像数据1作为第一次采集到的图像数据1,此时采集图像数据的总时长为3秒。
在10:30:33至10:30:36采集电视机在10:30:33至10:30:36播出的电视图像数据2,将电视图像数据2作为第二次采集到的图像数据2,此时采集图像数据的总时长为6秒。
在10:30:36至10:30:39采集电视机在10:30:36至10:30:39播出的电视图像数据3,将电视图像数据3作为第三次采集到的图像数据3,此时采集图像数据的总时长为9秒。
在10:30:39至10:30:42采集电视机在10:30:39至10:30:42播出的电视图像数据4,将电视图像数据4作为第四次采集到的图像数据4,此时采集图像数据的总时长为12秒。
在10:30:42至10:30:45采集电视机在10:30:42至10:30:45播出的电视图像数据5,将电视图像数据5作为第五次采集到的图像数据5,此时采集图像数据的总时长为15秒,达到预设时间长度15秒,停止采集图像数据。
其中,电视图像数据可以是包含电视节目的图片或视频,也可以是包含电视节目所属电视台台标的图片等。
当然,视频播放设备还可以为其他设备,每次采集图像数据的时长还可以为其他时间长度,采集到的图像数据名称还可以为其他名称,本实施例不对具体的视频播放设备、每次采集图像数据的具体时长及采集到的图像数据的具体名称进行限定。
终端根据时间信息采集图像数据的具体方法除上述方法外,还可以为终端根据时间信息仅采集一次图像数据。
例子二:以时间信息为10:30:30,视频播放设备为电视机为例,若采集图像数据的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视图像数据6,将电视图像数据6作为采集到的图像数据6。
904:终端发送至少包括图像数据及时间信息的互动信息获取请求;
终端发送至少包括图像数据及时间信息的互动信息获取请求的具体方法可以为:如果终端每隔第一预设时间段采集一次图像数据,则终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据及时间信息的互动信息获取请求。
以步骤903中的例子一为例,由于手机A在10:30:30至10:30:33采集到图像数据1,在10:30:33至10:30:36采集到图像数据2,在10:30:36至10:30:39采集到图像数据3,在10:30:39至10:30:42采集到图像数据4,在10:30:42至10:30:45采集到图像数据5,因此手机A每隔3秒依次发送至少包括图像数据1及10:30:30的互动信息获取请求51、至少包括图像数据2及10:30:30的互动信息获取请求52、至少包括图像数据3及10:30:30的互动信息获取请求53、至少包括图像数据4及10:30:30的互动信息获取请求54、至少包括图像数据5及10:30:30的互动信息获取请求55。
另外,为了更精确的反应图像数据的时间信息,可选地,终端发送至少包括图像数据及时间信息的互动信息获取请求的具体方法还可以为:如果终端每隔第一预设时间段采集一次图像数据,则终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据、时间信息及采集图像数据的时间信息的互动信息获取请求。
仍以步骤903中的例子一为例,由于手机A在10:30:30至10:30:33采集到图像数据1,在10:30:33至10:30:36采集到图像数据2,在10:30:36至10:30:39采集到图像数据3,在10:30:39至10:30:42采集到图像数据4,在10:30:42至10:30:45采集到图像数据5,因此采集图像数据1的时间信息为10:30:30至10:30:33,采集图像数据2的时间信息为10:30:33至10:30:36,采集图像数据3的时间信息为10:30:36至10:30:39,采集图像数据4的时间信息为10:30:39至10:30:42,采集图像数据5的时间信息为10:30:42至10:30:45。手机A每隔3秒依次发送至少包括图像数据1、10:30:30及10:30:30至10:30:33的互动信息获取请求61;至少包括图像数据2、10:30:30及10:30:33至10:30:36的互动信息获取请求62;至少包括图像数据3、10:30:30及10:30:36至10:30:39的互动信息获取请求63;至少包括图像数据、10:30:30及10:30:39至10:30:42的互动信息获取请求64;至少包括图像数据5、10:30:30及10:30:42至10:30:45的互动信息获取请求65。
除了上述终端发送至少包括图像数据及时间信息的互动信息获取请求的方法之外,若终端仅采集一次图像数据,则终端发送至少包括图像数据及时间信息的互动信息获取请求的方法还可以为:终端仅在采集图像数据后发送至少包括图像数据及时间信息的互动信息获取请求。
以步骤903中的例子二为例,由于手机A在10:30:30至10:30:33采集到图像数据6,因此手机A发送至少包括图像数据6及10:30:30的互动信息获取请求8。
此外,对于终端仅采集一次图像据的情况,为了防止步骤904中终端发送至少包括图像数据及时间信息的互动信息获取请求时,由于网络问题或者其他问题造成发送失败,终端发送至少包括图像数据及时间信息的互动信息获取请求的方法还可以为:终端每隔第二预设时间段发送相同的互动信息获取请求,该互动信息获取请求至少包括图像数据及时间信息。
仍以步骤903中的例子二为例,若第二预设时间段为3秒,则由于手机A在10:30:30至10:30:33采集到图像数据6,因此每隔3秒发送至少包括图像数据6及10:30:30的互动信息获取请求8。
此外,为了针对不同的用户提供不同的个性化服务,可选地,终端发送至少包括图像数据及时间信息的互动信息获取请求之前,还可以获取用户信息。终端发送至少包括图像数据及时间信息的互动信息获取请求的具体方法,还可以为:发送至少包括图像数据、用户信息及时间信息的互动信息获取请求。
905:服务器获取互动信息获取请求;
其中,互动信息获取请求中至少包括图像数据及时间信息。
服务器获取互动信息获取请求的具体方法随着互动信息获取请求的发送方法的改变而变化,本实施例不对服务器获取互动信息获取请求的具体方法进行限定。包括但不限于,如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据及时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括图像数据及时间信息。
如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据、时间信息及采集图像数据的时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括图像数据、时间信息及采集图像数据的时间信息。
如果互动信息获取请求的发送方法为:终端仅在一次采集图像数据后发送至少包括图像数据及时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器仅获取一次互动信息获取请求,且该互动信息获取请求中至少包括图像数据及时间信息。
如果互动信息获取请求的发送方法为:终端每隔第二预设时间段发送相同的至少包括图像数据及时间信息的互动信息获取请求,则服务器每隔第二预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括图像数据及时间信息。
906:服务器获取与图像数据匹配的节目信息;
本实施例不对获取与图像数据匹配的节目信息的具体方法进行限定,例如:向存储有各个节目的图像数据、节目名称、播放时间信息等节目信息的信号提供设备发送图像数据;接收与图像数据匹配的节目信息。其中,节目信息至少包括与图像数据匹配的节目的音频信号、名称及播放时间信息。由于图像数据为电视节目的图片或视频,或者电视节目所属电视台的台标,因此,与图像数据匹配的节目信息可以为与电视节目的图片或视频匹配的节目信息,也可以为与电视节目所属电视台的台标匹配的节目信息。
以服务器A获取到的图像数据为图像数据6为例,服务器A向服务器B发送图像数据6,并接收服务器B返回的与图像数据6匹配的节目信息1:电视台A播出的电视节目A的音频信号、电视节目A及10:00:00至11:00:00。
另外,由于步骤905中服务器可能获取到多个图像数据,因此,在步骤906中服务器每当获取到图像数据后,均获取与图像数据匹配的节目信息。
以服务器A获取到图像数据为例:服务器A获取到图像数据1后,获取与图像数据1匹配的节目信息。服务器A获取到图像数据2后,获取与图像数据2匹配的节目信息。服务器A获取到图像数据3后,获取与图像数据3匹配的节目信息。服务器A获取到图像数据4后,获取与图像数据4匹配的节目信息。服务器A获取到图像数据5后,获取与图像数据5匹配的节目信息。
907:服务器获取与节目信息及时间信息匹配的互动信息,并发送互动信息;
该步骤的具体实现方式详见上述图4所示的实施例中步骤407的描述,此处不再赘述。
908:终端接收互动信息。
该步骤的具体实现方式详见上述图4所示的实施例中步骤408的描述,此处不再赘述。
本实施例提供的方法,通过确定互动指令的时间信息;获取与时间信息相关的图像数据;发送至少包括图像数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的图像数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
图10是根据一示例性实施例示出的一种互动信息的获取方法流程图,为了便于说明,本实施例以终端为手机A,服务器为服务器A,且信号提供设备为服务器B,多媒体数据为图像数据,服务器A获取互动信息获取请求相关的时间信息为例,对本实施例提供的方法进行详细地举例说明。参见图10,本实施例提供的方法流程具体如下:
1001:终端获取互动指令;
该步骤的具体实现方式详见上述图4所示的实施例中步骤401的描述,此处不再赘述。
1002:终端根据互动指令获取图像数据;
该步骤在具体实施时,本实施例不对根据互动指令获取图像数据的具体方法进行限定,例如:终端获取到互动指令后,在视频播放设备播放视频的同时,采集视频播放设备播放的图像数据,从而通过视频播放设备播放的图像数据实现互动。
本实施例不对终端采集图像数据的具体方法进行限定。例如:终端每隔第一预设时间段采集一次图像数据,直至采集图像数据的总时间长度达到预设长度。或者,终端采集预设时长的图像数据。
例子一:以开始采集图像数据的时间信息为10:30:30,视频播放设备为电视机为例,若第一预设时间段为3秒,预设时间长度为15秒,每次采集视频信号的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视图像数据1,将电视图像数据1作为第一次采集到的图像数据1,此时采集图像数据的总时长为3秒。
在10:30:33至10:30:36采集电视机在10:30:33至10:30:36播出的电视图像数据2,将电视图像数据2作为第二次采集到的图像数据2,此时采集图像数据的总时长为6秒。
在10:30:36至10:30:39采集电视机在10:30:36至10:30:39播出的电视图像数据3,将电视图像数据3作为第三次采集到的图像数据3,此时采集图像数据的总时长为9秒。
在10:30:39至10:30:42采集电视机在10:30:39至10:30:42播出的电视图像数据4,将电视图像数据4作为第四次采集到的图像数据4,此时采集图像数据的总时长为12秒。
在10:30:42至10:30:45采集电视机在10:30:42至10:30:45播出的电视图像数据5,将电视图像数据5作为第五次采集到的图像数据5,此时采集图像数据的总时长为15秒,达到预设时间长度15秒,停止采集图像数据。
终端根据时间信息采集图像数据的具体方法除上述方法外,还可以为终端根据时间信息仅采集一次图像数据。
例子二:以开始采集图像数据的时间信息为10:30:30,视频播放设备为电视机为例,若采集图像数据的时长为3秒,则手机A在10:30:30至10:30:33采集电视机在10:30:30至10:30:33播出的电视图像数据6,将电视图像数据6作为采集到的图像数据6。
1003:终端发送至少包括图像数据的互动信息获取请求;
终端发送至少包括图像数据的互动信息获取请求的具体方法可以为:如果终端每隔第一预设时间段采集一次图像数据,则终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据的互动信息获取请求。
以步骤1002中的例子一为例,由于手机A在10:30:30至10:30:33采集到图像数据1,在10:30:33至10:30:36采集到图像数据2,在10:30:36至10:30:39采集到图像数据3,在10:30:39至10:30:42采集到图像数据4,在10:30:42至10:30:45采集到图像数据5,因此手机A每隔3秒依次发送至少包括图像数据1的互动信息获取请求71、至少包括图像数据2的互动信息获取请求72、至少包括图像数据3的互动信息获取请求73、至少包括图像数据4的互动信息获取请求74、至少包括图像数据5的互动信息获取请求75。
可选地,终端发送至少包括图像数据的互动信息获取请求的具体方法还可以为:如果终端每隔第一预设时间段采集一次图像数据,则终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据及采集图像数据的时间信息的互动信息获取请求。
仍以步骤1002中的例子一为例,由于手机A在10:30:30至10:30:33采集到图像数据1,在10:30:33至10:30:36采集到图像数据2,在10:30:36至10:30:39采集到图像数据3,在10:30:39至10:30:42采集到图像数据4,在10:30:42至10:30:45采集到图像数据5。手机A每隔3秒依次发送至少包括图像数据1及10:30:30至10:30:33的互动信息获取请求81;至少包括图像数据2及10:30:33至10:30:36的互动信息获取请求82;至少包括图像数据3及10:30:36至10:30:39的互动信息获取请求83;至少包括图像数据及10:30:39至10:30:42的互动信息获取请求84;至少包括图像数据5及10:30:42至10:30:45的互动信息获取请求85。
除了上述终端发送至少包括图像数据及时间信息的互动信息获取请求的方法之外,若终端仅采集一次图像数据,则终端发送至少包括图像数据的互动信息获取请求的方法还可以为:终端仅在采集图像数据后发送至少包括图像数据的互动信息获取请求。
以步骤1002中的例子二为例,由于手机A在10:30:30至10:30:33采集到图像数据6,因此手机A发送至少包括图像数据6及10:30:30的互动信息获取请求9。
此外,对于终端仅采集一次图像据的情况,终端发送至少包括图像数据的互动信息获取请求的方法还可以为:终端每隔第二预设时间段发送相同的互动信息获取请求,该互动信息获取请求至少包括图像数据。
仍以步骤1002中的例子二为例,若第二预设时间段为3秒,则由于手机A在10:30:30至10:30:33采集到图像数据6,因此每隔3秒发送至少包括图像数据6及10:30:30的互动信息获取请求9。
可选地,终端发送至少包括图像数据及时间信息的互动信息获取请求之前,还可以获取用户信息。终端发送至少包括图像数据的互动信息获取请求的具体方法,还可以为:发送至少包括图像数据及用户信息的互动信息获取请求。
1004:服务器获取互动信息获取请求;
其中,互动信息获取请求中至少包括图像数据。
服务器获取互动信息获取请求的具体方法随着互动信息获取请求的发送方法的改变而变化,本实施例不对服务器获取互动信息获取请求的具体方法进行限定。包括但不限于,如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括图像数据。
如果互动信息获取请求的发送方法为:终端在每隔第一预设时间段采集一次图像数据后发送至少包括采集到的图像数据及采集图像数据的时间信息的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器每隔第一预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括图像数据及采集图像数据的时间信息。
如果互动信息获取请求的发送方法为:终端仅在一次采集图像数据后发送至少包括图像数据的互动信息获取请求,则服务器获取互动信息获取请求的方法为:服务器仅获取一次互动信息获取请求,且该互动信息获取请求中至少包括图像数据。
如果互动信息获取请求的发送方法为:终端每隔第二预设时间段发送相同的至少包括图像数据的互动信息获取请求,则服务器每隔第二预设时间段获取互动信息获取请求,且该互动信息获取请求中至少包括图像数据。
1005:服务器获取与互动信息获取请求相关的时间信息;
该步骤的具体实现方式详见上述图7所示的实施例中步骤705的描述,此处不再赘述。
1006:服务器获取与图像数据匹配的节目信息;
该步骤的具体实现方式详见上述图9所示的实施例中步骤906的描述,此处不再赘述。
1007:服务器获取与节目信息及时间信息匹配的互动信息,并发送互动信息;
该步骤的具体实现方式详见上述图4所示的实施例中步骤407的描述,不同的是步骤407中的时间信息是终端确定的互动指令的时间信息,而该步骤中的时间信息是服务器确定的与获取互动信息获取请求相关的时间信息,此处不再赘述。
1008:终端接收互动信息。
该步骤的具体实现方式详见上述图4所示的实施例中步骤408的描述,此处不再赘述。
本实施例提供的方法,通过服务器接收到终端发送的至少包括多媒体数据的互动信息获取请求,并获取与多媒体数据匹配的节目信息后,获取与节目信息及时间信息匹配的互动信息,并将其发送给终端,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
图11是根据一示例性实施例示出的一种终端,该终端用于执行上述图2、图4至图6以及图9所示的任一示例性实施例所示出的互动信息的获取方法中终端所执行的功能。参见图11,该终端包括:
第一获取模块1101,用于获取互动指令;
确定模块1102,用于确定第一获取模块1101获取到互动指令的时间信息;
第二获取模块1103,用于获取与确定模块1102确定的时间信息相关的多媒体数据;
发送模块1104,用于发送至少包括第二获取模块1103获取到的多媒体数据及确定模块1102确定的时间信息的互动信息获取请求;
接收模块1105,用于接收与发送模块1104发送的互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。
可选地,第二获取模块1103,用于获取与时间信息相关的音频信号,生成与音频信号对应的音频指纹,将音频指纹作为获取到的多媒体数据。
可选地,第二获取模块1103,用于获取与时间信息相关的音频信号,将音频信号作为获取到的多媒体数据。
可选地,第二获取模块1103,用于获取与时间信息相关的图像数据,将图像数据作为获取到的多媒体数据。
参见图12,该终端还包括:
第三获取模块1106,用于获取用户信息;
其中,发送模块1104,用于发送至少包括多媒体数据、用户信息及时间信息的互动信息获取请求;
接收模块1105,用于接收与互动信息获取请求中的多媒体数据、用户信息及时间信息匹配的互动信息。
本实施例提供的终端,通过确定互动指令的时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
图13是根据一示例性实施例示出的一种终端,图13展示出了本发明示例性实施例所涉及的具有触敏表面的终端结构示意图,该终端可以用于实施上述图4至图6以及图9所示的任一示例性实施例所示出的互动信息的获取方法中终端所执行的功能。具体来讲:
终端1300可以包括RF(RadioFrequency,射频)电路110、包括有一个或一个以上计算机可读存储介质的存储器120、输入单元130、显示单元140、传感器150、音频电路160、传输模块170、包括有一个或者一个以上处理核心的处理器180、以及电源1100等部件。本领域技术人员可以理解,图13中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路110可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器180处理;另外,将涉及上行的数据发送给基站。通常,RF电路110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(LowNoiseAmplifier,低噪声放大器)、双工器等。此外,RF电路110还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议,包括但不限于GSM(GlobalSystemofMobilecommunication,全球移动通讯系统)、GPRS(GeneralPacketRadioService,通用分组无线服务)、CDMA(CodeDivisionMultipleAccess,码分多址)、WCDMA(WidebandCodeDivisionMultipleAccess,宽带码分多址)、LTE(LongTermEvolution,长期演进)、电子邮件、SMS(ShortMessagingService,短消息服务)等。
存储器120可用于存储软件程序以及模块,如上述图11或图12所示的示例性实施例所示出的终端所对应的软件程序以及模块,处理器180通过运行存储在存储器120的软件程序以及模块,从而执行各种功能应用以及数据处理,如实现互动信息获取等。存储器120可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端1300的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器120可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器120还可以包括存储器控制器,以提供处理器180和输入单元130对存储器120的访问。
输入单元130可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元130可包括触敏表面131以及其他输入设备132。触敏表面131,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面131上或在触敏表面131附近的操作),并根据预先设定的程式驱动相应的链接装置。可选的,触敏表面131可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器180,并能接收处理器180发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面131。除了触敏表面131,输入单元130还可以包括其他输入设备132。具体地,其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元140可用于显示由用户输入的信息或提供给用户的信息以及终端1300的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元140可包括显示面板141,可选的,可以采用LCD(LiquidCrystalDisplay,液晶显示器)、OLED(OrganicLight-EmittingDiode,有机发光二极管)等形式来配置显示面板141。进一步的,触敏表面131可覆盖显示面板141,当触敏表面131检测到在其上或附近的触摸操作后,传送给处理器180以确定触摸事件的类型,随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图13中,触敏表面131与显示面板141是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面131与显示面板141集成而实现输入和输出功能。
终端1300还可包括至少一种传感器150,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板141的亮度,接近传感器可在终端1300移动到耳边时,关闭显示面板141和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于终端1300还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路160、扬声器161,传声器162可提供用户与终端1300之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号,传输到扬声器161,由扬声器161转换为声音信号输出;另一方面,传声器162将收集的声音信号转换为电信号,由音频电路160接收后转换为音频数据,再将音频数据输出处理器180处理后,经RF电路110以发送给比如另一终端,或者将音频数据输出至存储器120以便进一步处理。音频电路160还可能包括耳塞插孔,以提供外设耳机与终端1300的通信。
终端1300通过传输模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线或有线的宽带互联网访问。虽然图13示出了传输模块170,但是可以理解的是,其并不属于终端1300的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器180是终端1300的控制中心,利用各种接口和线路链接整个手机的各个部分,通过运行或执行存储在存储器120内的软件程序和/或模块,以及调用存储在存储器120内的数据,执行终端1300的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器180可包括一个或多个处理核心;优选的,处理器180可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器180中。
终端1300还包括给各个部件供电的电源1100(比如电池),优选的,电源可以通过电源管理系统与处理器180逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1100还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,终端1300还可以包括摄像头、蓝牙模块等,在此不再赘述。具体在本实施例中,终端的显示单元是触摸屏显示器,终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行述一个或者一个以上程序包含用于进行以下操作的指令:
获取互动指令;
确定互动指令的时间信息;
获取与时间信息相关的多媒体数据;
发送至少包括多媒体数据及时间信息的互动信息获取请求;
接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:
获取与时间信息相关的音频信号,生成与音频信号对应的音频指纹,将音频指纹作为获取到的多媒体数据。
在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:
获取与时间信息相关的音频信号,将音频信号作为获取到的多媒体数据。
在第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:
获取与时间信息相关的图像数据,将图像数据作为获取到的多媒体数据。
在第一、第二、第三或第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,终端的存储器中,还包含用于执行以下操作的指令:
获取用户信息;
发送至少包括多媒体数据、用户信息及时间信息的互动信息获取请求;
接收与互动信息获取请求中的多媒体数据、用户信息及时间信息匹配的互动信息。
综上所述,本实施例提供的终端,通过确定互动指令的时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
本示例性实施例示出了一种计算机可读存储介质,该计算机可读存储介质可以是上述图13所示的示例性实施例示出的存储器中所包含的计算机可读存储介质;也可以是单独存在,未装配入终端中的计算机可读存储介质。所述计算机可读存储介质存储有一个或者一个以上程序,所述一个或者一个以上程序被一个或者一个以上的处理器用来执行互动信息的获取,所述方法包括:
获取互动指令;
确定互动指令的时间信息;
获取与时间信息相关的多媒体数据;
发送至少包括多媒体数据及时间信息的互动信息获取请求;
接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,执行获取与时间信息相关的多媒体数据的步骤,包括:
获取与时间信息相关的音频信号,生成与音频信号对应的音频指纹,将音频指纹作为获取到的多媒体数据。
在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,执行获取与时间信息相关的多媒体数据的步骤,包括:
获取与时间信息相关的音频信号,将音频信号作为获取到的多媒体数据。
在第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,执行获取与时间信息相关的多媒体数据的步骤,包括:
获取与时间信息相关的图像数据,将图像数据作为获取到的多媒体数据。
在第一、第二、第三或第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,该方法还包括:
获取用户信息;
执行发送至少包括多媒体数据及时间信息的互动信息获取请求的步骤,包括:发送至少包括多媒体数据、用户信息及时间信息的互动信息获取请求;
执行接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息的步骤,包括:接收与互动信息获取请求中的多媒体数据、用户信息及时间信息匹配的互动信息。
本发明实施例提供的计算机可读存储介质,通过确定互动指令的时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
本示例性实施例示出了一种图形用户接口,所述图形用户接口用在上述图11或图12所示的示例性实施例所示的终端上,所述终端包括触摸屏显示器、存储器和用于执行一个或者一个以上的程序的一个或者一个以上的处理器;所述图形用户接口包括:
获取互动指令;
确定互动指令的时间信息;
获取与时间信息相关的多媒体数据;
发送至少包括多媒体数据及时间信息的互动信息获取请求;
接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息。
本发明实施例提供的图形用户接口,通过确定互动指令的时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
图14是根据一示例性实施例示出的一种服务器,该服务器用于执行上述图3、图7、图8及图10所示的任一示例性实施例所示出的互动信息的获取方法中服务器所执行的功能。参见图14,该服务器包括:
第一获取模块1401,用于获取互动信息获取请求;
第二获取模块1402,用于获取与第一获取模块1401获取到的互动信息获取请求相关的时间信息,互动信息获取请求中至少包括多媒体数据;
第三获取模块1403,用于获取与多媒体数据匹配的节目信息;
第四获取模块1404,用于获取与第三获取模块1403获取到的节目信息及第二获取模块1402获取到的时间信息匹配的互动信息;
发送模块1405,用于发送第四获取模块1404获取到的互动信息。
参见图15,多媒体数据为音频指纹;第三获取模块1403,包括:
第一发送单元14031,用于发送音频指纹;
第一接收单元14032,用于接收与第一发送单元14031发送的音频指纹匹配的节目信息,节目信息至少包括与音频指纹匹配的节目的音频信号、名称及播放时间信息。
参见图16,多媒体数据为音频信号;第三获取模块1403,包括:
生成单元14033,用于生成与音频信号对应的音频指纹;
第二发送单元14034,用于发送生成单元14033生成的音频指纹;
第二接收单元14035,用于接收与第二发送单元14034发送的音频指纹匹配的节目信息,节目信息至少包括与音频指纹匹配的节目的音频信号、名称及播放时间信息。
参见图17,多媒体数据为图像数据;第三获取模块1403,包括:
第三发送单元14036,用于发送图像数据;
第三接收单元14037,用于接收与第三发送单元14036发送的图像数据匹配的节目信息,节目信息至少包括与图像数据匹配的节目的音频信号、名称及播放时间信息。
可选地,互动信息获取请求中还包括用户信息;
第四获取模块1404,用于获取与节目信息、用户信息及时间信息匹配的互动信息。
本实施例提供的服务器,通过接收终端发送的至少包括多媒体数据的互动信息获取请求,确定与互动信息获取请求匹配的时间信息后,并向终端返回与该多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
图18是根据一示例性实施例示出的一种服务器,该服务器可以用于实施上述图4、图8及图10所示的任一示例性实施例示出的互动信息的获取方法中服务器所执行的功能。具体来讲:参见图18,该服务器1800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(CentralProcessingUnit,CPU)2022(例如,一个或一个以上处理器)和存储器2032,一个或一个以上存储应用程序2042或数据2044的存储介质2030(例如一个或一个以上海量存储设备)。其中,存储器2032和存储介质2030可以是短暂存储或持久存储。存储在存储介质2030的程序可以包括一个或一个以上模块(图示没标出)。
服务器1800还可以包括一个或一个以上电源2026,一个或一个以上有线或无线网络接口2050,一个或一个以上输入输出接口2058,和/或,一个或一个以上操作系统2041,例如WindowsServerTM,MacOSXTM,UnixTM,LinuxTM,FreeBSDTM等等。
一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行,所述一个或者一个以上程序包含用于进行以下操作的指令:
获取互动信息获取请求及与互动信息获取请求相关的时间信息,互动信息获取请求中至少包括多媒体数据;
获取与多媒体数据匹配的节目信息;
获取与节目信息及时间信息匹配的互动信息;
发送互动信息。
假设上述为第一种可能的实施方式,则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中,还包含用于执行以下操作的指令:
发送音频指纹;
接收与音频指纹匹配的节目信息,节目信息至少包括与音频指纹匹配的节目的音频信号、名称及播放时间信息。
在第一种可能的实施方式作为基础而提供的第三种可能的实施方式中,还包含用于执行以下操作的指令:
生成与音频信号对应的音频指纹;
发送音频指纹;
接收与音频指纹匹配的节目信息,节目信息至少包括与音频指纹匹配的节目的音频信号、名称及播放时间信息。
在第一种可能的实施方式作为基础而提供的第四种可能的实施方式中,还包含用于执行以下操作的指令:
发送图像数据;
接收与图像数据匹配的节目信息,节目信息至少包括与图像数据匹配的节目的音频信号、名称及播放时间信息。
在第一、第二、第三或第四种可能的实施方式作为基础而提供的第五种可能的实施方式中,还包含用于执行以下操作的指令:
获取与节目信息、用户信息及时间信息匹配的互动信息。
本实施例提供的服务器,通过接收终端发送的至少包括多媒体数据的互动信息获取请求,确定与互动信息获取请求匹配的时间信息后,并向终端返回与该多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
本发明另一示例性实施例提供了一种互动信息的获取系统,该系统用于执行互动信息的获取方法。该系统包括:终端及服务器;
其中,终端如上述图2、图11至图13所示的实施例所示出的终端,详见上述示例性实施例,此处不再赘述;
服务器如上述图3、图14至图18所示的实施例所示出的服务器,详见上述服务器的示例性实施例,此处不再赘述。
本实施例提供的系统,通过确定时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及互动信息获取请求相关的时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
本发明另一示例性实施例提供了一种互动信息的获取系统,该系统用于执行互动信息的获取方法。该系统包括:终端及服务器;
其中,终端如上述图4、图6及图9所示的任一示例性实施例所示出的终端,详见上述示例性实施例,此处不再赘述;
服务器如上述图4至图6及图9所示的任一示例性实施例所示出的服务器,详见上述服务器的示例性实施例,此处不再赘述。
本实施例提供的系统,通过确定时间信息;获取与时间信息相关的多媒体数据;发送至少包括多媒体数据及时间信息的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
本发明另一示例性实施例提供了一种互动信息的获取系统,该系统用于执行互动信息的获取方法。该系统包括:终端及服务器;
其中,终端如上述图7、图8和图10所示的任一示例性实施例所示出的终端,详见上述示例性实施例,此处不再赘述;
服务器如上述图7、图8和图10所示的任一示例性实施例所示出的服务器,详见上述服务器的示例性实施例,此处不再赘述。
本实施例提供的系统,通过发送至少包括多媒体数据的互动信息获取请求;接收与互动信息获取请求中的多媒体数据及互动信息获取请求相关的时间信息匹配的互动信息,避免了由于显示二维码的设备的分辨率较低而造成互动信息获取失败的情况,同时,避免了由于输入互动信息获取指令错误或者遥控器操作错误而造成互动信息获取失败的情况,进而提高了获取互动信息的效率及准确性。
需要说明的是:上述实施例提供的终端及服务器在实现获取互动信息时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端及服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的终端、服务器及系统与互动信息的获取方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (27)

1.一种互动信息的获取方法,其特征在于,所述方法包括:
获取互动指令;
确定所述互动指令的时间信息;
获取与所述时间信息相关的多媒体数据;
获取用户信息;
发送至少包括所述多媒体数据、所述用户信息及时间信息的互动信息获取请求;
接收与所述互动信息获取请求中的多媒体数据、用户信息及时间信息匹配的互动信息。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述时间信息相关的多媒体数据,包括:
获取与所述时间信息相关的音频信号,生成与所述音频信号对应的音频指纹,将所述音频指纹作为获取到的多媒体数据。
3.根据权利要求1所述的方法,其特征在于,所述获取与所述时间信息相关的多媒体数据,包括:
获取与所述时间信息相关的音频信号,将所述音频信号作为获取到的多媒体数据。
4.根据权利要求1所述的方法,其特征在于,所述获取与所述时间信息相关的多媒体数据,包括:
获取与所述时间信息相关的图像数据,将所述图像数据作为获取到的多媒体数据。
5.一种互动信息的获取方法,其特征在于,所述方法包括:
获取互动信息获取请求及与所述互动信息获取请求相关的时间信息,所述互动信息获取请求中至少包括多媒体数据以及用户信息;
获取与所述多媒体数据匹配的节目信息;
获取与所述节目信息、所述用户信息及所述时间信息匹配的互动信息;
发送所述互动信息。
6.根据权利要求5所述的方法,其特征在于,所述多媒体数据为音频指纹;
所述获取与所述多媒体数据匹配的节目信息,包括:
发送所述音频指纹;
接收与所述音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
7.根据权利要求5所述的方法,其特征在于,所述多媒体数据为音频信号;
所述获取与所述多媒体数据匹配的节目信息,包括:
生成与所述音频信号对应的音频指纹;
发送所述音频指纹;
接收与所述音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
8.根据权利要求5所述的方法,其特征在于,所述多媒体数据为图像数据;
所述获取与所述多媒体数据匹配的节目信息,包括:
发送所述图像数据;
接收与所述图像数据匹配的节目信息,所述节目信息至少包括与所述图像数据匹配的节目的音频信号、名称及播放时间信息。
9.一种互动信息的获取方法,其特征在于,所述方法包括:
终端获取互动指令,确定所述互动指令的时间信息,获取与所述时间信息相关的多媒体数据,获取用户信息,向服务器发送至少包括所述多媒体数据、所述用户信息及所述时间信息的互动信息获取请求;
所述服务器获取所述终端发送的所述互动信息获取请求,获取与所述多媒体数据匹配的节目信息,获取与所述节目信息、所述用户信息及所述时间信息匹配的互动信息,向所述终端发送与所述节目信息、所述用户信息及所述时间信息匹配的互动信息;
所述终端接收所述服务器发送的与所述节目信息、所述用户信息及所述时间信息匹配的互动信息。
10.根据权利要求9所述的方法,其特征在于,所述终端获取与所述时间信息相关的多媒体数据,包括:
所述终端获取与所述时间信息相关的音频信号,生成与所述音频信号对应的音频指纹,将所述音频指纹作为获取到的多媒体数据;
所述服务器获取与所述多媒体数据匹配的节目信息,包括:
所述服务器发送所述音频指纹;
接收与所述音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
11.根据权利要求9所述的方法,其特征在于,所述终端获取与所述时间信息相关的多媒体数据,包括:
所述终端获取与所述时间信息相关的音频信号,将所述音频信号作为获取到的多媒体数据;
所述服务器获取与所述多媒体数据匹配的节目信息,包括:
所述服务器生成与所述音频信号对应的音频指纹;
发送所述音频指纹;
接收与所述音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
12.根据权利要求9所述的方法,其特征在于,所述终端获取与所述时间信息相关的多媒体数据,包括:
所述终端获取与所述时间信息相关的图像数据,将所述图像数据作为获取到的多媒体数据;
所述服务器获取与所述多媒体数据匹配的节目信息,包括:
所述服务器发送所述图像数据;
接收与所述图像数据匹配的节目信息,所述节目信息至少包括与所述图像数据匹配的节目的音频信号、名称及播放时间信息。
13.一种互动信息的获取方法,其特征在于,所述方法包括:
终端获取互动指令,根据所述互动指令获取多媒体数据以及用户信息,向服务器发送至少包括所述多媒体数据及所述用户信息的互动信息获取请求;
所述服务器获取所述终端发送的所述互动信息获取请求,获取与所述互动信息获取请求相关的时间信息,获取与所述多媒体数据匹配的节目信息,获取与所述节目信息、所述用户信息及所述时间信息匹配的互动信息,向所述终端发送与所述节目信息、所述用户信息及所述时间信息匹配的互动信息;
所述终端接收所述服务器发送的与所述节目信息、所述用户信息及所述时间信息匹配的互动信息。
14.根据权利要求13所述的方法,其特征在于,所述终端根据所述互动指令获取多媒体数据,包括:
所述终端根据所述互动指令获取音频信号,生成与所述音频信号对应的音频指纹,将所述音频指纹作为获取到的多媒体数据;
所述服务器获取与所述多媒体数据匹配的节目信息,包括:
所述服务器发送所述音频指纹;
接收与所述音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
15.根据权利要求13所述的方法,其特征在于,所述终端根据所述互动指令获取多媒体数据,包括:
所述终端根据所述互动指令获取音频信号,将所述音频信号作为获取到的多媒体数据;
所述服务器获取与所述多媒体数据匹配的节目信息,包括:
所述服务器生成与所述音频信号对应的音频指纹;
发送所述音频指纹;
接收与所述音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
16.根据权利要求13所述的方法,其特征在于,所述终端根据所述互动指令获取多媒体数据,包括:
所述终端根据所述互动指令获取图像数据,将所述图像数据作为获取到的多媒体数据;
所述服务器获取与所述多媒体数据匹配的节目信息,包括:
所述服务器发送所述图像数据;
接收与所述图像数据匹配的节目信息,所述节目信息至少包括与所述图像数据匹配的节目的音频信号、名称及播放时间信息。
17.一种终端,其特征在于,所述终端包括:
第一获取模块,用于获取互动指令;
确定模块,用于确定所述第一获取模块获取到互动指令的时间信息;
第二获取模块,用于获取与所述确定模块确定的时间信息相关的多媒体数据;
第三获取模块,用于获取用户信息;
发送模块,用于发送至少包括所述第二获取模块获取到的多媒体数据、所述第三获取模块获取到的用户信息及所述确定模块确定的时间信息的互动信息获取请求;
接收模块,用于接收与所述发送模块发送的互动信息获取请求中的多媒体数据、用户信息及时间信息匹配的互动信息。
18.根据权利要求17所述的终端,其特征在于,所述第二获取模块,用于获取与所述时间信息相关的音频信号,生成与所述音频信号对应的音频指纹,将所述音频指纹作为获取到的多媒体数据。
19.根据权利要求17所述的终端,其特征在于,所述第二获取模块,用于获取与所述时间信息相关的音频信号,将所述音频信号作为获取到的多媒体数据。
20.根据权利要求17所述的终端,其特征在于,所述第二获取模块,用于获取与所述时间信息相关的图像数据,将所述图像数据作为获取到的多媒体数据。
21.一种服务器,其特征在于,所述服务器包括:
第一获取模块,用于获取互动信息获取请求,所述互动信息获取请求中至少包括多媒体数据以及用户信息;
第二获取模块,用于获取与所述第一获取模块获取到的互动信息获取请求相关的时间信息;
第三获取模块,用于获取与所述多媒体数据匹配的节目信息;
第四获取模块,用于获取与所述第三获取模块获取到的节目信息、所述第一获取模块获取到的用户信息及所述第二获取模块获取到的时间信息匹配的互动信息;
发送模块,用于发送所述第四获取模块获取到的互动信息。
22.根据权利要求21所述的服务器,其特征在于,所述多媒体数据为音频指纹;
所述第三获取模块,包括:
第一发送单元,用于发送所述音频指纹;
第一接收单元,用于接收与所述第一发送单元发送的音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
23.根据权利要求21所述的服务器,其特征在于,所述多媒体数据为音频信号;
所述第三获取模块,包括:
生成单元,用于生成与所述音频信号对应的音频指纹;
第二发送单元,用于发送所述生成单元生成的音频指纹;
第二接收单元,用于接收与所述第二发送单元发送的音频指纹匹配的节目信息,所述节目信息至少包括与所述音频指纹匹配的节目的音频信号、名称及播放时间信息。
24.根据权利要求21所述的服务器,其特征在于,所述多媒体数据为图像数据;
所述第三获取模块,包括:
第三发送单元,用于发送所述图像数据;
第三接收单元,用于接收与所述第三发送单元发送的图像数据匹配的节目信息,所述节目信息至少包括与所述图像数据匹配的节目的音频信号、名称及播放时间信息。
25.一种互动信息的获取系统,其特征在于,所述系统包括:终端及服务器;
所述终端,如权利要求9至12中任一权利要求所述的终端;
所述服务器,如权利要求9至12中任一权利要求所述的服务器。
26.一种互动信息的获取系统,其特征在于,所述系统包括:终端及服务器;
所述终端,如权利要求13至16中任一权利要求所述的终端;
所述服务器,如权利要求13至16中任一权利要求所述的服务器。
27.一种互动信息的获取系统,其特征在于,所述系统包括:终端及服务器;
所述终端,如权利要求17至20中任一权利要求所述的终端;
所述服务器,如权利要求21至24中任一权利要求所述的服务器。
CN201410367512.1A 2014-05-29 2014-07-29 互动信息的获取方法、终端、服务器及系统 Active CN104159136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410367512.1A CN104159136B (zh) 2014-05-29 2014-07-29 互动信息的获取方法、终端、服务器及系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410235379.4 2014-05-29
CN201410235379 2014-05-29
CN201410367512.1A CN104159136B (zh) 2014-05-29 2014-07-29 互动信息的获取方法、终端、服务器及系统

Publications (2)

Publication Number Publication Date
CN104159136A CN104159136A (zh) 2014-11-19
CN104159136B true CN104159136B (zh) 2016-01-13

Family

ID=51884526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410367512.1A Active CN104159136B (zh) 2014-05-29 2014-07-29 互动信息的获取方法、终端、服务器及系统

Country Status (4)

Country Link
US (1) US20170280189A1 (zh)
JP (2) JP2017521899A (zh)
CN (1) CN104159136B (zh)
WO (1) WO2015180652A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159136B (zh) * 2014-05-29 2016-01-13 腾讯科技(深圳)有限公司 互动信息的获取方法、终端、服务器及系统
CN105307031B (zh) * 2015-10-21 2019-06-28 天脉聚源(北京)科技有限公司 一种多用户信息的推送方法及装置
CN106657188A (zh) * 2015-11-02 2017-05-10 天脉聚源(北京)科技有限公司 一种微信摇一摇终端内容推送方法及系统
CN105451048A (zh) * 2015-12-20 2016-03-30 天脉聚源(北京)科技有限公司 一种互动电视系统配置互动信息的方法及装置
JP6984083B2 (ja) * 2016-01-06 2021-12-17 テレビジョン・インサイツ、インコーポレイテッド 視聴者エンゲージメントを評価するためのシステム
CN107017978B (zh) * 2016-01-28 2021-01-15 阿里巴巴集团控股有限公司 终端设备间的信息同步方法及装置
CN105933739B (zh) 2016-04-22 2019-08-13 腾讯科技(深圳)有限公司 节目互动系统、方法、客户端及后台服务器
US20230319348A1 (en) 2017-09-12 2023-10-05 Dental Imaging Technologies Corporation Systems and methods for assessing viewer engagement
US11128686B2 (en) 2018-05-07 2021-09-21 Spotify Ab Cloud-based preset for media content playback
JP7237813B2 (ja) 2019-12-17 2023-03-13 賢涓 魏 餡入り焼きそばとその製造方法
CN115857762A (zh) 2021-09-24 2023-03-28 北京字节跳动网络技术有限公司 一种答复问题方法、装置、设备、介质及程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102843599A (zh) * 2012-09-27 2012-12-26 北京导视互动网络技术有限公司 电视节目的互动方法及系统
CN102892031A (zh) * 2012-09-26 2013-01-23 西南石油大学 一种手机智能识别电视节目的方法
CN103402118A (zh) * 2013-07-05 2013-11-20 Tcl集团股份有限公司 一种媒体节目互动方法及系统
CN103686427A (zh) * 2013-12-10 2014-03-26 深圳市环球数码科技有限公司 一种影院互动系统及互动方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002238043A (ja) * 2001-02-09 2002-08-23 Ntt Data Corp 利用者端末及び情報提供方法
JP2005157629A (ja) * 2003-11-25 2005-06-16 Matsushita Electric Ind Co Ltd 電子チラシ提供システム
KR100727072B1 (ko) * 2005-10-28 2007-06-12 주식회사 케이티프리텔 방송 컨텐츠 정보 제공 방법 및 시스템
US20110063503A1 (en) * 2009-07-06 2011-03-17 Brand Steven M Synchronizing secondary content to a multimedia presentation
EP2483889B2 (en) * 2009-09-30 2020-07-15 Rovi Guides, Inc. Systems and methods for identifying audio content using an interactive media guidance application
US9264785B2 (en) * 2010-04-01 2016-02-16 Sony Computer Entertainment Inc. Media fingerprinting for content determination and retrieval
US8560583B2 (en) * 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
US8694533B2 (en) * 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
KR101310943B1 (ko) * 2011-09-26 2013-09-23 (주)엔써즈 방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법
JP5934591B2 (ja) * 2012-07-18 2016-06-15 日立マクセル株式会社 番組情報送信装置、番組情報受信装置および番組情報送信方法
CN103686256A (zh) * 2012-08-31 2014-03-26 北京网秦天下科技有限公司 一种显示互动信息的方法和系统
CN103281592A (zh) * 2013-06-06 2013-09-04 云通慧联(上海)网络技术有限公司 一种互动视频的制作及实现方法
CN103618953B (zh) * 2013-08-15 2016-09-14 北京中视广信科技有限公司 基于音频特征的广播电视节目标识与识别的方法及系统
CN103581729B (zh) * 2013-08-15 2019-01-22 科大讯飞股份有限公司 基于视频监测的互动方法及系统
CN104159136B (zh) * 2014-05-29 2016-01-13 腾讯科技(深圳)有限公司 互动信息的获取方法、终端、服务器及系统
CN104023250B (zh) * 2014-06-13 2015-10-21 腾讯科技(深圳)有限公司 基于流媒体的实时互动方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102892031A (zh) * 2012-09-26 2013-01-23 西南石油大学 一种手机智能识别电视节目的方法
CN102843599A (zh) * 2012-09-27 2012-12-26 北京导视互动网络技术有限公司 电视节目的互动方法及系统
CN103402118A (zh) * 2013-07-05 2013-11-20 Tcl集团股份有限公司 一种媒体节目互动方法及系统
CN103686427A (zh) * 2013-12-10 2014-03-26 深圳市环球数码科技有限公司 一种影院互动系统及互动方法

Also Published As

Publication number Publication date
JP2021005898A (ja) 2021-01-14
JP7043562B2 (ja) 2022-03-29
WO2015180652A1 (en) 2015-12-03
US20170280189A1 (en) 2017-09-28
JP2017521899A (ja) 2017-08-03
CN104159136A (zh) 2014-11-19

Similar Documents

Publication Publication Date Title
CN104159136B (zh) 互动信息的获取方法、终端、服务器及系统
CN104159159B (zh) 基于视频的交互方法、终端、服务器及系统
CN104113782B (zh) 基于视频的签到方法、终端、服务器及系统
CN104066009B (zh) 节目识别方法、装置、终端、服务器及系统
CN105430424A (zh) 一种视频直播的方法、装置和系统
CN103596017B (zh) 一种视频下载方法及系统
CN104869468A (zh) 一种显示弹幕信息的方法和装置
CN104618440A (zh) 智能设备控制方法及装置
CN105025314A (zh) 多媒体直播方法与装置
CN103400592A (zh) 录音方法、播放方法、装置、终端及系统
CN103458305A (zh) 视频播放方法、装置、终端设备和服务器
CN106791955B (zh) 一种确定直播时长的方法和系统
CN104822090A (zh) 视频播放的方法、装置和系统
CN105554522A (zh) 在群组内播放音频的方法、服务器及终端
CN104820665A (zh) 展示推荐信息的方法、终端及服务器
CN104967608B (zh) 播放多媒体文件的方法、移动终端及固定终端
CN104796743A (zh) 内容项显示系统、方法及设备
CN103458277B (zh) 一种操作直播频道节目的方法和装置
CN103475914A (zh) 视频播放方法、装置、终端设备和服务器
CN105516784A (zh) 虚拟物品显示方法及装置
CN104426962A (zh) 多终端绑定的方法、绑定服务器、终端及系统
CN104935955A (zh) 一种传输直播视频流的方法、装置和系统
CN106231433A (zh) 一种播放网络视频的方法、装置和系统
CN103945241A (zh) 一种流媒体数据的统计方法、系统及相关装置
CN105959482A (zh) 一种场景音效的控制方法、及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant