CN105898365A - 跨屏互动方法、装置、服务器和终端设备 - Google Patents

跨屏互动方法、装置、服务器和终端设备 Download PDF

Info

Publication number
CN105898365A
CN105898365A CN201510784607.8A CN201510784607A CN105898365A CN 105898365 A CN105898365 A CN 105898365A CN 201510784607 A CN201510784607 A CN 201510784607A CN 105898365 A CN105898365 A CN 105898365A
Authority
CN
China
Prior art keywords
interaction content
content
interaction
audio signal
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510784607.8A
Other languages
English (en)
Inventor
刘岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Information Technology Beijing Co Ltd
Original Assignee
LeTV Information Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Information Technology Beijing Co Ltd filed Critical LeTV Information Technology Beijing Co Ltd
Priority to CN201510784607.8A priority Critical patent/CN105898365A/zh
Priority to PCT/CN2016/082634 priority patent/WO2017084265A1/zh
Publication of CN105898365A publication Critical patent/CN105898365A/zh
Priority to US15/247,356 priority patent/US20170142477A1/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12—Messaging; Mailboxes; Announcements

Abstract

本发明公开了跨屏互动方法、装置、服务器和终端设备，该方法包括：对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码，将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。实现了互动内容与视频内容之间的分离，使互动内容不会占用显示设备的资源并且不会影响用户对视频内容的欣赏，有助于提升用户参与互动的意愿和积极性。

Description

跨屏互动方法、装置、服务器和终端设备
技术领域
本发明属于互联网领域，具体地说，涉及一种跨屏互动方法、装置、服务器和终端设备。
背景技术
随着互联网多媒体技术的普及，通过视频应用程序观看在线视频内容已逐渐成为人们工作、学习、娱乐、生活中非常重要的一部分。
当前主流的视频广告交互技术通常是在开始播放视频之前播放相应的广告互动信息，或者是在播放视频的同时在视频界面的一角播放广告互动信息时，用户点击视频中的广告互动信息，然后启动第三方客户端浏览器访问指定的信息页。在这个过程中，由于需要启动第三方客户端软件，这就涉及软件的初始化等操作，也就不可避免的需要耗费一定的CPU、内存资源，从而降低了视频播放终端的响应速度；而在视频界面的一角展示广告互动信息有时会影响用户对视频内容的欣赏。
总之，视频的广告互动信息目前都集中在视频播放终端一侧，用户参与相应的广告互动时往往会影响到视频的正常观看，从而使用户参与互动的意愿降低。
发明内容
有鉴于此，本发明提供了跨屏互动方法、装置、服务器和终端设备，用以解决现有技术中视频的广告交互信息都集中在视频播放终端一侧，使用户参与互动的意愿降低的技术问题。
为了解决上述技术问题，本发明实施例公开了一种跨屏互动方法，所述方法包括：对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码,将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容
为了解决上述技术问题，本发明实施例还公开了一种跨屏互动方法，所述方法包括：对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号；当采集到所述第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容；从所述服务器接收到所述互动内容并进行展示。
为了解决上述技术问题，本发明实施例还公开了一种跨屏互动装置，所述装置包括：编码调制模块，用于对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；音频叠加模块，用于将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；互动内容发送模块，用于接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码,将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。
为了解决上述技术问题，本发明实施例还公开了一种跨屏互动装置，所述装置包括：音频采集模块，用于对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号，所述第一音频信号被叠加到所述第二音频信号的预设互动时间段；编码发送模块，用于当获取所述音频中的第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容；互动内容展示模块，用于从所述服务器接收到所述互动内容并进行展示。
为了解决上述技术问题，本发明实施例还公开了一种服务器，包括：第一处理器；用于存储所述第一处理器可执行指令的第一存储器；其中，所述第一处理器被配置为：对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码,将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。
为了解决上述技术问题，本发明实施例还公开了一种终端设备，其特征在于，包括：第二处理器；用于存储所述第二处理器可执行指令的第二存储器；其中，所述第二处理器被配置为：对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号；当采集到所述第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容；从所述服务器接收到所述互动内容并进行展示。
与现有技术相比，本发明实施例提供的跨屏互动方法、装置、服务器和终端设备，将互动内容标识编码调制为人类听觉无法感知的第一音频信号，并将第一音频信号叠加在第二音频信号，显示设备播放视频内容时，终端设备采集到第一音频信号并解调出互动内容标识的编码，由服务器将该编码对应的互动内容发送至终端设备进行展示，用户在观看显示设备播放的视频时，不会感知到被叠加的第一音频信号，因此不影响到正常观看，终端设备展示该互动内容，实现了互动内容与视频内容之间的分离，使互动内容不会占用显示设备的资源并且不会影响用户对视频内容的欣赏，有助于提升用户参与互动的意愿和积极性，提高了互动内容的参与性和趣味性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种跨屏互动方法的流程图；
图2是本发明实施例提供的一种跨屏互动方法的流程图；
图3是本发明实施例提供的一种跨屏互动方法的流程图；
图4是本发明实施例提供的一种跨屏互动系统的框图；
图5是本发明实施例提供的一种跨屏互动方法的流程图；
图6是本发明实施例提供的一种跨屏互动装置的框图；
图7是本发明实施例提供的一种跨屏互动装置的框图；
图8是本发明实施例提供的一种跨屏互动装置的框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例，将互动内容标识经过编码调制转换为人类听觉不能感知的高频音频(频率大于20KHz)，与视频内容的预设互动时间段的音频的进行叠加，显示设备播放所述视频内容至预设互动时间段时，终端设备采集到高频音频并解调出对应的互动内容标识的编码，通过后台服务器匹配到该编码对应的互动内容，终端设备接收该互动内容并进行展示，将互动内容从负责视频播放的显示设备转移到了终端设备，从而不影响视频内容的正常播放，也提升了互动内容的参与性和趣味性。
图1是本发明实施例提供的一种跨屏互动方法，适用于服务器，包括以下步骤。
在步骤S101中，对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号。
其中，第一音频信号是人类无法听到的高频音频信号，其频率大于20KHz。服务器设备对不同的互动内容标识分别进行编码调制，给每个互动内容标识生成对应的第一音频信号。例如，可采用幅移键控(Amplitude ShiftKeying，ASK)、频移键控(Frequency Shift Keying，FSK)、相移键控(PhaseShift Keying，PSK)等技术来完成编码调制。
在步骤S102中，将第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放。
预设互动时间段是在视频内容的播放时间轴预设的产生互动内容的时间段，在该预设互动时间段将第一音频信号叠加到第二音频信号中。
在步骤S103中，接收终端设备在检测到所述第一音频信号后发送的互动内容标识的编码,将与编码对应的互动内容发送给终端设备，由终端设备展示互动内容。
当显示设备播放音频叠加后的视频内容至预设互动时间段，并且终端设备采集到第一音频信号并解调出对应的互动内容标识的编码时，服务器接收到来自终端设备的互动内容标识的编码。
服务器通过与步骤S101中进行编码转换的逆运算将接收到的编码再转换为字符格式的互动内容标识。根据互动内容标识确定对应的互动内容并发送给终端设备进行展示。
其中，互动内容包括但不限于投票、点评、结果竞猜、参与游戏、问卷调研、广告信息等。
如果根据转换后的互动内容标识匹配相应的互动内容，服务器返回已匹配到互动内容的消息并发送互动内容至终端设备，由终端设备展示该互动内容；如果根据转换后的互动内容标识没有匹配到相应的互动内容，服务器返回未匹配到互动内容的消息至终端设备，终端设备不会响应此未匹配到互动内容的消息，从而不会影响到用户继续欣赏显示设备播放的视频内容。
本实施例中，服务器将互动内容标识编码调制为人类听觉无法感知的第一音频信号，并将第一音频信号叠加在第二音频信号的预设互动时间段。服务器将音频叠加后的视频内容发送至显示设备进行播放，当终端设备采集到第一音频信号并解调出互动内容标识的编码时，服务器接收到该编码并转换出对应的互动内容标识，再将对应的互动内容发送至终端设备进行展示。上述过程中，用户在观看显示设备播放的视频时，在预设互动时间段不会感知到被叠加的第一音频信号，因此不影响到正常观看，服务器发送互动内容至终端设备，由终端设备展示该互动内容，实现了互动内容与视频内容之间的分离，使互动内容不会占用显示设备的资源并且不会影响用户对视频内容的欣赏，有助于提升用户参与互动的意愿和积极性，提高了互动内容的参与性和趣味性。
在一个实施例中，步骤S101进一步被实施为以下步骤。
在步骤S1011中，将所述互动内容标识由字符格式转换为ASC Ⅱ码，再转换为对应的二进制码。
ASC Ⅱ码(美国信息交换标准代码)ASCII码使用指定的7位或8位二进制数组合来表示128或256种可能的字符。标准ASCII码也叫基础ASCII码，使用7位二进制数来表示所有的大写和小写字母，数字0到9、标点符号，以及在美式英语中使用的特殊控制字符。因此，可以将包括数字或者字母的字符格式的互动内容标识中的每一个字符都转换为ASC Ⅱ码，再转换为对应的二进制码。
在步骤S1012中，将二进制码通过二进制频移键控调制为第一音频信号。
数字频率调制又称频移键控(Frequency-Shift Keying，FSK)，二进制频移键控记作2FSK。频移键控是用载波的频率来传送数字消息，即用所传送的数字消息控制载波的频率。2FSK信号便是符号“1”对应于载频f1，而符号“0”对应于载频f2(与f1不同的另一载频)的已调波形，而且f1与f2之间的改变是瞬间完成的，即使用两个不同频率的载波信号来传输一个二进制信息序列。频移键控法的优势在于转换速度快、波形好、稳定度高且易于实现。
对每一个字符对应的二进制信息序列都调制为频率大于20KHz的高频音频，一个互动内容标识的全部字符所对应的高频音频组成了该第一音频信号。
本实施例中，将字符格式的互动内部标识转换为二进制码，从而利用2FSK调制为人类听觉不能感知的第一音频信号，相应的，在步骤S103中，服务器接收到的互动内容标识的编码，是终端设备利用2FSK对第一音频信号进行解调而获得的二进制码；将所述编码对应二进制码转换为ASC Ⅱ码，再转换为字符格式的互动内容标识。采用二进制频移键控完成对第一音频信号的调制解调，数据转换速率快，且抗噪声、抗衰减能力更佳。
图2是本发明实施例提供的一种跨屏互动方法，适用于终端设备，终端设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，车载控制台，平板设备，医疗设备，健身设备，个人数字助理等。如图2所示，该方法包括以下步骤。
在步骤S201中，对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号，所述第一音频信号被叠加到所述第二音频信号的预设互动时间段。
终端设备本地配置有软件开发工具包(Software Development Kit，SDK)可以编译相应的应用程序对采集的音频做进一步处理。
在步骤S202中，当采集到所述第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容。
调用高通滤波器获取频率大于20KHz的第一音频信号，当视频内容播放到预设互动时间段时，能够获取到叠加在第二音频信号中的第一音频信号。
调用相应的解调器对第一音频信号进行解调处理，得到对应的互动内容标识的编码。
对应于服务器采用二进制频移键控对互动内容标识的编码进行调制的实施例，此时终端设备相应的采用二进制频移键控对采集到第一音频信号进行解调，得到与互动内容标识的编码对应的二进制码并发送至服务器。
在步骤S203中，从服务器接收到互动内容并进行展示。
终端设备发送解调出的编码至服务器后，开始监听服务器返回的消息。如果监听到服务器返回的已匹配到互动内容的消息，则接收来自服务器的互动内容并进行展示；如果监听到未匹配到互动内容的消息，则继续监听服务器返回的消息。
终端设备展示与解调出的编码对应的互动内容，包括但不限于投票、点评、结果竞猜、参与游戏、问卷调研、广告信息等。
本实施例中，终端设备在显示设备播放视频时采集音频，在预设互动时间段获取到用户感知不到的第一音频信号，解调出相应的互动内容标识的编码并发送到服务器，接收服务器返回的互动内容并展示。实现了视频播放与互动内容展示的分离，使互动内容不会占用显示设备的资源并且不会影响用户对视频内容的欣赏，有助于提升用户参与互动的意愿和积极性，提高了互动内容的参与性和趣味性。
图3是本申请实施例提供的一种跨屏互动方法，适用于显示设备，显示设备可以是智能电视、智能手机、计算机，数字广播终端，消息收发设备，游戏控制台，车载控制台，平板设备等。如图3所示，该方法包括以下步骤。
在步骤S301中，从服务器接收到音频叠加后的视频内容，叠加后的音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号，所述第一音频信号被叠加到所述第二音频信号的预设互动时间段。
在步骤S302中，播放视频内容，使终端设备能够在预设互动时间段获取到第一音频信号并解调出第一音频信号对应的互动内容标识的编码，再通过服务器获取编码对应的互动内容并进行展示。
本实施例中，显示设备所播放的视频内容在预设互动时间段包含有用户无法感知到的第一音频信号，而如果用户的终端设备的应用程序采集到了第一音频信号并进行解调，并能够从服务器获取到相应的互动内容，从而在终端设备展示该互动内容。用户并不知晓该预设互动时间段也感知不到第一音频信号，因此不会影响用户观看视频内容，并且将第一音频信号对应的互动内容转移到了终端设备进行展示，实现了视频播放与互动内容展示的分离，使互动内容不会占用显示设备的资源并且不会影响用户对视频内容的欣赏，有助于提升用户参与互动的意愿和积极性，提高了互动内容的参与性和趣味性。
下面通过应用场景对本发明实施例提供的跨屏互动方法做进一步说明。
如图4所示的跨屏互动系统包括智能电视40，移动终端41和服务器42，智能电视40和移动终端41分别与服务器42通信连接，移动终端41采集智能电视40播放视频内容时的音频，并通过安装的应用程序对采集到音频进行处理。由该跨屏互动系统实现的跨屏互动方法如图5所示，包括以下步骤。
在步骤S501中，服务器42对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号。
例如，字符格式的标识“001”代表“广告1”，将该标识由字符格式转化为ASCII码格式，获取该标识的ASCII码形式，例如字符“001”的ASCII码为“30 30 31”。再将该标识由ASCII码格式转化为二进制编码形式，获取该标识的二进制编码形式，例如，“30 30 31”的二进制编码为“0011000000110000 00110001”。在通过2FSK将二进制编码中的三个二进制数字序列分别编码为频率各不相同并且高于20KHz的音频，组成第一音频信号。
在步骤S502中，服务器42将第一音频信号与视频内容的第二音频信号进行叠加，叠加到第二音频信号的预设互动时间段。
例如，预设互动时间段在该视频内容的第15分30秒至40秒，通过音频编解码将第一音频信号叠加到第二音频信号的第15分30秒至40秒。
在步骤S503中，服务器42将音频叠加后的视频内容发送至智能电视40。
在步骤S504中，智能电视40通过视频内容标识向服务器42请求视频内容。例如，通过视频内容名称、频道编号等标识信息向服务器42请求视频内容。
在步骤S505中，服务器42相应的已经过音频叠加处理的视频内容发送智能电视40进行播放。
在步骤S506中，智能电视40播放从服务器42获取到的视频内容。
在步骤S507中，移动终端41采集智能电视40播放该视频内容时的音频，当该视频内容被播放至预设互动时间段时，移动终端41获取到第一音频信号。
例如，视频内容播放到第15分30秒至40秒时，移动终端41通过调用高通滤波器获取到了第一音频信号。
在步骤S508中，移动终端41根据第一音频信号解调出对应的互动内容标识的编码并发送至服务器42。
例如，移动终端41通过2FSK解调出二进制编码“00110000 0011000000110001”，将该二进制编码发送至服务器42。
在步骤S509中，服务器42判断是否能够获取到该编码对应的互动内容。当服务器42获取到该编码对应的互动内容时，执行步骤S510；当服务器42未获取到该编码对应的互动内容时，执行步骤S512。
例如，服务器42将二进制编码“00110000 00110000 00110001”转换为对应的ASCII码“30 30 31”，再进一步转换为字符格式的标识“001”，以判断是否能够匹配到该标识对应的互动内容。
在步骤S510中，服务器42返回获取到互动内容的消息并发送该互动内容至移动终端41。
例如，服务器42匹配到标识“001”对应的“广告1”，则发送“广告1”至移动终端41。
在步骤S511中，移动终端41展示该互动内容。
移动终端41播放该“广告1”。
在步骤S512中，服务器42返回未获取到互动内容的消息至移动终端41。
在步骤S513中，移动终端41继续采集智能电视40播放出的音频。
在上述应用场景中，互动内容并不限于广告，还可以是投票、点评、结果竞猜、参与游戏、问卷调研等。
在上述应用场景中，将互动内容从智能电视40转移到了移动终端41进行展示，实现了互动内容的跨屏展示，使互动内容不会占用智能电视40的资源并且不会影响用户对视频内容的欣赏，有助于提升用户参与互动的意愿和积极性。
以下为本发明的装置实施例，用以执行本发明实施例的上述方法。
图6是本发明实施例提供的一种跨屏互动装置的框图，位于服务器6侧，该装置包括编码调制模块60，音频叠加模块61和互动内容发送模块62；其中，
编码调制模块60与音频叠加模块61电连接，用于对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；
音频叠加模块61用于用于将第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；
互动内容发送模块62，用于接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码,将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。
在一个实施例中，该编码调制模块60进一步包括第一编码子模块和调制子模块；其中，
第一编码转换子模块与调制子模块电连接，用于将互动内容标识由字符格式转换为ASC Ⅱ码，再转换为对应的二进制码；
调制子模块，用于将二进制码通过二进制频移键控调制为第一音频信号。
在一个实施例中，该互动内容发送模块62进一步包括第二编码转换子模块，判断子模块，第一发送子模块和第二发送子模块；其中，
第二编码转换子模块与判断子模块电连接，用于将编码转换为ASC Ⅱ码，再转换为字符格式的互动内容标识；
判断子模块分别与第一发送子模块和第二发送子模块电连接，用于判断互动内容标识是否匹配到对应的互动内容；
第一发送子模块，用于当匹配到对应的互动内容时，返回已匹配到互动内容的消息并发送互动内容至所述终端设备7；
第二发送子模块，用于当未匹配到对应的互动内容时，返回未匹配到互动内容的消息至终端设备7。
图7是本发明实施例提供的一种跨屏互动装置的框图，位于终端设备7侧，该装置包括音频采集模块70，编码发送模块71和互动内容展示模块72。其中，
音频采集模块70与编码发送模块71电连接，用于对显示设备8在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号，所述第一音频信号被叠加到所述第二音频信号的预设互动时间段；
编码发送模块71用于用于当获取音频中的第一音频信号时，根据第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由服务器根据编码获取对应的互动内容；
互动内容展示模块72，用于从服务器6接收到互动内容并进行展示。
在一个实施例中，该编码发送模块71包括解调子模块和发送子模块；其中，
解调子模块与发送子模块电连接，用于通过二进制频移键控将第一音频信号解调为二进制编码；
发送子模块，用于发送二进制编码至服务器6。
在一个实施例中，该互动内容展示模块72包括消息监听子模块和互动内容展示子模块。
消息监听子模块与互动内容展示子模块电连接，用于监听服务器6返回的消息；
互动内容展示子模块，用于当监听到服务器6返回的已匹配到互动内容的消息时，接收来自服务器6的互动内容并进行展示。
图8是本发明实施例提供的一种跨屏互动装置的框图，位于显示设备8侧，该装置包括视频内容接收模块80和视频内容播放模块81。其中，
视频内容接收模块80与视频内容播放模块81电连接，用于从服务器6接收到音频叠加后的视频内容，叠加后的音频包括视频内容的第二音频信号和人类听觉不能感知的第一音频信号，第一音频信号被叠加到第二音频信号的预设互动时间段；
视频内容播放模块81，用于播放视频内容，使终端设备7能够在预设互动时间段获取到第一音频信号并解调出第一音频信号对应的互动内容标识的编码，再通过服务器6获取编码对应的互动内容并进行展示。
此外，本发明实施例中可以通过硬件处理器(hardware processor)来实现上述各个功能模块。
本发明实施例提供了一种服务器，该服务器包括：第一处理器和用于存储所述第一处理器可执行指令的第一存储器；
其中，第一处理器被配置为：对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码,将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。
本发明实施例还提供了一种终端设备，该终端设备包括：第二处理器和用于存储所述第二处理器可执行指令的第二存储器；
其中，所述第二处理器被配置为：对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号；当采集到所述第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容；从所述服务器接收到所述互动内容并进行展示。
本发明实施例还提供了一种显示设备，该显示设备包括：第三处理器和用于存储所述第三处理器可执行指令的第三存储器；
其中，所述第三处理器被配置为：从服务器接收到音频叠加后的视频内容，叠加后的音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号，所述第一音频信号被叠加到所述第二音频信号的预设互动时间段；播放所述视频内容，使终端设备能够在所述预设互动时间段获取到所述第一音频信号并解调出所述第一音频信号对应的互动内容标识的编码，再通过所述服务器获取所述编码对应的互动内容并进行展示。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种跨屏互动方法，其特征在于，所述方法包括：
对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；
将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；
接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码，将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。
2.根据权利要求1所述的方法，其特征在于，所述将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容包括：
将所述编码转换为ASCⅡ码，再转换为字符格式的互动内容标识；
判断所述互动内容标识是否匹配到对应的互动内容；
当所述互动内容标识匹配到对应的互动内容时，返回已匹配到互动内容的消息并发送所述互动内容至所述终端设备；
当所述互动内容标识未匹配到对应的互动内容时，返回未匹配到互动内容的消息至所述终端设备。
3.一种跨屏互动方法，其特征在于，所述方法包括：
对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号；
当采集到所述第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容；
从所述服务器接收到所述互动内容并进行展示。
4.如权利要求3所述的方法，其特征在于，所述从所述服务器接收到所述互动内容并进行展示包括：
监听所述服务器返回的消息；
当监听到所述服务器返回的已匹配到互动内容的消息时，接收来自所述服务器的所述互动内容并进行展示。
5.一种跨屏互动装置，其特征在于，所述装置包括：
编码调制模块，用于对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；
音频叠加模块，用于将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；
互动内容发送模块，用于接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码,将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。
6.根据权利要求5所述的装置，其特征在于，所述互动内容发送模块包括：
第二编码转换子模块，用于将所述编码转换为ASCⅡ码，再转换为字符格式的互动内容标识；
判断子模块，用于判断所述互动内容标识是否匹配到对应的互动内容；
第一发送子模块，用于当所述互动内容标识匹配到对应的互动内容时，返回已匹配到互动内容的消息并发送所述互动内容至所述终端设备；
第二发送子模块，用于当所述互动内容标识未匹配到对应的互动内容时，返回未匹配到互动内容的消息至所述终端设备。
7.一种跨屏互动装置，其特征在于，所述装置包括：
音频采集模块，用于对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号，所述第一音频信号被叠加到所述第二音频信号的预设互动时间段；
编码发送模块，用于当获取所述音频中的第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容；
互动内容展示模块，用于从所述服务器接收到所述互动内容并进行展示。
8.根据权利要求7所述的装置，其特征在于，所述互动内容展示模块包括：
消息监听子模块，用于监听所述服务器返回的消息；
互动内容展示子模块，用于当监听到所述服务器返回的已匹配到互动内容的消息时，接收来自所述服务器的所述互动内容并进行展示。
9.一种服务器，其特征在于，包括：
第一处理器；
用于存储所述第一处理器可执行指令的第一存储器；
其中，所述第一处理器被配置为：
对互动内容标识进行编码调制，生成人类听觉不能感知的第一音频信号；将所述第一音频信号与视频内容的第二音频信号进行叠加，发送音频叠加后的视频内容至显示设备进行播放；接收终端设备在检测到所述第一音频信号后发送的所述互动内容标识的编码,将与所述编码对应的互动内容发送给所述终端设备，由所述终端设备展示所述互动内容。
10.一种终端设备，其特征在于，包括：
第二处理器；
用于存储所述第二处理器可执行指令的第二存储器；
其中，所述第二处理器被配置为：对显示设备在播放视频内容时所播放的音频进行采集，所述音频包括所述视频内容的第二音频信号和人类听觉不能感知的第一音频信号；当采集到所述第一音频信号时，根据所述第一音频信号解调出对应的互动内容标识的编码并发送至服务器，由所述服务器根据所述编码获取对应的互动内容；从所述服务器接收到所述互动内容并进行展示。
CN201510784607.8A 2015-11-16 2015-11-16 跨屏互动方法、装置、服务器和终端设备 Pending CN105898365A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510784607.8A CN105898365A (zh) 2015-11-16 2015-11-16 跨屏互动方法、装置、服务器和终端设备
PCT/CN2016/082634 WO2017084265A1 (zh) 2015-11-16 2016-05-19 跨屏互动方法、装置、服务器和终端设备
US15/247,356 US20170142477A1 (en) 2015-11-16 2016-08-25 Method, Device, Server And Terminal Equipment For Cross-screen Interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510784607.8A CN105898365A (zh) 2015-11-16 2015-11-16 跨屏互动方法、装置、服务器和终端设备

Publications (1)

Publication Number Publication Date
CN105898365A true CN105898365A (zh) 2016-08-24

Family

ID=57001787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510784607.8A Pending CN105898365A (zh) 2015-11-16 2015-11-16 跨屏互动方法、装置、服务器和终端设备

Country Status (2)

Country Link
CN (1) CN105898365A (zh)
WO (1) WO2017084265A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833964A (zh) * 2018-06-11 2018-11-16 阿依瓦（北京）技术有限公司 一种实时的连续帧信息植入识别系统
CN109327728A (zh) * 2018-11-23 2019-02-12 深圳市鹰硕技术有限公司 一种一对多同屏方法、装置和系统、同屏设备及存储介质
CN110392299A (zh) * 2019-06-17 2019-10-29 北京达佳互联信息技术有限公司 音量的处理方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110675477A (zh) * 2019-09-26 2020-01-10 南宁峰值文化传播有限公司 一种动画展示方法
CN115022694B (zh) * 2022-06-27 2023-10-27 北京奇艺世纪科技有限公司 一种投屏时间统计方法、装置、系统、后台服务器及介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110214143A1 (en) * 2010-03-01 2011-09-01 Rits Susan K Mobile device application
CN102263576A (zh) * 2010-05-27 2011-11-30 盛乐信息技术（上海）有限公司 无线信息传输方法及实现设备
CN102592232A (zh) * 2011-12-26 2012-07-18 深圳盒子支付信息技术有限公司 基于广告的购买方法及系统
CN102905196A (zh) * 2012-09-28 2013-01-30 杭州锐昂科技有限公司 一种电视向移动终端发送信息的方法及系统
CN103024454A (zh) * 2013-01-04 2013-04-03 周珏 在广播电视节目中向受众传送互动入口信息的方法及系统
CN103024601A (zh) * 2011-09-23 2013-04-03 吕品 音频编码方法及装置、信息采集方法及系统
CN103152106A (zh) * 2013-03-13 2013-06-12 荆效民 基于音频的超声波信息推送方法及系统
CN103327068A (zh) * 2013-05-10 2013-09-25 江苏图格信息技术有限责任公司 一种基于音频脉冲信号的信息同步与交互方法及其系统
CN103428538A (zh) * 2013-08-12 2013-12-04 广州信为信息科技有限公司 交互式广播电视的互动方法、装置及系统
CN103650519A (zh) * 2011-04-05 2014-03-19 雅马哈株式会社 信息提供系统、识别信息解析服务器和移动终端装置
CN104125481A (zh) * 2013-12-06 2014-10-29 江苏梦之音科技有限公司 一种基于隐声通信技术的多屏互动的方法、装置及系统
CN104361847A (zh) * 2014-11-10 2015-02-18 江苏梦之音科技有限公司 一种通过音频进行互动的广告播放系统以及方法
CN104519373A (zh) * 2014-12-16 2015-04-15 微梦创科网络科技（中国）有限公司 媒体节目互动方法及相关设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055481B1 (ko) * 2010-12-24 2011-09-08 이원희 슬레이브 디스플레이 장치, 셋톱박스 및 이를 포함하는 디지털 콘텐츠 제어 시스템
CN103108229A (zh) * 2013-02-06 2013-05-15 上海云联广告有限公司 一种通过音频跨屏识别视频内容的方法
CN103856807A (zh) * 2014-03-25 2014-06-11 北京奇艺世纪科技有限公司 一种跨屏互动控制方法及装置
CN104135690A (zh) * 2014-08-19 2014-11-05 百视通网络电视技术发展有限责任公司 基于iptv的机顶盒操控方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110214143A1 (en) * 2010-03-01 2011-09-01 Rits Susan K Mobile device application
CN102263576A (zh) * 2010-05-27 2011-11-30 盛乐信息技术（上海）有限公司 无线信息传输方法及实现设备
CN103650519A (zh) * 2011-04-05 2014-03-19 雅马哈株式会社 信息提供系统、识别信息解析服务器和移动终端装置
CN103024601A (zh) * 2011-09-23 2013-04-03 吕品 音频编码方法及装置、信息采集方法及系统
CN102592232A (zh) * 2011-12-26 2012-07-18 深圳盒子支付信息技术有限公司 基于广告的购买方法及系统
CN102905196A (zh) * 2012-09-28 2013-01-30 杭州锐昂科技有限公司 一种电视向移动终端发送信息的方法及系统
CN103024454A (zh) * 2013-01-04 2013-04-03 周珏 在广播电视节目中向受众传送互动入口信息的方法及系统
CN103152106A (zh) * 2013-03-13 2013-06-12 荆效民 基于音频的超声波信息推送方法及系统
CN103327068A (zh) * 2013-05-10 2013-09-25 江苏图格信息技术有限责任公司 一种基于音频脉冲信号的信息同步与交互方法及其系统
CN103428538A (zh) * 2013-08-12 2013-12-04 广州信为信息科技有限公司 交互式广播电视的互动方法、装置及系统
CN104125481A (zh) * 2013-12-06 2014-10-29 江苏梦之音科技有限公司 一种基于隐声通信技术的多屏互动的方法、装置及系统
CN104361847A (zh) * 2014-11-10 2015-02-18 江苏梦之音科技有限公司 一种通过音频进行互动的广告播放系统以及方法
CN104519373A (zh) * 2014-12-16 2015-04-15 微梦创科网络科技（中国）有限公司 媒体节目互动方法及相关设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833964A (zh) * 2018-06-11 2018-11-16 阿依瓦（北京）技术有限公司 一种实时的连续帧信息植入识别系统
CN109327728A (zh) * 2018-11-23 2019-02-12 深圳市鹰硕技术有限公司 一种一对多同屏方法、装置和系统、同屏设备及存储介质
CN110392299A (zh) * 2019-06-17 2019-10-29 北京达佳互联信息技术有限公司 音量的处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2017084265A1 (zh) 2017-05-26

Similar Documents

Publication Publication Date Title
CN105898365A (zh) 跨屏互动方法、装置、服务器和终端设备
US10013990B2 (en) Media content marking and tracking methods and apparatus
US10971144B2 (en) Communicating context to a device using an imperceptible audio identifier
JP4528365B1 (ja) 発信装置
CN102522090B (zh) 以音频信号发送信息码以及获取信息码的方法和装置
CN105827516B (zh) 消息处理方法和装置
CN110390927B (zh) 音频处理方法、装置、电子设备及计算机可读存储介质
JP6454741B2 (ja) 低電力関連コンテンツ提供システム、方法、及びプログラムを記録したコンピューターで読むことができる記録媒体
CN104918061B (zh) 一种电视频道的识别方法及系统
US20130227086A1 (en) Systems and methods for data processing in conjunction with media presentations
CN112423081B (zh) 一种视频数据处理方法、装置、设备及可读存储介质
CN105898557A (zh) 一种语音弹幕的生成、播放方法及其装置、客户端
EP3449481A1 (en) Speech enhancement for speech recognition applications in broadcasting environments
CN104361847A (zh) 一种通过音频进行互动的广告播放系统以及方法
CN105978703A (zh) 一种视频故障反馈的方法、客户端以及服务器
CN105959828A (zh) 音视频分享、播放方法、装置及电子设备
CN113630630B (zh) 一种视频解说配音信息的处理方法、装置及设备
CN104144103A (zh) 消息发送方法、系统、客户端及服务器
CN111629222B (zh) 一种视频处理方法、设备及存储介质
CN109361954A (zh) 视频资源的录制方法、装置、存储介质及电子装置
CN104918071A (zh) 视频播放方法、装置和终端设备
CN105577603B (zh) 一种播放多媒体消息的方法及装置
CN105635841A (zh) 互动播出的控制方法和系统
CN109005423A (zh) 一种视频播放方法及装置
CN113038197A (zh) 用于直播教学课堂的分组方法、装置、介质和电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160824