CN105610591A - 多设备之间共享信息的系统和方法 - Google Patents
多设备之间共享信息的系统和方法 Download PDFInfo
- Publication number
- CN105610591A CN105610591A CN201511017246.0A CN201511017246A CN105610591A CN 105610591 A CN105610591 A CN 105610591A CN 201511017246 A CN201511017246 A CN 201511017246A CN 105610591 A CN105610591 A CN 105610591A
- Authority
- CN
- China
- Prior art keywords
- feature
- target device
- signal
- sensing equipment
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/06—Message adaptation to terminal or network requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1836—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with heterogeneous network architecture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
- H04L12/2803—Home automation networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
- H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开多设备之间共享信息的系统和方法,该方法包括传感设备感应到与目标设备相关的至少一个对象的信号和从感应到的信号的对象中提取至少一个特征。该方法还包括传感设备广播提取到的对象的特征,具体是在一个包含多个目标设备的指定网络中进行广播,以及传感设备接收来自于处于该指定网络中的多个目标设备的反馈,该反馈是针对该广播所做的响应。进一步,该方法还包括传感设备根据接收到的反馈自动识别对应于多个目标设备中的一个目标设备,同步被识别的目标设备的信息,以及显示信息给传感设备的用户。
Description
技术领域
本发明涉及计算机技术领域,尤其涉及多设备之间共享信息的系统和方法。
背景技术
随着各种技术日渐深入到人们日常生活的方方面面,家用设备开始与其他设备之间相互连接起来。这些连接着的设备包括电视、智能手机、平板电脑、机顶盒、游戏机等等。随着物联网技术逐步的展开,更多的家用电器,例如冰箱、空调也被连接到物联网。当用户需要将一个设备连接到另一个设备,一个常用的方法是使用移动装置(例如移动终端)或者个人电脑作为控制器来手动建立连接关系,这导致连接过程有时显得冗长乏味。本发明公开的系统和方法是针对性的解决上述问题以及其他可能的问题。
发明内容
本发明一方面公开了在多设备之间共享信息的方法,该方法包括传感设备感应到与目标设备相关的至少一个对象的信号和从感应到的信号的对象中提取至少一个特征。该方法还包括传感设备广播提取到的对象的特征,具体是在一个包含多个目标设备的指定网络中进行广播,以及传感设备接收来自于处于该指定网络中的多个目标设备的反馈,该反馈是针对该广播所做的响应。进一步,该方法还包括传感设备根据接收到的反馈自动识别对应于多个目标设备中的一个目标设备,同步被识别的目标设备的信息,以及显示信息给传感设备的用户。
本发明另一方面公开了在多设备之间共享信息的系统。该系统包括用于从其他设备中搜索信息的传感设备并且至少一个用于向传感设备共享信息的目标设备。传感设备包括感应和过滤模块,该感应和过滤模块用于探测与目标设备相关的至少一个对象的信号以及从探测到的信号中过滤外界噪声和不必要内容,以产生相应的感应到的信号;传感设备还包括信号提取模块,该信号提取模块用于从感应到的信号的对象中提取至少一个特征。传感设备还包括广播引擎,该广播引擎用于广播提取到的对象的特征,具体是向一个包含多个目标设备的指定网络中进行广播,该传感设备还包括回复接收器,该回复接收器用于接收来自于处于该指定网络中的多个设备的反馈,该反馈是针对广播所做的响应。进一步,该传感设备还包括设备识别器,该设备识别器用于根据接收到的反馈自动识别对应于多个目标设备中的一个目标设备,该传感设备还包括信息同步器,该信息同步器用于从被识别的目标设备中同步信息。其中,至少一个目标设备包括一个信号接收器,该信号接收器用于接收信号以及对信号进行处理,以呈现内容和实现其他功能,该目标设备还包括一个信号提取模块,该信号提取模块用于从接收到的信号中提取特征。其中,至少一个目标设备还包括一个数据存储模块,该数据存储模块用于存储提取到的特征,该目标设备还包括广播接收器,该广播接收器用于接收从传感设备发出的广播而来的特征。进一步,至少一个目标设备包括匹配引擎,该匹配引擎用于将接收到的特征与已存储在数据存储模块中的提取出的特征进行匹配。
本发明的其他方面,所属技术领域技术人员能够依据本发明的权利要求书,说明书,以及附图有效实施并充分公开。
附图说明
图1为本发明具体实施方式中一个典型的应用场景。
图2为与本发明具体实施方式中的一个典型的计算机系统。
图3为本发明具体实施方式中多设备共享信息系统的一个方框图。
图4为本发明具体实施方式中实现在多设备之间共享信息过程中传感设备一侧的流程图。
图5为本发明具体实施方式中实现在多设备之间共享信息过程中目标设备一侧的流程图。
图6为本发明具体实施方式中以移动终端实现在多设备之间共享图像信息的流程图。
图7为本发明具体实施方式中实现在多设备之间共享音频数据的流程图。
具体实施方式
附图中展示的部分将被引用以具体说明,阐述本发明具体技术实施方案。说明书中引用的数字代表附图的相应部分。应当说明的是,下述的具体实施方式仅为本发明的其中一些具体实施方案,而非本发明全部可能的实施方案。依据下述的具体实施方式的启示,本领域技术人员获得的其他技术方案均在本发明的保护范围内。
图1为本发明具体实施方式的一个应用的场景100。如图1所示,该场景100包含一个电视102,一个个人电脑(PC)103-1,一个多媒体播放器103-2,一个移动终端104,一个服务器106,一个用户108,一个网络110,一个局域网120,当然还包括其他设备。
电视102可以是任意合适类型的电视,例如等离子电视,液晶电视,投影电视,非智能电视,或者智能电视。电视102可以是播放任意内容的电视,例如可以播放在一个或多个频道中播放多个节目。电脑103-1可以是任意一个计算机系统,例如平板,台式电脑,移动电脑等等。多媒体播放器103-2可以是任意合适类型的多媒体播放设备,例如iPod,MP3播放器,或者无线数位相框。应当注意的是,图1中未示出的更多设备,例如冰箱,空调,也可通过场景中的局域网120或者网络110被连接。
移动终端104可以是任意合适类型的通讯装置,该通讯装置可以与电视102,个人电脑103-1,以及多媒体播放器103-2通过局域网120进行通讯,该移动终端104可以是例如平板电脑,智能手机,万能遥控器,或者其他具有遥控功能的计算装置。
电视102,电脑103-1,多媒体播放器103-2,以及移动终端104只是多设备场景中的常用设备。任何其他合适类型的具有计算和通信功能的设备也可在该场景下使用。不同的设备,例如电视102,电脑103-1,多媒体播放器103-2,以及移动终端104可以通过局域网120相互连接,甚至还可以作为物联网架构中的一部分连接到网络110。
进一步,服务器106可以是任意合适类型的服务器,或者可提供信息(例如音频内容和视频内容)给用户的多个服务器,该服务器106有助于在电视102,电脑103-1,多媒体播放器103-2,以及移动终端104之间的通信,数据存储,和数据处理。移动终端104,服务器106,电视102,电脑103-1以及多媒体播放器103-2之间可通过一个或多个局域网120相互连接或者通过网络110相互连接,例如有线电视网络,电话网络,或者卫星网络等等。
用户108可以与电视102,电脑103-1,多媒体播放器103-2相互作用,如使用移动终端104来观看各种节目,收听各种歌曲以及进行其他感兴趣的活动。用户108可以是单个的用户,也可以是多个用户,例如家庭成员一起观看电视节目或者收听歌曲。
电视102,电脑103-1,多媒体播放器103-2,移动终端104,和/或服务器106可以是在任意计算处理平台下实现,图2展示了一个计算机系统200的方框图,包括电视102,电脑103-1,多媒体播放器103-2,移动终端104,和/或服务器106。
如图2所示,一个计算机系统200可以包括处理器202,一个存储介质204,一个显示器206,一个通信模块208,一个数据库210,以及外部设备212。还可以省略其中一些设备或者添加一些其他设备。
处理器202可以是任何合适的一个处理装置或多个处理装置。进一步,该处理器202可以包含用于多线处理或并行处理的多核。存储介质204可以包含内存模块,如ROM,RAM,闪存模块,以及大容量存储器,例如CD-ROM和硬盘等等。存储介质204可存储计算机程序,计算机程序可被处理器202要求执行各种进程。
进一步,外部设备212可以是各种传感器和其他I/O装置,例如键盘和鼠标,通信模块208是包含特定网络接口的设备,以通过通信网络建立连接。不同设备可能包含不同的外围设备212。例如电视102可以包含视频和音频处理模块,移动终端104中可能包含相机,麦克风,和其他传感器,多媒体播放器103-2可能包含音频编解码模块等。进一步,数据库210可能包含一个或多个用于存储指定数据以及用于在存储的数据中完成指定操作例如数据库搜索的数据库。
回到图1中,不同设备(例如移动终端104,服务器106,电视102,和/或电脑103-1)可具有两种类型的功能:(1)作为信号提供者,例如电视,收音机,移动终端等等,可在显示器上转换为可视内容,在广播或网络中转换为视频或音频内容或者其他信号;(2)作为信号接收者,例如移动终端,相机等等,可获得特定类型的信号。
两个共享信息的设备之间的连接以及同步的自动处理过程,可通过用户习惯的方式来实施。即,两个带有一个或更多上述类型功能的设备可智能地建立连接以及同步,以共享信息。例如,当用户在家中,以移动终端的相机指向电视,那么电视上当前显示的信息(例如,节目标题,简介或者其他能够被智能电视提供的信息)将被同步到移动终端上,或者当用户将移动终端的相机指向智能冰箱,那么智能冰箱上的信息将被同步到移动终端上。这些简单且自动的连接以及信息同步将大幅提升用户的使用体验。
因此,在具体操作时,移动终端104,服务器106,电视102,和/或电脑103-1可以完成两个或以上信息共享的设备之间建立连接以及同步的自动处理。图3表示本发明具体实施方式中多个设备之间信息共享系统的方框图。
如图3所示,一个系统300包含传感设备30和至少一个目标设备31。所述传感设备30可用于从其他目标设备中查找信息,以及目标设备可用于将信息共享至传感设备。
尤其是,传感设备30具有感应能力,例如获得图像,获得声音,或者获得其他信号的能力。例如传感设备30可以照相、拍摄视频、录音、抓图、读取传感器数据,或者获取其他各种信号,例如电信号,光信号,声音信号,磁信号,无线电信号,或者超声波等等。
传感设备30也具有信号提取功能。即传感设备30可用于将获得的信号转换成更小格式的信号进行传输。换句话说,传感设备30可以从获得的信号中提取一个或多个特征。这里所述的特征是指典型特征方面,或者所取得的信号的呈现,所述的特征也可以称为指纹。因为上述功能,传感设备30可以感应到网络或其他环境中的信号。
此外,传感设备30还可以广播特征或者指纹到所有已连接的设备中,例如,传感设备30可以将特征广播到所连接的网络上,或者将特征广播到与网络相似的其他预先指定好的网络范围中。
另一方面,目标设备31也具有信号提取功能。即,目标设备31可用于生成在目标设备21上的信号的特征或指纹。
进一步,目标设备31也具有存储功能。即,目标设备31可以保存大量由目标设备31生成的特征,以进行进一步的处理。
目标设备31也具有将传感设备广播的特征与已存储的特征进行匹配的功能,这样目标设备31能够辨别从传感设备上接收到的特征与本地存储的特征是否匹配。需要指出的是,传感设备的原始信号的特征(也就是信号提取步骤之前的信号)可被转换,并且与目标设备的原始信号的特征部分重叠。例如,一个传感设备的特征来自于电视图像,该电视图像带30度旋转并包含电视的周边配件,而同时目标设备的特征由电视屏幕截屏生成。
进一步,目标设备31会针对广播反馈匹配结果,当传感设备30正在根据广播的特征接收反馈时,传感设备30可识别是哪一目标设备发送的反馈。换句话说,传感设备30具有识别目标设备的功能。
进一步,传感设备30和目标设备31都具有信息共享以及同步的功能。例如,目标设备31具有信息共享功能,即不断将当前状态(或者程序)相关的信息传输到其他设备或网络中。而传感设备具有信息接收和更新功能,即接收来自已识别的目标设备的信息以及实时更新信息。换句话说,传感设备30以及目标设备31都可以被同步。
更具体的,如图3所示,传感设备30包括感应和过滤模块301,信号提取模块303,广播引擎305,回复接收器307,设备识别器308,以及信息同步器309。还可以根据需要增减一些设备。传感设备30(例如不同内容)可以在硬件(例如计算机系统200),软件,或者硬件和软件的结合环境下进行实施。
感应和过滤模块301可用于探测周围的信号(如视频信号,音频信号或者光信号),以及从被探测的信号中过滤掉周围噪声以及不必要内容,以生成感应到的信号,例如一副图像或一段音频片段的全部或部分。
信号提取模块303用于从感应到的信号中提取特征。信号提取模块303可生成基于提取出的特征的合理范围,这些提取出的特征与目标设备的信号相关,以及将特征缩放至合理范围,以区分不同信号。例如,信号提取模块303可以将获取到的信号转换为更小格式的信号(被称为指纹),以节省在后续的多设备之间的协同计算带宽。
广播引擎305用于将特征广播至处于相同网络组中的目标设备以被识别。回复接收器307用于接收目标设备关于匹配结果的回复,该匹配结果用来识别所需的目标设备。设备识别器308用于对来自于目标设备的反馈进行比较,以确定一个所需的目标设备。信息同步器309用于将传感设备与被识别的用来进行共享信息的目标设备之间进行同步。
目标设备31还包括一个数据存储模块311,一个信号接收器313,一个信号提取模块315,一个匹配引擎317,和一个广播接收器319。还可以根据需要增减一些设备。目标设备(例如不同内容)可以在硬件,软件,或者硬件和软件的结合环境下实现。
信号接收器313可用于接收信号和处理信号,以呈现内容或实现其他功能。信号提取模块315与在传感设备中的信号提取模块303功能相同。即,信号提取模块315可用于从从接收到的信号中提取特征,其是使用与传感设备中的信号提取模块303相同的方式进行提取。被提取出的特征可以存储到数据存储模块311中。
匹配引擎317可用于将接收到的特征与数据存储模块311中存储的大量特征进行匹配,以生成一个匹配分数,该匹配分数代表接收到的特征作为与目标设备的信号相关的特征的可能性。广播接收器319可用于接收从传感设备中广播的特征。
图4展示了本发明具体实施方式中实现在多设备之间共享信息过程中传感设备一侧的处理流程。如图4所示,从传感设备一侧开始,多设备之间共享信息的过程包括如下步骤。
在刚开始时,传感设备开始感应信号并且获得至少一个与目标设备相关的对象(步骤401)。尤其是,传感设备从一个网络组中感应或探测一个或多个周围信号(例如视频信号或音频信号)。通过应用一个噪声过滤器来过滤探测到的信号中的噪声。
这样,传感设备从感应到的信号的对象中提取出至少一个特征(步骤402)。例如,传感设备可以为过滤后的信号生成一个指纹,以节省多设备之间将要进行的协同计算所需的带宽。该指纹是感应信号的表示,其以实质上与感应信号相关的更小的信号格式进行表示。
进一步,传感设备在包含大量目标设备的指定网络中广播至少一个对象的特征(步骤S403)。即,传感设备在相同的网络组中广播至少一个特征至所有连接的设备中,以被识别。例如,传感设备可能通过广播信道在相同的网络组中广播指纹至所有连接的设备中。特征或指纹的类型,信息的大小,与特征相关的算法,和/或传感设备的标识和地址,都可以包含在广播的信息中。
传感设备接收大量在网设备的反馈,该反馈是针对广播的回复(步骤S404)。这样,传感设备可以接收目标设备关于匹配结果的回复,以识别所需的目标设备。在具体实施例中,来自一个目标设备的回复可以是匹配分数,该匹配分数表示广播的指纹与本地存储的指纹匹配的可能性。
基于接收到的反馈,传感设备自动识别目标设备(步骤S405)。特别是,在接收到所有回复后(在设定好的等待时间内),传感设备通过识别算法确定一个所需的目标设备。
一个简单的识别算法是选择一个具有最高分数(第一个因素)的目标设备。但是,如果两个分数只有很小的差距,那么可能不仅仅是选择最高的那个。另一个影响因素是之前的匹配记录(例如频次信息)。如果一个设备经常被选择为目标设备,那么本次该设备被选择的几率也更高。例如,如果一个用户每天都在电视上观看肥皂剧,并且电视经常作为目标设备,那么本次电视被选择的几率也更高。从这个观点看,这两个因素可以在识别目标设备的过程中结合使用。
如下所示,目标设备识别结果的公式被定义为:
H=a*S+(1-a)*f(1)
其中,H是最终的匹配分数;a是用户设定的在[0,1]之间的实数;S是来自当前设备的匹配分数;以及f是在过去10次设备识别过程中当前设备被作为目标设备的频次。
这样,基于当前的匹配分数和/或最后的匹配分数,传感设备可以确认或识别具有匹配的特征的目标设备。在识别目标设备之后,传感设备进一步与目标设备同步,并与目标设备共享信息(步骤S406)。
例如,一个目标设备可以发送与广播至目标设备的特征相关的信息至传感设备,或者传感设备可以进一步要求目标设备更具体的信息,以及目标设备可以回复相关信息至传感设备。换句话说,传感设备与目标设备之间可以基于特征同步和交换指定信息。这样,传感设备可以传递被识别的目标设备所共享的信息至用户。
图5为本发明具体实施方式中实现在多设备之间共享信息过程中目标设备一侧的处理流程。如图5所示,从目标设备一侧开始,多设备之间共享信息的步骤包括如下:
目标设备从与其相关的一个或多个相关的对象中提取特征(步骤501)。该对象可以是一副图像,一个视频帧,一段音频,传感器读数,或者一个主题或部分。作为目标设备的数据或接受到的信号可以是连续的,当新的数据或信号接收到时,目标设备可以连续提取特征。这样,目标设备可存储从一个或多个对象中提取的特征(步骤502)。基于目标设备的大容量的存储空间所存储的大量特征得以确定,或者被用户使用。
进一步,目标设备可以通过所连接的网络收听广播信道。目标设备探测是否有传感设备通过网络发送广播(步骤503)。如果目标设备未探测到传感设备的广播,则返回步骤501进行处理。如果目标设备探测到在网目标设备发送的广播,那么目标设备接收传感设备从指定网络中发送的广播(步骤504)。
目标设备从指定网络中的广播中取得至少一个特征(步骤505)。在从传感设备的广播中取得一个或多个特征之后,目标设备将取得的特征与先前已存储的特征进行匹配(步骤506)。
特别是,在目标设备接收从传感设备广播的特征之后,目标设备使用预先设定好的匹配算法来将接收到的特征与已存储的特征进行匹配。该预先设定好的匹配算法可以是与一种类型的特征相关,或可以应用于任何一目标设备来完成匹配过程。进一步,目标设备通过将接收到的特征与存储于数据存储模块的大量特征进行匹配生成匹配分数,该匹配分数表示接收到的特征作为与目标设备的信号相关的特征的可能性。这样,将匹配分数与预先设置的阈值进行比较。该预先设置的阈值可以是用户设置。如果匹配分数不比预先设置的阈值更小,那么将匹配分数通过回复信道返回到传感设备。
另一方面,如果匹配分数低于预先设置的阈值,那么目标设备可能不回复该广播,或者以否定方式回复该广播。如果目标设备不具有该类型特征的匹配能力,那么目标设备不回复该广播或者以否定方式回复该广播。如果目标设备未匹配任何类型的特征,那么目标设备可以使用默认匹配算法来完成匹配。
当有目标设备得到了有效的匹配分数(即匹配分数高于预先设置的阈值),那么目标设备发送基于匹配结果的反馈至传感设备(步骤507)。
在传感设备基于该反馈识别目标设备之后,传感设备和目标设备之间开始信息共享。即,目标设备与传感设备进行同步以及信息共享。这样,上述的过程可以使用户在多设备之间实时无缝地进行信息共享。
在一个具体实施例中,当一个用户拥有可穿戴设备,例如手环,智能手表或者手机,可穿戴设备可无线连接到电视102,即,可穿戴设备可以作为传感设备来与电视102(即目标设备)进行通信。更具体地,虽然移动终端同时具有多种可用来进行信息共享的感应功能,但其相机仍可以作为一个视觉传感器。当用户正在观看电视节目时,他或她将其移动终端相机指向电视,这是一个“感应”步骤,以使移动终端感应到对象(即,电视上正在屏幕上显示的图像);然后移动终端与家庭中所有在网设备以协同方式进行通信,以识别其感应的设备,即,这是一个“识别”步骤。应当注意的是“识别”步骤可能会失败,因为移动终端相机可能并未对着一个真实的设备,即没有设备可以帮助移动终端来目标设备。一旦目标设备确定,那么移动终端将与被识别的目标设备进行同步以从目标设备中获得所有分享的信息。即,这是一个“同步”步骤,传感设备可以接收来自目标设备的信息,以及实时更新信息。这样,共享信息的过程可以覆盖到家庭所有设备的范围。本发明的系统将信号存储、信号提取、信号广播、信号匹配以及数据同步统一至同一过程,使用户能够实时无缝地在多设备之间进行信息共享。
图6为本发明具体实施方式中通过移动终端实现图像数据共享的处理流程。如图6所示,移动终端被作为传感设备,电视被作为目标设备。
假设用户观看电视节目,且用户使用移动终端与电视自动进行信息共享。电视会将正在电视上播放的电视节目的大量连续视频帧进行存储处理,因为视频本质上就是大量的视频帧构成,并且相邻帧的变化非常小。例如电视可能存储30个指纹,这30个指纹代表过去10秒的视频帧,采样率是1/3秒。
当用户对一个特定的电视节目感兴趣,那么用户可以利用移动终端相机对着电视屏幕来抓取图像(步骤601),在步骤601中,移动终端用来感应对象(例如电视屏幕上显示的图像)。
抓取到的图像被缩放至更小的尺寸,并被噪声过滤器进行处理,并从被处理的图像中提取出指纹(步骤602)。可将指纹计算算法应用在每个抓取的图像中。例如分层梯度方向直方图(PyramidofHistogramsofOrientationGradients,PHOG)可用于生成每个抓取的图像的指纹,包括形状和外观的特征。这个PHOG可以是旋转不变的描述符。也可采用其他指纹生成算法来生成每个抓取的图像的指纹。
提取出的指纹通过广播信道被广播至所有在网设备(步骤603)。当电视通过相关的广播接收器接收到至少一条信息时,电视可确定是否接收到指纹并且应用或使用匹配服务器来将接收到的指纹与已存储的指纹进行匹配,并生成匹配分数(步骤604)。可利用与PHOG类似的内核来计算匹配分数。
进一步,将匹配分数与预先设置的阈值进行比较(步骤605)。如果匹配分数比预先设置的阈值更小(意味着不对移动终端进行回复),那么流程转回到步骤601;否则,通过回复信道将匹配分数返回至移动终端(步骤606)。
在接收到所有的回复(在预设的等待时间)后,移动终端通过识别算法确定目标设备(例如电视)是否被识别(步骤607)。通过前述的公式1计算得到目标设备的识别结果。如果没有设备被识别,那么处理流程转至601;否则,建立一个传感设备(例如移动终端)与目标设备(例如电视)之间从电视到移动终端的信息共享和同步的特定通道(步骤608)。
最终,移动终端将在移动终端显示屏上展示从电视上共享到的信息(步骤609)。例如,移动终端可显示电视上正在播放的节目的标题,电视节目简介,和/或提供给用户来改变电视上正在播放节目的界面。
应当注意的是,传感设备也可以是其他具有感应功能的设备(例如平板,或者智能手表)。目标设备也可以是非电视设备(例如音频播放器)。只要传感设备与目标设备之间可以建立联系,信息可以在多设备之间进行共享。另传输的对象可以包括电子书、视频、音乐、网页等等。
另一例子中,用户通过一个多媒体播放器来收听音乐。图7为本发明具体实施方式中在多设备之间共享音频数据的处理流程。如图7所示,当用户对某个特定音乐感兴趣时,用户可以通过移动终端来收录正在播放的音乐的片段,例如通过激活一个录音按钮(步骤701)来录音。在步骤701中,移动终端用来感应对象或信号(即,多媒体播放器播放的音乐)。即,利用移动终端的麦克风抓取音乐的音频数据。
通过噪声过滤器来对音频数据进行处理,并从处理的音频数据中提取出指纹(步骤702)。对于一首歌,指纹大小可以是比这首歌本身小得多(例如为这首歌大小的0.5%-1%)。一个音频指纹是指可概括音频信号的简洁的标识。即,可提取出音频信号的声学特征并作为指纹进行存储。可用指纹生成算法来对抓取到的音频数据进行处理。
被提取出的指纹通过广播信道被广播至所有在网设备(步骤703)。当多媒体播放器通过相关的广播接收器接收到至少一条信息,多媒体播放器会应用或使用一个匹配服务器,来对接收到的指纹与已存储的指纹进行匹配,以生成匹配分数(步骤704)。
进一步,匹配分数与预先设置的阈值进行比较(步骤705)。如果匹配分数比预先设置的阈值更小,那么多媒体播放器不会进行回复,即,不会对移动终端作出反应。这样,流程转回到步骤701;否则通过回复信道将匹配分数返回至移动终端(步骤706)。
在接收到所有的回复(在预设的等待时间)后,移动终端通过识别算法确定目标设备(例如多媒体播放器)是否被识别(步骤707)。通过前述的公式1计算得到设备识别的结果。如果没有设备被识别,那么处理流程转至701;否则,建立一个传感设备(例如移动终端)与目标设备(例如多媒体播放器)之间从多媒体播放器到移动终端的信息共享和同步的特定通道(步骤708)。最终,移动终端将在移动终端显示屏上展示从多媒体播放器上共享到的信息(步骤709)。例如,移动终端可显示电视上这首歌的歌名,首播日期,和/或提供给用户来控制多媒体播放器上正在播放音乐的界面。
举另一例子,当用户对电脑上正在显示的电子书感兴趣时,用户可以通过平板电脑的相机来抓取电子书页面(电子书封面)。电子书页面的图像通过噪声过滤器来进行处理,通过平板电脑来从已处理的图像数据中提取出指纹。该提取出的指纹通过广播信道被广播到所有在网设备中。平板电脑接收大量在网设备针对该广播的反馈,并且基于接收到的反馈自动识别出目标设备(例如电脑)。电子书将在平板电脑与电脑之间进行同步和信息共享。
应当说明的是,本发明所公开的系统和方法并不仅限于家庭的使用场景。本发明的方法同样可以适用于任何处于同一网络中的联网设备当中。这些设备具有相应的功能。例如具有抓取图像的视觉感应功能;或者具有抓取音频信号的音频感应功能。一个不具有信号匹配功能的设备不能与其他设备进行信息共享。只要能够感应、广播和接收信息的功能,这些设备就可以利用这些功能来从其他设备中共享信息。
通过使用本发明的方法和系统,由此而带来的用于多设备之间交互的感应-识别-同步模型(SRS)可大幅提升用户的使用体验,可以使用户实时无缝地在多设备之间进行信息共享。例如,用户正在收看电视节目,他或她用自己的移动终端相机对着电视,这是利用“感应”步骤来使相机感应对象,该对象即电视屏幕上显示的图像;然后移动终端与家庭中的所有在网设备以协同方式进行通信,以识别出其感应到的设备,称之为“识别”步骤。一旦目标设备确定,移动终端将与目标设备进行同步,以从目标设备中获得所有共享信息。
进一步,本发明的SRS模型并不限于应用在家庭场景中,也可应用在任何在网络中已经组网的设备。上述的设备能够使用其本身具有的功能,例如能够拍照则使用抓取图像的视觉感应功能;能够录音则使用抓取音频信号的音频感应功能。一个不具有信号匹配功能的设备无法对传感设备的广播进行回复,这样就不能与其他设备进行信息共享。只具有感应、广播和接收信息的功能,这些设备就可以利用这些功能来从其他设备中共享信息。
进一步,尽管为了说明本发明的目的公开了本发明的方法,然而本发明的方法可以应用类似的概念和方法。本发明的信号可以是可视信号,声频信号或者其他类型的信号,只要设备能够归类为传感设备与目标设备。在多设备之间传输的信息可以根据具体的设备进行调整。对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (14)
1.多设备之间共享信息的方法,其特征在于,包括步骤:
感应步骤,通过传感设备来感应与目标设备相关的至少一个对象的信号;
提取步骤,通过传感设备从感应到的信号的对象中提取至少一个特征;
广播步骤,通过传感设备将提取到对象的特征广播至包含多个目标设备的指定网络中;
接收步骤,通过传感设备接收来自于多个目标设备的反馈,该反馈是针对该广播所作的回应;
识别步骤,通过传感设备基于接收到的反馈自动从多个目标设备识别其中一个;
同步步骤,通过传感设备与被识别的目标设备进行信息同步;以及
显示步骤,通过传感设备将同步的信息显示给传感设备用户。
2.根据权利要求1所述的方法,其特征在于,感应与目标设备相关的至少一个对象的信号的步骤进一步包括:
通过传感设备探测周围环境中的一个或多个信号;以及
从探测到的信号中过滤掉噪声和不必要内容以生成若干感应到的信号。
3.根据权利要求1所述的方法,其特征在于,从感应到的信号的对象中提取至少一个特征的步骤进一步包括:
生成一个对应于感应到的信号的指纹,以更小的方式表征感应到的信号。
4.根据权利要求1所述的方法,其特征在于,自动从多个目标设备识别其中一个的步骤进一步包括:
从来自于多个目标设备的反馈中获取对应的匹配分数;
基于多个目标设备的匹配分数确定对应的识别结果;以及
基于识别结果识别一个目标设备。
5.根据权利要求4所述的方法,其特征在于,识别结果定义如下:
H=a*S+(1-a)*f
其中,H是最终的匹配分数;a是在[0,1]之间的实数;S是来自当前目标设备的匹配分数;以及f是当前设备被作为目标设备的频次。
6.根据权利要求1所述的方法,其特征在于,目标设备用于:
从与该目标设备相关的一个或多个对象中提取特征;
存储从一个或多个对象中提取到的特征;
探测是否有处于该指定网络中的传感设备正在广播;
当探测到有处于该指定网络中的传感设备在广播时,接收来自于该指定网络中的传感设备的广播;
获取来自于该指定网络的广播中的至少一个特征;
将获取到的特征与已存储的特征进行匹配;以及
基于匹配结果发送反馈至传感设备。
7.根据权利要求6所述的方法,其特征在于,将获取到的特征与已存储的特征进行匹配进一步包括:
接收传感设备所广播的特征;
生成接收到的特征与已存储的任一特征之间的匹配分数;
将生成的匹配分数与预先设定的阈值进行比较;以及
当匹配分数不小于预先设定的阈值时,将匹配分数作为匹配结果通过回复信道返回至传感设备。
8.根据权利要求6所述的方法,其特征在于,进一步包括:
建立传感设备与被识别的目标设备之间的通道,以从目标设备将信息共享与同步至传感设备。
9.多设备之间共享信息的系统,其特征在于,包括:
用于搜索其他设备的信息的传感设备,该传感设备包括:
一个感应和过滤模块,用于探测与目标设备相关的至少一个对象的信号以及从探测到的信号中过滤外界噪声和不必要内容,以产生相应的感应到的信号;
一个信号提取模块,用于从感应到的信号的对象中提取至少一个特征;
一个广播引擎,用于向一个包含多个目标设备的指定网络中广播提取到的对象的特征;
一个回复接收器,用于接收来自于处于该指定网络中的多个设备的反馈,该反馈是针对广播所做的响应;
一个设备识别器,用于根据接收到的反馈自动识别对应于多个目标设备中的一个目标设备;
一个信息同步器,用于从被识别的目标设备中同步信息;以及
至少一个用于共享信息至传感设备的目标设备,该目标设备包括:
一个信号接收器,用于接收信号以及对信号进行处理,以呈现内容和实现其他功能;
一个信号提取模块,用于从接收到的信号中提取特征;
一个数据存储模块,用于存储提取到的特征;
一个广播接收器,用于接收从传感设备发出的广播而来的特征;
一个匹配引擎,用于将接收到的特征与已存储在数据存储模块中的提取出的特征进行匹配。
10.根据权利要求9所述的系统,其特征在于,所述信号提取模块进一步用于:
生成一个对应于感应到的信号的指纹,以更小的方式表征感应到的信号。
11.根据权利要求9所述的系统,其特征在于,所述设备识别器进一步用于:
从来自于多个目标设备的反馈中获取对应的匹配分数;
基于多个目标设备的匹配分数确定对应的识别结果;以及
基于识别结果识别一个目标设备。
12.根据权利要求11所述的系统,其特征在于,识别结果定义如下:
H=a*S+(1-a)*f
其中,H是最终的匹配分数;a是在[0,1]之间的实数;S是来自当前目标设备的匹配分数;以及f是当前设备被作为目标设备的频次。
13.根据权利要求9所述的系统,其特征在于,匹配引擎进一步用于:
生成接收到的特征与已存储的任一特征之间的匹配分数;
将生成的匹配分数与预先设定的阈值进行比较;以及
当匹配分数不小于预先设定的阈值时,将匹配分数作为匹配结果通过回复信道返回至传感设备。
14.根据权利要求9所述的系统,其特征在于,信息同步器进一步用于:
建立传感设备与被识别的目标设备之间的通道,以从目标设备将信息共享与同步至传感设备。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/585,296 | 2014-12-30 | ||
US14/585,296 US9866631B2 (en) | 2014-12-30 | 2014-12-30 | System and method for sharing information among multiple devices |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105610591A true CN105610591A (zh) | 2016-05-25 |
CN105610591B CN105610591B (zh) | 2021-06-22 |
Family
ID=55990139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511017246.0A Active CN105610591B (zh) | 2014-12-30 | 2015-12-28 | 多设备之间共享信息的系统和方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9866631B2 (zh) |
CN (1) | CN105610591B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302055A (zh) * | 2016-09-26 | 2017-01-04 | Tcl集团股份有限公司 | 一种智能设备状态的同步更新方法及系统 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9992729B2 (en) | 2012-10-22 | 2018-06-05 | The Nielsen Company (Us), Llc | Systems and methods for wirelessly modifying detection characteristics of portable devices |
KR102256676B1 (ko) * | 2015-02-06 | 2021-05-26 | 삼성전자주식회사 | 전파 기반 센서 모듈을 이용하는 센싱 장치 및 이동 단말을 포함하는 다목적 디바이스 |
US10397331B2 (en) * | 2016-01-29 | 2019-08-27 | General Electric Company | Development platform for industrial internet applications |
US10223060B2 (en) * | 2016-08-22 | 2019-03-05 | Google Llc | Interactive video multi-screen experience on mobile phones |
US10812707B2 (en) | 2018-06-14 | 2020-10-20 | International Business Machines Corporation | Computing device haptic timer for photography |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102520681A (zh) * | 2011-11-21 | 2012-06-27 | 康佳集团股份有限公司 | 基于外观信息识别的物联网终端智能配置方法及系统 |
CN102625981A (zh) * | 2009-07-17 | 2012-08-01 | 高通股份有限公司 | 在主设备和目标设备之间自动接口 |
CN203289464U (zh) * | 2012-09-14 | 2013-11-13 | 深圳鑫晔广科技有限公司 | 一对多数字家庭设备无线连接系统 |
CN103532803A (zh) * | 2013-10-12 | 2014-01-22 | 广东美的制冷设备有限公司 | 物联网的组网方法及系统 |
US20140237064A1 (en) * | 2013-02-20 | 2014-08-21 | Compal Electronics, Inc. | Method for controlling electronic device and electronic apparatus using the same |
CN104021183A (zh) * | 2014-06-10 | 2014-09-03 | 北京智谷睿拓技术服务有限公司 | 多设备交互方法及多设备交互系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7577636B2 (en) * | 2003-05-28 | 2009-08-18 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
KR20080100354A (ko) * | 2006-01-30 | 2008-11-17 | 클리어플레이, 아이엔씨. | 필터 메타데이터를 멀티미디어 표현물과 동기화하는 방법 |
US7444388B1 (en) * | 2006-04-13 | 2008-10-28 | Concert Technology Corporation | System and method for obtaining media content for a portable media player |
US8144947B2 (en) * | 2008-06-27 | 2012-03-27 | Palo Alto Research Center Incorporated | System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints |
US8654971B2 (en) * | 2009-05-19 | 2014-02-18 | Security First Corp. | Systems and methods for securing data in the cloud |
US9473813B2 (en) * | 2009-12-31 | 2016-10-18 | Infosys Limited | System and method for providing immersive surround environment for enhanced content experience |
US20120134282A1 (en) * | 2010-11-30 | 2012-05-31 | Nokia Corporation | Method and apparatus for selecting devices to form a community |
US9697265B2 (en) * | 2011-03-23 | 2017-07-04 | Audible, Inc. | Synchronizing digital content |
US20130054582A1 (en) * | 2011-08-25 | 2013-02-28 | Salesforce.Com, Inc. | Applying query independent ranking to search |
US20160092854A1 (en) * | 2014-09-26 | 2016-03-31 | Kobo Inc. | System and method for using book recognition to facilitate a user's acquisition of e-books |
US10068032B2 (en) * | 2014-09-30 | 2018-09-04 | Microsoft Technology Licensing, Llc | Selective indexing to improve complex querying of online professional network data |
-
2014
- 2014-12-30 US US14/585,296 patent/US9866631B2/en active Active
-
2015
- 2015-12-28 CN CN201511017246.0A patent/CN105610591B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102625981A (zh) * | 2009-07-17 | 2012-08-01 | 高通股份有限公司 | 在主设备和目标设备之间自动接口 |
CN102520681A (zh) * | 2011-11-21 | 2012-06-27 | 康佳集团股份有限公司 | 基于外观信息识别的物联网终端智能配置方法及系统 |
CN203289464U (zh) * | 2012-09-14 | 2013-11-13 | 深圳鑫晔广科技有限公司 | 一对多数字家庭设备无线连接系统 |
US20140237064A1 (en) * | 2013-02-20 | 2014-08-21 | Compal Electronics, Inc. | Method for controlling electronic device and electronic apparatus using the same |
CN103532803A (zh) * | 2013-10-12 | 2014-01-22 | 广东美的制冷设备有限公司 | 物联网的组网方法及系统 |
CN104021183A (zh) * | 2014-06-10 | 2014-09-03 | 北京智谷睿拓技术服务有限公司 | 多设备交互方法及多设备交互系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106302055A (zh) * | 2016-09-26 | 2017-01-04 | Tcl集团股份有限公司 | 一种智能设备状态的同步更新方法及系统 |
CN106302055B (zh) * | 2016-09-26 | 2020-12-18 | Tcl科技集团股份有限公司 | 一种智能设备状态的同步更新方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN105610591B (zh) | 2021-06-22 |
US9866631B2 (en) | 2018-01-09 |
US20160191619A1 (en) | 2016-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105610591A (zh) | 多设备之间共享信息的系统和方法 | |
US9942711B2 (en) | Apparatus and method for determining co-location of services using a device that generates an audio signal | |
CN106663245B (zh) | 社交提醒 | |
CN105247879B (zh) | 客户机设备、控制方法、系统和程序 | |
CN108831448A (zh) | 语音控制智能设备的方法、装置及存储介质 | |
CN103729406B (zh) | 环境信息的搜索方法及系统 | |
EP2595031A2 (en) | Display apparatus and control method thereof | |
CN106792341A (zh) | 一种音频输出方法、装置及终端设备 | |
CN104335591A (zh) | 用于基于上下文的媒体的自适应递送的系统 | |
CN109257498B (zh) | 一种声音处理方法及移动终端 | |
CN105451056B (zh) | 音视频同步方法及装置 | |
CN111858971A (zh) | 多媒体资源推荐方法、装置、终端及服务器 | |
CN106256131A (zh) | 用于在低功率下提供相关内容的系统和方法以及其中记录有程序的计算机可读记录介质 | |
TW201507483A (zh) | 視頻留言系統、終端及實現方法 | |
CN110020145A (zh) | 一种信息推荐方法及装置 | |
CN103902040A (zh) | 用于移动终端的处理装置、处理方法和电子设备 | |
CN113574525A (zh) | 媒体内容推荐方法及设备 | |
CN105389318B (zh) | 一种信息处理方法及电子设备 | |
JP2013247544A (ja) | 携帯端末装置 | |
JP2017126355A (ja) | イベントに関連付けられる情報を人に供給するための方法 | |
CN107786896A (zh) | 信息的推送方法、装置、终端设备和存储介质 | |
CN110708600A (zh) | 识别电视的有效观看者的方法和设备 | |
CN106454494A (zh) | 多媒体信息的处理方法、系统、多媒体设备和终端设备 | |
CN113691861B (zh) | 基于互联网的智能蓝牙音箱分控调节系统和方法 | |
CN113220912A (zh) | 一种交互辅助方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 516006 TCL science and technology building, No. 17, Huifeng Third Road, Zhongkai high tech Zone, Huizhou City, Guangdong Province Applicant after: TCL Technology Group Co.,Ltd. Address before: 516006 23rd floor, TCL science and technology building, 17 Huifeng 3rd road, Zhongkai hi tech Development Zone, Huizhou City, Guangdong Province Applicant before: TCL RESEARCH AMERICA Inc. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |