CN105578267A - 终端装置及其信息提供方法 - Google Patents

Abstract

这里提供的是一种终端装置及其信息提供方法，其中，所述终端装置包括：通信接口，被配置为接收运动图像；指纹提取器，被配置为从运动图像的帧提取指纹；控制器，被配置为从所述帧检测对象，控制通信接口将指纹发送到服务器，并从服务器接收与发送的指纹相应的对象信息；输出器，被配置为在与对象信息相应的内容被输出时输出接收到的对象信息。

Description

终端装置及其信息提供方法

相关申请的交叉引用

本申请要求2014年11月5日在韩国知识产权局提交的第10-2014-0152754号韩国专利申请的优先权，该申请的公开通过引用全部合并于此。

技术领域

与示例性实施例一致的方法和设备涉及移动装置及其信息提供方法，更具体地，涉及一种能够在提供内容相关信息时减少终端设备上和服务器上的信息处理负荷的移动终端及其信息提供方法。

背景技术

随着用户需求的逐渐增加，广播内容和多媒体内容的源正在从面向天波的单个源变为诸如线缆、因特网协议电视(IPTV)和视频点播(VOD)的各种源。此外，出现了提供诸如定制广告和节目推荐等信息的源。

包括定制广告和节目推荐的这种信息需要被提供，使得它与通过输出装置输出的图像相应。例如，当展示特定产品的图像被显示时，显示关于该产品的广告消息是有效的。

现有技术的设备使用图像的指纹，即，用于识别当前正输出的内容部分的特征数据，以便提供这样的信息提供服务。

然而，在现有技术的设备中，为了识别当前正输出的内容部分，必须以非常短的周期将指纹发送到服务器。这是因为，在指纹尚未发送时，有意义的对象可能在当前正输出的内容部分上出现和消失，在这种情况下，用户可能无法及时接收信息。

然而，上述现有技术的方法是有问题的，因为它可能将过多操作负荷置于输出内容的设备和服务器上。此外，从网络的角度看，可能招致过多流量成本。

发明内容

示例性实施例至少解决以上问题和/或缺点以及以上没有描述的其它缺点。另外，不要求示例性实施例克服以上描述的缺点，并且示例性实施例可不克服以上描述的任何问题。

一个或更多个示例性实施例提供了一种能够在提供内容相关信息时减少对终端设备和服务器的操作负荷的移动终端及其信息提供方法。

根据示例性实施例的一方面，提供了一种终端装置，包括：通信接口，被配置为接收运动图像；指纹提取器，被配置为从运动图像的帧提取指纹；控制器，被配置为从所述帧检测对象，控制通信接口将指纹发送到服务器，并从服务器接收与发送的指纹相应的对象信息；输出器，被配置为当与对象信息相应的内容被输出时输出接收到的对象信息。

控制器可在指纹被发送到服务器的时刻与检测到另一对象的后续时刻之间停止发送指纹。

控制器可控制通信接口以预定时间间隔将未检测到对象的帧的指纹发送到服务器。

控制器可控制通信接口在不考虑所述预定时间间隔的情况下将检测到对象的帧的指纹发送到服务器。

所述对象信息可包括档案信息、音乐信息、广告信息、广播节目信息和物品信息中的至少一种。

控制器可控制通信接口将接收的对象信息发送到外部装置。

控制器可控制指纹提取器仅针对检测到对象的帧执行指纹提取。

所述指纹可以是从所述帧提取的能够将所述帧与其它帧区分开的标识符，其中，所述帧与视频帧和音频帧中的至少一种相应。

根据示例性实施例的另一方面，提供了一种信息提供系统，包括：终端装置，被配置为从运动图像的帧提取指纹，从所述帧检测目标对象，响应于检测到目标将所述帧的指纹发送到服务器；服务器，被配置为将与指纹相应的对象信息发送到所述终端装置。

所述服务器可包括：通信接口，被配置为接收运动图像；指纹提取器，被配置为提取接收到的运动图像的指纹；控制器，被配置为从形成运动图像的帧检测目标对象，控制通信接口将检测到的目标对象的特征数据发送到对象识别服务器，从所述对象识别服务器接收与所述特征数据相应的对象信息；存储器，被配置为将接收的所述对象信息映射到所述指纹并存储映射结果。

根据示例性实施例的另一方面，提供了一种终端装置的信息提供方法，所述方法包括：从形成运动图像的帧提取指纹；从所述帧检测对象；响应于检测到目标对象，将提取的所述帧的指纹发送到服务器；从服务器接收与指纹相应的对象信息；当与对象信息相应的内容被输出时输出接收到的对象信息。

在指纹被发送到服务器的时刻与检测到另一对象的后续时刻之间可停止发送指纹。

发送步骤可包括：以预定时间间隔将未检测到对象的帧的指纹发送到服务器。

发送步骤还可包括：在不考虑所述预定时间间隔的情况下将检测到对象的帧的指纹发送到服务器。

所述对象信息可包括档案信息、音乐信息、广告信息、广播节目信息和物品信息中的至少一种。

所述方法还可包括：将接收到的对象信息发送到外部装置。

指纹提取的步骤可仅针对检测到对象的帧被执行。

所述指纹可以是从所述帧提取的能够将所述帧与其它帧区分开的标识符，其中，所述帧与视频帧和音频帧中的至少一种相应。

根据示例性实施例的另一方面，提供了一种非暂时性计算机可读记录介质，其中，所述计算机可读记录介质包括用于执行终端装置的信息提供方法的程序。所述方法可包括：从形成运动图像的帧提取指纹；从所述帧检测目标对象；响应于检测到目标对象，将提取的指纹发送到服务器；从服务器接收与发送的指纹相应的对象信息；当与对象信息相应的内容被输出时输出接收到的对象信息。

根据示例性实施例的另一方面，提供了一种终端装置的信息提供方法，所述方法包括：从视频的第一帧识别第一对象；将第一帧的指纹发送到服务器以接收关于第一对象的信息；从视频的第二帧识别第二对象；确定第二对象是否与第一对象相同；响应于确定第二对象与第一对象不同，将第二帧的指纹发送到服务器。

确定步骤可包括：确定第一对象和第二对象的相似度是否大于预定水平。

当第二对象具有与第一对象基本相同的外观并且第二对象在第二帧中的位置值不同于第一对象在第一帧中的位置值时，第二对象可被确定为与第一对象相同。

所述方法还可包括：响应于第一帧的指纹被发送到服务器，从服务器接收关于第一对象的信息；确定第二对象与第一对象相同；当第二对象被显示时显示接收到的关于第一对象的信息，而不将第二帧的指纹发送到服务器。

附图说明

通过参考附图描述特定示例性实施例，以上和/或其它方面将更明显，其中：

图1是用于说明根据示例性实施例的信息提供系统的视图；

图2是用于说明根据示例性实施例的终端装置的框图；

图3A和3B示出根据示例性实施例的对象检测方法；

图4是用于说明根据示例性实施例的终端装置的指纹发送方法的流程图；

图5至图7是用于说明根据各种示例性实施例的终端装置的指纹发送方法的视图；

图8至图9是用于说明根据各种示例性实施例的终端装置的对象信息提供方法的视图；

图10是用于说明根据示例性实施例的服务器的框图；

图11是用于说明根据示例性实施例的存储在服务器中的信息的视图；

图12是用于说明根据示例性实施例的根据服务器的指纹搜索方法的视图；

图13是用于说明根据示例性实施例的终端设备的信息提供方法的流程图；

图14是用于说明根据另一示例性实施例的终端装置的框图。

具体实施方式

下面参考附图更详细描述特定示例性实施例。

在以下描述中，相同的附图标记用于相同的元素，即使在不同图中也是如此。提供描述中定义的诸如详细构造和元件的事项以帮助综合理解示例性实施例。然而，示例性实施例可在没有这些具体定义事项的情况下实施。另外，由于公知功能或构造将以不必要的细节模糊本申请，因此不对它们进行详细描述，。

诸如“第一”和“第二”的词语可用于描述各种组件，但是它们不应限制各种组件。这些词语仅用于区分一组件与其它组件的目的。例如，在不脱离本公开的精神和范围的情况下，第一组件可被称为第二组件，第二组件可被称为第一组件等等。此外，“和/或”可包括提到的组件中的任何一个或这些组件的组合。

此外，单数形式可包括复数形式，只要未在句子中具体提到。此外，说明书中使用的“包括/包含”表示一个或更多个组件、步骤、操作、元件存在或被增加。

“模块”或“单元”执行至少一个功能或操作，并可实现为硬件或软件、或硬件和软件的组合。此外，多个“模块”或多个“单元”可集成为至少一个模块并被实现为至少一个处理器(未示出)，除了它们需要被实现为特定硬件的情况。

图1是用于说明根据示例性实施例的信息提供系统的视图。

参考图1，信息提供系统100包括终端装置100、服务器200、以及多个对象识别服务器300a、300b、300c、300d。

终端装置100被配置为是可提供图像中包括的对象的信息的装置。具体地，终端装置100被配置为是可请求服务器200提供对象的信息并从服务器200接收请求的对象信息且将接收的对象信息提供给用户的装置。例如，终端装置100可以是显示设备(例如，TV，智能电话，PC，笔记本，平板，电子书，数码相框，PDA等)或连接到显示设备的内容处理设备(例如，机顶盒)。

终端装置100可能不具有关于当前正从终端装置100输出的内容的信息以及内容中包括的对象的性质。因此，终端装置100可向服务器200发送指纹(即，用于识别当前正输出的内容的数据)，并从服务器200获得关于当前正输出的内容的信息和关于该内容中包括的对象的信息。服务器200将关于内容的基本信息或对象信息映射到指纹并存储指纹，因此服务器200可将与从终端装置100发送的指纹相应的基本内容信息和/或对象信息发送到终端装置100。稍后将更详细地说明指纹。

这里，词语“内容”可用于描述诸如图像、声音、照片等各种类型的内容。内容由音频信号和/或视频信号组成。形成内容的音频信号可按照被称为帧的特定时间单位进行划分并可被处理，形成内容的视频信号也可按照图片的特定单位进行划分并且可被处理。因此，在一帧中，包括关于特定内容部分的音频信号和/或视频信号。

这里，对象是形成内容的帧内部的图像或音频中包括的对象。

这里，对象的信息是与对象有关的各种信息中的一种，对象信息包括档案信息、音乐信息、广告信息、广播节目信息和物品信息中的至少一种。例如，如果对象是人，对象信息可以是关于人的全部影片目录的信息、或关于有人出现的其它广播节目的信息。在另一示例中，如果对象是物品，对象信息可以是关于可购买物品的地点的信息、或关于出售物品的开放市场的统一资源定位符(URL)地址的信息。在另一示例中，如果对象是音乐，对象信息可以是关于音乐的作曲者的信息、关于音乐的播放时间的信息、或关于可下载音乐的URL地址的信息。

服务器200被配置为是存储对象信息并将存储的对象信息发送到终端装置100的装置。具体地，服务器200可识别当前正从终端装置100输出的内容部分(帧)，并将关于该内容部分中包括的对象的信息(对象信息)发送到终端装置100。此外，服务器200可向终端装置100不仅发送对象信息，而且发送关于内容的基本信息。帧可指组成完整运动图像的多个静态图像中的一个，或在特定时间帧期间提供的音频信息。帧还可指包含在特定时间帧的视频和音频信息的内容。

具体地，服务器200将帧中包括的对象的特征数据发送到多个对象识别服务器300a、300b、300c、300d中的一个对象识别服务器，并且从该对象识别服务器接收与该特征数据相应的对象信息并存储所述对象信息。这里，对象的特征数据可以是与从帧内部的图像检测到的对象区域相应的图像，或者可以是从帧内部的音频检测到的音乐的脉冲编码调制(PCM)数据。

多个对象识别服务器300a、300b、300c、300d被配置为是识别从外部装置发送的信息中包括的对象并提供关于识别出的对象的信息的装置。多个对象识别服务器300a、300b、300c、300d可包括例如人识别服务器、音频识别服务器、广告识别服务器、广播节目识别服务器、物品识别服务器中的至少一个。具体地，多个对象识别服务器300a、300b、300c、300d使用从服务器200接收的对象的特征数据搜索对象信息并将搜索结果发送到服务器200。

同时，在上文，说明了存在多个对象识别服务器，并且它们根据要识别的对象的类型进行分类，但是并不存在限制，因此对象识别服务器可被配置为是一个服务器。

此外，在上文，说明了服务器200和多个对象识别服务器300a、300b、300c、300d是彼此分离的，但是它们可被配置为集成了它们的所有功能的一个服务器。

下文中，将更详细地说明前述信息提供系统1000中包括的各装置。

图2是用于说明根据示例性实施例的终端装置100的框图。

参考图2，终端装置100可包括通信接口110、输出器120、指纹提取器130、控制器140。

终端装置100可以是显示设备(例如，TV，智能电话，PC，笔记本，平板，电子书，数码相框，PDA)，或者是连接到显示设备的内容处理设备(例如，机顶盒)。终端装置100可接收各种类型的信号并输出内容。例如，终端装置100是可接收广播信号并输出广播信号的装置。终端装置100可接收诸如地波广播信号、线缆广播信号、卫星广播信号和因特网广播信号等的各种类型的广播信号。

通信接口110是被配置为通过与外部装置通信来接收各种数据的组件。通信接口110被形成以用于将终端装置100连接到外部装置，通信接口110可不仅通过LAN(局域网)和因特网连接到外部装置，而且可通过无线通信方法(例如，Z-wave、4LoWPAN、RFID、LTED2D、BLE、GPRS、Weightless、EdgeZigbee、ANT+、NFC、IrDA、DECT、WLAN、Bluetooth、Wi-Fi、Wi-FiDirect、GSM、UMTS、LTE和WiBRO)连接到外部装置。通信接口110可从外部装置接收内容，其中，内容为如前述的各种信号中的一种的形式。

特别地，通信接口110可根据控制器140的控制将指纹发送到服务器200，并可从服务器200接收与发送的指纹匹配的对象信息。

输出器120是被配置为根据形成内容的视频或音频信号显示图像或输出声音的组件。例如，输出器120可被实现为监视器、屏幕、扬声器或光束投影仪等。

特别地，输出器120可在输出与发送到服务器200的指纹匹配的内容部分的时刻输出从服务器200接收的对象信息。

同时，在终端装置100被实现为对从外部进入的信号进行转换并在显示设备上显示该信号的内容的装置(例如，机顶盒)的情况下，终端装置100可不包括输出器120。在这种情况下，终端装置100可发送用于通过连接到显示设备的端口输出内容的数据。

指纹提取器130是指终端装置100内部的可从形成内容的帧提取指纹的处理器。

指纹是区别一个帧与另一帧的独特数据。指纹是从帧中包括的视频、图像或音频信号提取的特征数据，不同于基于文本的元数据，指纹反映信号本身的独特特性。因此，指纹经常被称为指纹数据、DNA数据或基因数据。例如，在音频信号的情况下，指纹是描述音频信号的特性(诸如音频信号的频率和幅度)的数据，在图像或视频信号的情况下，指纹是描述图像或视频信号的特性(诸如图像或视频信号的运动矢量和颜色)的数据。指纹可通过各种现有技术算法中的一种提取。例如，可按照特定时间间隔划分音频信号，并且可计算每个时间间隔中包括的频率的信号大小。此外，可获得相邻频率部分的信号之间的大小差异以计算频率斜率，如果频率斜率是正数，则指纹数据可被量化为1，如果频率斜率是负数，指纹数据可被量化为0。

具体地，指纹提取器130在内容正被输出的同时在每一个预定间隔捕获帧并提取指纹。同时，根据示例性实施例，，指纹提取器130可仅从检测到目标对象的帧提取指纹，而不是从预定间隔的每一个帧提取指纹。根据此示例性实施例，可减少用于提取指纹的处理时间。

控制器140是被配置为控制终端装置100的总体操作的组件。具体地，控制器140使用存储器中存储的各种程序控制终端装置100的总体操作。例如，控制器140可包括中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(ROM)和系统总线。这里，ROM是存储用于启动系统的命令集的组件，CPU是根据ROM中存储的命令将存储器110中存储的操作系统复制到RAM并运行O/S以启动系统的组件。当完成启动时，CPU可将存储器中存储的各种程序复制到RAM，并运行各种程序以执行各种操作。在上文，说明了控制器140仅包括一个CPU，但控制器140可被配置为包括多个CPU(或数字信号处理器(DSP)、片上系统(SoC))。

同时，在上文，说明了指纹提取器130和控制器140是单独的组件，但它们可包括在终端装置100中作为一个处理器。

终端装置100的存储器是用于存储驱动终端装置100所需的各种程序和数据的组件。存储器可实现为非易失性存储器、易失性存储器、闪存、硬盘驱动(HDD)或固态驱动(SSD)。存储器由控制器140访问，并且可由控制器140执行读取/记录/修改/删除/更新数据。在本公开中，术语存储器可以是存储器、控制器140内部的ROM、RAM、或安装在终端装置100上的存储卡(例如，微型SD卡或记忆棒)。

特别地，控制器140可从形成内容的帧检测对象。可被检测的对象的示例包括帧内部的图像中包括的人、物品、背景、建筑物，并且还可检测帧内部的音频中包括的音乐、语音和旋律。将参考图3A和图3B说明检测对象的示例。

图3A和图3B示出根据示例性实施例的在终端装置中执行的对象检测方法。

参考图3A，控制器140可在特定时间帧从图像检测面部31。例如，控制器140可使用关于图像的边缘和颜色的信息从图像检测面部31。图像可称为视频帧，并可与组成完整运动图像的静态图像中的一个静态图像相应。

此外，参考图3B，控制器140可在时间帧从音频检测音乐33。例如，控制器140可使用语音和音乐的随时间变化的频率和幅度特性来区分语音和音乐，并且可检测帧内部的音频中是否包括目标音乐。

终端装置100可执行对象检测操作，而省略执行对象识别处理(可由外部服务器执行)。因此，存在降低终端装置100中的对象识别所需的开销的效果。

同时，前述对象检测方法仅是示例。可使用用于检测对象的各种现有技术算法。

此外，控制器140可控制通信接口110将检测到对象的帧的指纹发送到服务器200。具体地，当与检测到对象的帧相应的内容部分正通过输出器120被输出时，或者当内容部分在被输出之前存在于缓冲器中时，控制器140可将形成该内容部分的帧的指纹发送服务器200。

换言之，控制器140可在每次指纹正被提取时向服务器200发送指纹，但是它可仅当检测到对象时才发送指纹并请求该对象的信息。因此，可被最小化从终端装置100到服务器200的查询所需的成本，并且还可最小化终端装置100与服务器200之间的流量成本。

同时，根据另一示例性实施例，控制器140可控制通信接口110以预定时间间隔向服务器200发送未被检测到目标对象的帧的指纹。即，当未检测到目标对象时，终端装置100可仅以预定间隔向服务器200发送指纹，并接收内容的基本信息。下文中将参考图4说明此示例性实施例。

图4是用于说明根据示例性实施例的终端装置100的指纹发送方法的流程图。

参考图4，控制器140可执行对象检测(操作S410)。在内容正被输出的同时，指纹被指纹提取器130定期提取，并存储在存储器中。

此外，控制器140可确定在形成将被输出的内容的特定时间帧是否存在目标对象(操作S420)。响应于确定在该时间帧存在目标对象(即，检测到目标对象的图像和/或音频信号)，控制器140可立即向服务器200发送从该帧提取的指纹(操作S433)，并从服务器200接收关于目标对象的信息(操作S440)。这里，服务器200可将关于内容的基本信息与对象信息一起发送。

另一方面，响应于确定从该帧未检测到对象，控制器140可在对象未被检测到时仅以预定时间间隔(例如，1分钟)向服务器200发送指纹(操作S431)。这是因为，由于主要目的是接收目标对象的信息，所以在不存在目标对象时不必频繁向服务器200进行查询。在这种情况下，服务器200可从终端装置100接收指纹并将与指纹匹配的基本内容信息发送到终端装置100(操作S440)。由于考虑到一般观看模式用户通常不按1分钟的时间间隔改变频道，所以当未检测到对象时，即使仅以大约1分钟的时间间隔向服务器200进行查询，识别终端装置100当前正观看什么内容也不存在问题。

此外，控制器140可控制通信接口在不考虑预定时间间隔的情况下向服务器200发送被检测到目标对象的帧的指纹。即，当目标对象在1分钟的预定时间间隔内出现因此有必要接收对象的信息时，将立即发送指纹，因此终端装置100将不会错过对象信息。

同时，在本公开中，基本内容信息可指关于内容本身的基本信息，例如，在内容是广播节目的情况下，基本内容信息是频道信息、节目标题、以及关于当前正被输出的内容部分与节目的哪点相应的信息，在内容是媒体文件的情况下，基本内容信息是媒体文件格式、以及关于当前正被输出的内容部分与媒体文件的哪点相应的信息。这种基本内容信息是即使服务器200不向另一外部装置进行查询也能知道的信息。稍后将详细说明服务器200可如前所述识别基本内容信息。

在前述示例性实施例中，说明了由指纹提取器130定期提取指纹。然而，根据另一示例性实施例，控制器140可控制指纹提取器130仅对被检测到目标对象的帧执行指纹提取。根据此示例性实施例，在终端装置100主要从服务器200获得对象信息的情况下，能有效地降低提取指纹的处理成本。

下文中，将参考图5至图7说明根据其他示例性实施例的终端装置的指纹发送方法。

根据示例性实施例，控制器140可在检测到第一对象并将第一对象的指纹发送到服务器200时的时刻与检测到不同于第一对象的第二对象时的后续时刻之间停止发送指纹。

例如，如图5所示，由于从第一帧51检测到对象并且指纹被发送直到检测到新对象，因此即使先前检测到的对象之后与第一帧51不同地被显示或再现，也不发送指纹。即，当与第二帧52和第三帧53相应的内容部分正被输出时，不发送指纹。这是因为，关于与以前相同的对象，不必重复接收对象信息。当从第四帧54检测到新对象时，控制器140将从第四帧提取的指纹发送到服务器200，以请求关于新对象的对象信息。

具体地，通过执行图像跟踪，控制器140可确定是与先前帧中存在的对象相同的对象只是改变它在屏幕上的位置还是另一新对象出现。因此，即使在重复检测到对象时，控制器140可仅在新对象出现时向服务器200发送指纹。

此示例性实施例可按照相同的方式被应用于音乐检测。具体地，参考图6，当在第一时间帧61从视频检测到音乐时，控制器140可发送指纹，并确定音乐是否曾停止过，如果确定音乐从未停止，控制器140在音乐连续播放时间期间停止发送指纹。即，由于与第一帧61中相同的音乐在第二时间帧62和第三时间帧63播放，因此不发送指纹。此外，当控制器140在第四时间帧64感测到音乐停止达特定时段并随后再次播放时，控制器140可在第四时间帧64提取音乐的指纹并将该指纹发送到服务器200。

此外，此示例性实施例也可被应用于检测到另一类型的对象的情况。具体地，参考图7，在发送在被检测到音乐的第一时间帧71提取的指纹之后，在没有感测到音乐停止的第二帧72的点，不发送指纹。之后，在被检测到新类型的对象的第三帧73的输出点，控制器140发送指纹。这里，新类型的对象指的是第三帧73中新出现的与从第一帧71至第二帧72检测的音乐对象的类型不同的图像对象。

在参考图5至图7说明的前述示例性实施例中，相比于每次检测到对象时就发送指纹的示例性实施例，优点是降低了进行查询的成本。

此外，控制器140可控制通信接口110从服务器200接收与发送到服务器200的指纹匹配的对象信息。在这种情况下，因为不仅对象信息而且基本内容信息与指纹相匹配并被存储在服务器200中，所以终端装置100可不仅接收对象信息而且接收基本内容信息。

此外，控制器140可控制输出器120输出接收的对象信息。下文中将参考图8说明输出对象信息的示例。

图8是用于说明根据示例性实施例的在终端装置中输出对象信息的视图。

参考图8，终端装置100被实现为具有显示器的显示设备。在这种情况下，输出器120包括显示器和扬声器。

控制器140可从服务器200接收对象信息并将对象信息显示在对象信息输出区域81上。显示在对象信息输出区域81上的对象信息可以是关于产品80的信息，产品80是从当前帧识别的对象。例如，对象信息可以是关于识别出的产品80的说明，该说明是关于出售产品80的因特网购物中心的URL地址的信息。关于显示产品80时的时刻的信息被一起显示，因此可最大化产品80的广告效果。

同时，根据示例性实施例，可从与终端装置100不同的终端装置输出对象信息。为此目的，控制器140可控制通信接口110将从服务器200接收的对象信息发送到外部装置。下文中将参考图9更详细地说明书此实施例。

图9是用于说明根据另一示例性实施例的终端装置的信息提供方法的视图。

参考图9，当在特定内容部分正从终端装置100输出时检测到音乐90时，控制器140可将从与该内容部分相应的帧提取的指纹发送到服务器200，并接收与发送的指纹匹配的对象信息。控制器140可向外部装置400发送接收的对象信息。具体地，控制器140可显示用来接收用于将对象信息发送到外部装置400的用户操作命令的UI屏幕，当选择OK按钮93的用户操作被输入时，对象信息被发送到外部装置400。在图9中，当音乐对象信息已被发送到服务器400并且用于听音乐的播放菜单95被选择时，外部装置400可使用接收的对象信息播放音乐。这里，发送的对象信息可以是提供音乐的流重放的网页的URL地址。当取消按钮95被选择时，控制器140可控制输出器120停止显示UI屏幕。

根据此示例性实施例，可在可更容易读取信息的装置(诸如，移动电话)中向用户提供对象信息，从而进一步提高用户便利度。

下文中，将参考图10至图12更详细地说明被配置为与终端装置100通信的服务器200。

图10是用于说明根据示例性实施例的服务器200的框图。参考图10，服务器200可包括通信接口210、指纹提取器220、存储器230和控制器240。

通信接口210是被配置为通过与外部装置通信来接收各种数据的组件。通信接口210被形成以用于将终端装置100连接到外部装置，通信接口210可不仅通过LAN(局域网)和因特网、而且通过无线通信方法(例如，Z-wave、4LoWPAN、RFID、LTED2D、BLE、GPRS、Weightless、EdgeZigbee、ANT+、NFC、IrDA、DECT、WLAN、Bluetooth、Wi-Fi、Wi-FiDirect、GSM、UMTS、LTE、WiBRO)连接到外部装置。

具体地，通信接口210可接收内容，例如，广播节目。广播节目包括广告。在一些情况下，通信接口210可接收与广播节目有关的EPG信息。EPG信息可从广播节目的提供商接收，或从单独的EPG提供商接收。在这种情况下，服务器200可接收广播节目和EPG信息，因此服务器200可使用接收的广播节目和电子节目指南(EPG)信息识别广播节目信息。

此外，通信接口210可将与从终端装置100接收的指纹匹配的对象信息或基本内容信息发送到终端装置100。

此外，通信接口210可向对象识别服务器发送对象的特征数据，并且接收与该特征数据相应的对象信息。同时，根据另一示例性实施例的对象识别服务器和服务器200可被实现为一个设备，并且可在单个服务器200内部执行对象识别操作。在这种情况下，在服务器200内部的组件之间发送对象的特征数据。

指纹提取器220指的是服务器200内部的可从形成对象的帧提取指纹的处理器。早先在关于终端装置100的部分中说明了指纹，因此将省略关于重叠构造的具体说明。

同时，指纹提取器220从提供自外部内容源的内容提取指纹并将指纹存储在存储器230中。因此，关于多个内容的多个指纹的列表可存储在存储器230中。

在这种情况下，基本内容信息可与每个指纹匹配并被存储在存储器230中。例如，在内容是广播节目的情况下，控制器240可将内容的频道信息与指纹匹配并将内容的频道信息存储在存储器230中。此外，可参考EPG来识别关于该频道中当前正播放的节目的信息。也就是说，在存储器230中，即使不向外部装置进行请求也可知道的关于内容本身的基本信息可与指纹匹配并被存储。

存储器230是用于存储驱动服务器200所需的各种程序和数据的组件。存储器230可被实现为非易失性存储器、易失性存储器、闪存、硬盘驱动(HDD)或固态驱动(SSD)。存储器230由控制器240访问，并且可由控制器240执行读取/记录/修改/删除/更新数据。在本公开中，术语存储器可以是存储器230、控制器240内部的ROM、RAM、或安装在终端装置200上的存储卡(例如，微型SD卡或记忆棒)。

具体地，在存储器230中，可存储指纹、对象信息和基本内容信息。下文中将参考图11详细说明存储在存储器230中的数据。

图11是用于说明根据示例性实施例的服务器200中存储的数据的视图。

在存储器230中，存储针对每个内容提取的指纹以及与指纹匹配的各种信息。参考图11，从形成特定内容的帧提取的指纹、与指纹匹配的基本内容信息、以及对象信息被存储在存储器230中。

这里，如前所述，基本内容信息是指关于内容本身的基本信息，例如，在内容是广播节目的情况下，基本内容信息是频道信息、节目标题、以及关于当前正被输出的内容部分与节目的哪点相应的信息，在内容是媒体文件的情况下，基本内容信息是媒体文件格式以及关于当前正被输出的内容部分与媒体文件的哪点相应的信息。因此，如图11中所示，控制器240可将基本内容信息与所有第一指纹1200至第三指纹1220匹配，并将基本内容信息存储在存储器230中。

同时，在对象包括在帧中的情况下，对象信息与匹配相应帧的指纹匹配，并随后被存储在存储器230中。图11示出与第一指纹1200和第三指纹1220相应的帧中不包括对象并且仅在与第二指纹1210相应的帧中包括对象的示例。因此，这里，对象信息与第二指纹1210匹配并被存储在存储器230中。

对象信息是仅当识别到对象时可被识别的信息。为此目的，控制器240将对象的特征数据发送到对象识别服务器，接收对象信息，然后将对象信息与指纹匹配并将对象信息存储在存储器230中。

控制器240是用于控制服务器200的总体操作的组件。具体地，控制器240使用存储器230中存储的各种程序控制服务器200的总体操作。例如，控制器240可包括CPU、RAM、ROM和系统总线。这里，ROM是存储用于启动系统的命令集的组件，CPU是根据ROM中存储的命令将存储器230中存储的操作系统复制到RAM并运行O/S以启动系统的组件。当完成启动时，CPU可将存储器中存储的各种程序复制到RAM，并运行各种程序以执行各种操作。在上文，说明了控制器240仅包括一个CPU，但控制器240可被配置为包括多个CPU(或DSP、SoC)。

同时，在上文，说明了指纹提取器220和控制器240是单独的组件，但它们可包括在服务器200中作为一个处理器。

具体地，控制器240在存储器230中存储的指纹中搜索与从终端装置100接收的指纹匹配的指纹。这将在下文参考图12进行说明。

图12是用于说明根据示例性实施例的服务器200的搜索指纹的视图。

参考图12，当特定指纹11从终端装置100被发送时，控制器240搜索与接收到的指纹11匹配的指纹13。在存储器中，与指纹13匹配的基本内容信息被存储，并且控制器240将与指纹13匹配的基本内容信息发送到终端装置100。相应地，终端装置100可识别当前正被输出的帧21与哪个内容的哪个部分相应，并可通过输出器120向用户提供基本内容信息。此外，当与指纹13匹配的对象信息存储在存储器230中时，控制器240将与指纹13匹配的对象信息发送到终端装置100。相应地，终端装置100可识别当前正被输出的帧21中包括哪个对象，并可通过输出器120向用户提供接收的对象信息。

此外，控制器240可从形成接收到的内容的帧检测对象。在关于终端装置100的部分中说明了对象检测方法，因此将省略重复说明。

此外，控制器240控制通信接口210将检测到对象的帧中包括的对象的特征数据发送到对象识别服务器。也就是说，并不是发送所有帧的特征数据，控制器仅将检测到对象的帧中包括的对象的特征数据发送到对象识别服务器，并请求对象识别。

因此，可降低服务器200与对象识别服务器之间用于对象识别的网络流量负荷，并且还可节省用于数据发送的成本。这类似于仅当在终端装置100中识别到对象时才发送指纹的效果。

这里，在对象包括在图像中的情况下，对象的特征数据可以是包括对象的区域的图像的数据。此外，在对象包括在特定时间帧的视频中的情况下，对象的特征数据可以是PCM数据(转换为二进制信号数据的模拟数据)。

接收到对象的这样的特征数据的对象识别服务器搜索预存储的对象信息中与接收到的特征数据匹配的对象信息。例如，对于音频识别，一个或两个短语的音频数据可用作对象的特征数据。对于物品、动物或地点的识别，每个图像可用作对象的特征数据，而对于广播节目和广告的识别，从帧提取的指纹可用作对象的特征数据。

当一帧中包括多个对象时，按照类似的方式执行对象识别。例如，当包括人、物品或音乐时，服务器200从一帧提取关于人的对象的特征数据、关于物品的对象的特征数据、关于音乐的对象的特征数据。此外，服务器200提取指纹。提取的对象的每个特征数据被发送到人识别服务器、物品识别服务器、音频识别服务器和广播节目识别服务器。每个对象识别服务器使用接收到的对象的特征数据搜索对象信息，并将搜索结果发送到服务器200。服务器200将从帧提取的指纹与接收的档案信息、物品信息、音乐信息和广播节目信息映射为一个并进行存储。

服务器200和对象识别服务器可被实现为一个设备，或实现为单独的设备。当服务器200和对象识别服务器被实现为一个设备时，将在内部进行对象的特征数据和对象信息的发送，因此发送速度将快于通过外部网进行发送时的发送速度。此外，即使在服务器200和对象识别服务器被实现为单独的设备时也可通过内部网或短距离通信而不通过外部网来进行信息发送，，因此可降低成本并且可加快处理速度。

根据前述根据示例性实施例的服务器200，服务器200仅当检测到对象时才从帧提取对象的特征数据并执行对象识别，因此可减少服务器200的负荷和传输流量。

下文中，将参考图13说明根据示例性实施例的终端装置100的信息提供方法。

参考图13，终端装置100接收内容(操作S1310)。根据另一示例性实施例，内容可预存储在终端装置100的存储器中，使得终端装置100不必从外部装置接收内容。

此外，终端装置100可从形成内容的帧提取指纹(操作S1320)。提取指纹可与实时输出内容一起执行。具体地，可就在每个内容部分被输出之前提取内容部分的指纹。

此外，当从形成内容的帧检测到对象时，检测到对象的帧的指纹可被发送到服务器200(操作S1330)。如果未从形成内容的帧检测到对象，则该帧的指纹可选择性地被发送到服务器200。例如，检测到对象的帧的指纹可仅以预定时间间隔被发送到服务器200。例如，在预定时间间隔是1分钟的情况下，在未检测到对象的帧的第一指纹被发送到服务器200之后可不发送指纹，当1分钟过去时，指纹可被发送到服务器200。当然，如果在该时间期间检测到对象，则检测到对象的帧的指纹被直接发送到服务器200而不必等待1分钟经过。

随后，终端装置100可从服务器200接收与发送的指纹匹配的对象信息(操作S1340)。在不存在与指纹匹配的对象信息的情况下，终端装置100可仅接收与指纹匹配的内容的基本信息。

此外，终端装置100可在与发送的指纹匹配的内容部分被输出时输出接收的对象信息(操作S1350)。在这种情况下，终端装置100可在显示在显示器(即，输出器120)上的屏幕的一侧输出对象信息。具体地，可通过用户设置确定将被显示的对象信息的位置和显示方法。例如，如果用户不想被中断观看内容，则用户可改变用户设置以不显示对象信息，或者仅显示小图标以便移动对象信息。此外，终端装置100可向另一终端装置发送对象信息。在这种情况下，该另一终端装置可以是能够输出对象信息的智能电话、遥控或可穿戴装置(例如，智能手表)等。

关于本公开的前述说明可被应用于参考图13说明的信息提供方法，因此可理解各种信息提供方法。因此，将省略关于重叠部分的重复说明。

在关于各种示例性实施例的前述信息提供方法中，可减少被发送以提供对象信息的指纹以及对象的特征数据的发送量，从而降低终端装置和服务器上的负荷。

此外，根据各种示例性实施例的前述信息提供方法可被实现为包括可在计算机中执行的信息提供方法的程序，并且该程序可存储在非暂时性计算机可读介质中，并且如此提供。该非暂时性计算机可读介质可安装在各种设备上并被使用。

非暂时性计算机可读介质是指可半永久地且非短时间段地存储数据的介质(诸如电阻器、高速缓存和内存)。具体地，执行以上提到的各种方法的应用或程序可存储在CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM中并被提供。

下文中，将参考图14说明根据另一示例性实施例的终端装置100’的构造。

参考图14，终端装置100’可包括调谐器160、输入端口170、信号处理器150、输出器110、通信接口110、存储器190和控制器140。

调谐器160可根据控制器140的调谐控制，接收由用户在从卫星接收天线、地波接收天线和线缆等接收的多个广播频道之中选择的频道的广播信号，并对该广播信号进行调制。

输入端口170可与各种外部装置通信并接收内容。可使用的输入端口170的示例包括USB端口、机顶盒端口和DVD端口等。

信号处理器150可包括解复用器151、视频处理器152、音频处理器153和附加数据处理器154。同时，视频处理器152和音频处理器153可与前述指纹提取器130相应。

解复用器151可对通过调谐器160或输入端口170输出的内容中包括的视频数据、音频数据和附加数据进行解复用，并将所述数据提供给视频处理器152、音频处理器153和附加数据处理器154。

视频处理器152可对通过解复用器151分离的视频数据进行解码，对解码的视频数据进行信号处理以具有适合显示器122的输出标准的垂直频率、分辨率和屏幕比。显示器122可输出正从视频处理器152输出的视频数据以及作为图像的用户界面。

此外，视频处理器152可包括从服务器200接收的对象信息的用户界面以及视频数据进行缩放，使得用户界面和视频数据被一起显示在显示器122上并被输出。此外，视频处理器152可从形成内容的视频信号提取作为特征信息的指纹。

音频处理器153可对从解复用器151提供的音频数据进行解码，然后对它进行信号处理，使得它适合扬声器121的输出标准。此外，音频处理器153可提取正在输入的音频信号的作为特征信息的指纹。

当包括诸如EPG和字幕的附加信息时，附加数据处理器154可对由解复用器151分离的附加数据进行处理，并将处理后的字幕等添加到相应的图像帧。

通信接口110可包括嵌入的各种通信芯片，因此可以以各种通信方法与服务器200通信，以被提供各种信息。

命令输入器180可包括用于接收用户命令的各种键以及被配置为接收从遥控设备发送的用户命令的红外接收器。另外，命令输入器180可与显示器122组合并可用触摸面板方法实现。通过这样的命令输入器180接收的用户命令可被转换为相应的键信号，并被发送到控制器140。

在存储器190中，可存储执行终端装置100’的操作所需的各种程序和数据。此外，在存储器190中，可存储从信号处理器150提取的视频信号或音频信号的指纹，以及从服务器200接收的指纹、基本内容信息和对象信息。

此外，存储器190可包括分析模块和事件处理模块，其中，分析模块用于对从信号处理器150提取的指纹和从服务器200接收的指纹进行比较和分析，事件处理模块用于输出从服务器200接收的对象信息并对关于对象信息的用户输入进行处理。

控制器140可控制终端装置100’的每个组件。特别地，控制器140可从形成内容的帧检测对象，并将从检测到对象的帧提取的指纹发送到服务器200。

根据另一示例性实施例，控制器140可控制通信接口110使用内容中包括的EPG识别当前正被输出的内容并将识别出的内容信息发送到服务器200。也就是说，在上文，仅说明了使用指纹的示例性实施例，但可使用利用EPG识别出的信息来代替指纹。

此外，控制器140从服务器200接收与发送的指纹或识别出的信息相应的对象信息。此外，控制器140控制输出器120在相应帧被输出的时刻输出来自服务器200的对象信息。服务器200可将关于对象信息输出时间的信息与对象信息一起发送到终端装置100’，使得对象信息可在包括相应对象的帧被输出时被输出。相应地，控制器140可根据接收的关于对象信息输出时间的信息，在从接收对象信息的时间点起经过了特定时间之后输出对象信息。

尽管未限制，但示例性实施例可被实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储之后可由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储装置。计算机可读记录介质也可分布在联网的计算机系统上，使得以分布式方式存储并执行计算机可读代码。而且，示例性实施例可被编写为计算机程序，其中，所述计算机程序通过诸如载波的计算机可读传输介质传输，并在运行程序的通用或专用数字计算机中被接收和实现。此外，要理解：在示例性实施例中，以上描述的设备和装置的一个或更多个单元可包括电路、处理器、微处理器等，并可运行存储在计算机可读介质中的计算机程序。

上述示例性实施例和优点仅是示例性的，并且将不被解释为进行限制。本教导可容易地应用于其它类型的设备。此外，示例性实施例的描述旨在示出，而不是限制权利要求的范围，许多可选、修改和变型对于本领域技术人员将是明显的。

Claims (15)

1.一种终端装置，包括：

通信接口，被配置为接收运动图像；

指纹提取器，被配置为从运动图像的帧提取指纹；

控制器，被配置为从所述帧检测对象，控制通信接口将指纹发送到服务器，并从服务器接收与发送的指纹相应的对象信息；

输出器，被配置为在与对象信息相应的内容被输出时输出接收到的对象信息。

2.如权利要求1所述的装置，

其中，控制器还被配置为在指纹被发送到服务器的时刻与检测到另一对象的后续时刻之间停止发送指纹。

3.如权利要求1所述的装置，

其中，控制器还被配置为控制通信接口以预定时间间隔将未检测到对象的帧的指纹发送到服务器。

4.如权利要求3所述的装置，

其中，控制器还被配置为控制通信接口在不考虑所述预定时间间隔的情况下将检测到对象的帧的指纹发送到服务器。

5.如权利要求1所述的装置，

其中，所述对象信息包括档案信息、音乐信息、广告信息、广播节目信息和物品信息中的至少一种。

6.如权利要求1所述的装置，

其中，控制器还被配置为控制通信接口将接收到的对象信息发送到外部装置。

7.如权利要求1所述的装置，

其中，控制器还被配置为控制指纹提取器仅针对检测到对象的帧执行指纹提取。

8.如权利要求1所述的装置，

其中，指纹是从所述帧提取的能够将所述帧与其它帧区分开的标识符，其中，所述帧与视频帧和音频帧中的至少一种相应。

9.一种终端装置的信息提供方法，所述方法包括：

从形成运动图像的帧提取指纹；

从所述帧检测对象；

响应于检测到对象，将提取出的所述帧的指纹发送到服务器；

从服务器接收与指纹相应的对象信息；

当与对象信息相应的内容被输出时，输出接收到的对象信息。

10.如权利要求9所述的方法，

其中，在指纹被发送到服务器的时刻与检测到另一对象的后续时刻之间停止发送指纹。

11.如权利要求9所述的方法，

其中，发送步骤包括：以预定时间间隔将未检测到对象的帧的指纹发送到服务器。

12.如权利要求11所述的方法，

其中，发送步骤还包括：在不考虑所述预定时间间隔的情况下将检测到对象的帧的指纹发送到服务器。

13.如权利要求9所述的方法，

其中，所述对象信息包括档案信息、音乐信息、广播节目信息和物品信息中的至少一种。

14.如权利要求9所述的方法，还包括：将接收到的对象信息发送到外部装置。

15.如权利要求9所述的方法，

其中，提取指纹的步骤仅针对检测到对象的帧被执行。