CN103455506A

CN103455506A - 关键词提取装置、关键词管理装置、以及关键词提供系统

Info

Publication number: CN103455506A
Application number: CN2012101770349A
Authority: CN
Inventors: 根本龙
Original assignee: Hitachi China Research and Development Corp
Current assignee: Hitachi China Research and Development Corp
Priority date: 2012-05-31
Filing date: 2012-05-31
Publication date: 2013-12-18

Abstract

本发明涉及一种信息处理装置，其用于从视频播放媒体的解码后的图像数据和声音数据中分别提取出感兴趣广告的关键词，包括：广告检测部（201），其从所述图像数据和声音数据中检测出广告；感兴趣广告确定部（206），其从所述广告检测部（201）所检测出的广告中确定用户感兴趣的广告；关键词提取部（209、212、213），其从所述感兴趣广告确定部（206）确定的用户感兴趣的广告中提取出关键词。

Description

关键词提取装置、关键词管理装置、以及关键词提供系统

技术领域

本发明涉及一种关键词提取装置、关键词管理装置、以及关键词提供系统，其从用户感兴趣的广告中自动取得关键词，并用于网购、关键词检索的系统。

背景技术

最近通过网络购物的人一直在增加。而且，最近被称为智能电视的电视也在增加，该智能电视可以通过下载网购的程序、以关键词来输入想要购入的物品来进行网购。用户在看电视时还可以进行网购。大多在看完广告之后进行网购。只是，即使看了广告，也有可能不能即刻存储或记录下来，需要针对感兴趣的广告中的关键词的反馈系统。

【现有技术文献】

【专利文献1】日本特开2006-319456

通过对播放时的声音进行声音识别，从声音中取得关键词，将该关键词替换为，网络上的检索引擎网站中的用于检索的关键词中、检索频率等级比预先设定的等级高的关键词，通过提示用户，将与播放内容关联的关键词自动提供给用户，使得用户能够容易地取得与该关键词关联的信息。

发明内容

【发明要解决的技术问题】

专利文献1中，由于对播放内容进行声音识别以进行关键词提取，将由声音识别提取出的关键词替换为，使用网络上的检索引擎网站用于检索的关键词中检索频率等级高的关键词，以提供给用户，因此能够提示社会大众一般来说都感兴趣的信息，但是该信息并不一定是用户感兴趣的信息，提供用户感兴趣的信息是比较困难的。

本发明的特征在于，能够提取出能够容易地摸索找到用户感兴趣的信息的关键词。

【解决问题的技术手段】

方案[1]一种关键词提取装置（116），其用于从视频播放媒体的解码后的图像数据和声音数据中分别提取出感兴趣广告的关键词，包括：广告检测部（201），其从所述图像数据和声音数据中检测出广告；感兴趣广告确定部（206），其从所述广告检测部（201）所检测出的广告中确定用户感兴趣的广告；关键词提取部（218），其从所述感兴趣广告确定部（206）确定的用户感兴趣的广告中提取出关键词。

方案[2]如方案[1]所述的关键词提取装置（116），所述广告检测部（201）根据相邻的事件之间的间隔来检测广告，所述事件是指所述图像数据的画面切换发生在声音数据的无声期间的时刻。

方案[3]如方案[2]所述的关键词提取装置（116），所述广告检测部（201）检测到所述相邻的事件之间的间隔是单位时间的整数倍且在规定时间以下时，判断该相邻的事件之间播放的是一个广告，该相邻的事件分别为该广告的起始和结束时刻。

方案[4]如方案[3]所述的关键词提取装置（116），所述关键词提取装置进一步包括：所述用户嗜好测定部（216），其用于测定用户感兴趣的视频播放的时间段，所述感兴趣广告确定部（206）将起始和结束时刻中的任一时刻落在所述用户感兴趣的视频播放的时间段内的广告确定为用户感兴趣的广告。

方案[5]如方案[4]所述的关键词提取装置（116），所述用户嗜好测定部（216）包括用于感测用户的视线、声音信息的传感器（217），所述用户嗜好测定部（216）根据传感器（217）感测的用户的视线、声音信息测定用户感兴趣的视频播放的时间段。

方案[6]如方案[5]所述的关键词提取装置（116），所述关键词提取部（218）对所述感兴趣广告确定部（206）确定的用户感兴趣的广告的图像数据和声音数据分别进行图像识别和声音识别，以分别提取关键词，若从一个广告中通过图像识别提取的关键词和通过声音识别提取的关键词是同一个，则舍弃其中一个。

方案[7]一种包含方案[1]-[6]中任何一个关键词提取装置（116）的关键词管理装置（121），该关键词管理装置（121）包括：关键词管理部（117），其接收所述关键词提取装置（116）提供的关键词，并对该关键词进行管理，所述关键词管理部（117）包括：关键词接收部（301），其接收所述关键词提取装置提供的关键词；关键词缓冲区(306)，登记关键词接收部（301）接收的关键词；关键词计数部（302），其按照事先规定的多个时间范围，对落入各时间范围的相同关键词的个数分别进行计数；排名创建部（304），其依序根据所述关键词计数部（302）的计数个数从大到小的顺序、关键词所在广告的开始或结束时刻以及所述关键词接收部（301）接收关键词的顺序，按照各时间范围分别对关键词缓冲区306中的关键词进行排序。

方案[8]如方案[7]所述的关键词管理装置(121)，在关键词的个数相同的情况下，排名创建部（304）按照该个数相同的关键词所在广告的开始或结束时刻从后到前的顺序进行排序，在关键词的个数相同且该相同个数的关键词所在广告的开始和结束时刻也相同的情况下，排名创建部（304）按照所述关键词接收部（301）接收关键词的顺序从前到后的顺序进行排序。

方案[9]如方案[8]所述的关键词管理装置(121)，所述排名创建部（304）找到该最后一个感兴趣广告的关键词中排名最前的关键词，若该广告中所有剩余关键词若没有一一紧跟该排名最前的关键词，则将所有剩余关键词从原来排序中取出，按照在原来排序中的先后依次相接后，移至紧跟在该排名最前的关键词之后。

方案[10]一种包含方案[7]-[9]中任何一个关键词管理装置(121)的关键词提供系统(100)，所述关键词提供系统包括：显示部（110），其按照各时间范围显示所述排名创建部（304）排序的关键词中排名在前的规定数量的关键词，在所述用户嗜好测定部（216）没有检测到用户感兴趣的视频播放的时间段且关键词缓冲区（306）有用户感兴趣的关键词时，用户可选择在所述显示部上按照各时间范围显示所述排名创建部（304）排序的关键词中排名在前的规定数量的关键词。

方案[11]如方案[10]所述的关键词提供系统，所述关键词提供系统连接于应用网站，用户可以从所述显示部（110）上显示的关键词中选择关键词，并发送至该应用网站。

【发明的效果】

本发明通过自动取得用户感兴趣广告中的关键词，可以不需要输入关键词，即可容易地找到网购网站或检索引擎网站上用户需要的信息。

附图说明

图1是示出关键词提供系统的整体构成的说明图。

图2是示出关键词提取装置的构成的说明图。

图3是示出广告检测部进行广告检测处理的流程的流程图。

图4是示出广告检测部进行广告检测处理的流程的流程图。

图5是示出将广告开始时刻和广告结束时刻存储到广告缓冲区的处理的流程的流程图。

图6是示出确定用户感兴趣的广告和备份用户感兴趣的广告的处理的流程的流程图。

图7是示出关键词管理部的构成的说明图。

图8是说明关键词数据的数据结构的图。

图9是示出关键词接收部的处理流程的流程图。

图10是示出关键词计数部的处理流程的流程图。

图11是示出关联关键词创建部的处理流程的流程图。

图12是示出排行创建部的处理流程的流程图。

图13显示画面创建部所创建的画面。

图14是用于说明排行创建部的处理流程的实例。

具体实施方式

图1是示出关键词提供系统100的整体构成的说明图。本关键词提供系统100由调谐部101接收数字电视等视频播放媒体的播放信号、再由解调部102解调接收到的信号、再由错误订正部103进行错误订正。错误订正部103的输出结果被称为传送流（TS），TS由图像声音分离部104分离为符号化了的图像数据和声音数据。符号化了的图像数据由图像解码部105解码，并将被解码了的图像数据存储到图像缓冲区106。OSD描画部107描画菜单等OSD数据，并将OSD数据存储到OSD数据缓冲区108。图像缓冲区的图像数据和OSD数据缓冲区的OSD数据由合成部109合成，成为最终画面数据，显示器110等显示部显示最终画面数据。符号化了的声音数据由声音解码部111解码，并存储到声音缓冲区112。声音缓冲区112的数据由扬声器113输出。虽然101至113是接收数字电视的播放信号的必要构成，但也可以不是接收数字电视的播放而是接收模拟播放或有线电视的播放的构成、也可是对互联网的图像网站的数据进行播放的构成。

由用户嗜好测定部216的传感器部217取得用户视线、声音等信息，由用户嗜好测定部216根据传感器部217取得的信息测定用户感兴趣的视频播放的时间段。

关键词提取装置116从数字电视等的视频播放媒体的解码后的图像数据和声音数据中分别提取出感兴趣广告的关键词。提取的关键词由关键词管理部117进行管理。关键词提取装置116和关键词管理部117是本发明的主要部分。关键词提取装置116和关键词管理部117构成本发明的关键词管理装置121。

图2是对关键词提取装置116的构成进行详细说明的图。

广告检测部201从图像数据和声音数据中检测出广告，检测到的广告的图像数据存储到图像环形缓冲区202、声音数据存储到声音环形缓冲区203。

广告的检测是利用“节目向广告的切换”、“广告向广告的切换”、“广告向节目的切换”中短暂的无声期间与画面的切换同时发生、以及一个广告的长度是5秒的整数倍（5秒、10秒、20秒、30秒等）这样的特征。但是，考虑到广告的长度根据国家、地区、播放的时期而有所不同，并可能会发生变化，本申请说明书中以一个广告的长度是单位时间T_min的整数倍且在规定时间T_max以下的情况为例来进行说明。而且T_min、T_max可以根据用户的设定自由变更。

具体来说，将图像数据的画面切换发生在声音数据的无声期间的时刻（以后称之为事件。）按照时序存储到事件缓冲区204，发生事件的话，即调查与过去的事件的时间间隔，根据相邻事件之间的间隔来检测广告，判断发生的事件是“节目向广告的切换”、“广告向广告的切换”、“广告向节目的切换”还是“噪音”。相邻事件的时间间隔为单位时间T_min的整数倍且在规定时间T_max秒以下的情况下，判断为广告，该相邻的事件分别为该广告的起始和结束时刻，将广告的开始时刻和结束时刻存储到广告缓冲区205。

发生的事件为“节目向广告的切换”的情况下，开始向环形缓冲区存储广告，发生的事件为“广告向节目的切换”的情况下，停止向环形缓冲区存储广告。

感兴趣广告确定部206根据检测到的广告和从用户嗜好测定部216接收到的用户嗜好测定结果，从检测到的广告中确定用户感兴趣的广告。确定的广告的图像数据备份到图像备份缓冲区207、声音数据备份到声音备份缓冲区208。由于用户感兴趣的广告可能由多个广告构成，在感兴趣广告缓冲区209中备份各个感兴趣广告的起始和结束时刻。图像环形缓冲区202和声音环形缓冲区203以及图像备份缓冲区207和声音备份缓冲区208的容量为能够充分容纳用户感兴趣广告的容量。

在广告检测部201的处理的具体情况将采用图3,4,5的流程图、在感兴趣广告确定部206的处理的具体情况将采用图6的流程图在后文进行说明。

对备份到图像备份缓冲区207的用户感兴趣的广告的图像数据，由图像识别部210参照感兴趣广告缓冲区209中备份各个感兴趣广告的起始和结束时刻对每个广告进行图像识别，取得包括广告出演者的脸部的矩形区域（脸部图像）。由匹配部211将取得的图像与脸部图像DB212中的图像进行匹配，存在匹配的脸部图像的情况下，可以取得匹配的脸部图像的人物名。

对备份到声音备份缓冲区208的用户感兴趣的广告的声音数据，由声音识别部213参照感兴趣广告缓冲区209中备份各个感兴趣广告的起始和结束时刻对每个广告进行声音识别，从声音数据转换为文本文字。固有名词提取部214从文本文字取得固有名词。

取得的人物名和固有名词由关键词送信部215作为关键词数据发送到关键词管理部117。

图7是对关键词管理部117的构成进行详细说明的图。

关键词送信部215发送的关键词数据由关键词接收部301接收，登记到关键词缓冲区306。

关键词计数部302对由关键词接收部301接收的相同关键词的登记数，按照早上/白天/夜晚/今天/1周/1个月/1年前这样的条件、范围分别进行计数。

关联关键词创建部303将从相同广告提取出的关键词作为关联关键词进行登记。

排名创建部304依序根据关键词计数部302的计数个数从大到小的顺序，关键词所在的广告的开始或结束时刻，关键词接收部301接收关键词的顺序，对应于早上/白天/夜晚/今天/1周/1个月/1年前等时间范围进行关键词的排序。

由关键词管理部117处理的关键词数据的构造采用图8、在关键词接收部301进行处理的详细情况采用图9的流程图、在关键词计数部302进行处理的详细情况采用图10的流程图、在关联关键词创建部303进行处理的详细情况采用图11的流程图、在排名创建部304进行处理的详细情况采用图12的流程图，均在后文进行说明。

在用户嗜好测定部216判断用户对播放内容不感兴趣、且关键词缓冲区306有用户感兴趣的关键词时，显示画面创建部305工作，根据排名创建部304创建的排名数据，创建图13所示的显示画面数据，并发送给OSD描画部107。

网络送信部307根据关键词排名将用户选择的关键词发送到检索引擎网站118、网购网站119、图像点播(VOD)网站120等应用网站。

图13是显示画面创建部305创建的画面。

画面1301是用户嗜好测定部216判断用户对播放内容不感兴趣、且关键词缓冲区306有用户感兴趣的关键词时描画的画面。在画面1301选择YES的情况下，进入画面1302。

在画面1302基于排名创建部304创建的排名数据，对应于早上/白天/夜晚/今天/1周/1个月/1年前等时间范围显示排名在前的规定数量的关键词。用户从本画面的关键词排名中选择最感兴趣的关键词，使用选择的关键词进行网购、或在检索引擎网站阅览与关键词相关的信息、或在VOD网站下载或者视听相关内容。

在画面1302选择关键词并按“去检索”按键，即进入画面1303。以下、以在画面1302选择了关键词“AAAA”的情况为例进行说明。

在画面1303选择使用关键词“AAAA”进行检索的方法。作为选项，准备有“在网购网站检索”、“在检索引擎网站检索”、“在VOD网站检索”。用户在画面1303选择“在网购网站检索”的情况下，进入画面1304。

在画面1304，用户选择网购网站和类别。在网购中进行检索的情况下，由关键词和类别检索，不使用关联关键词。这是因为，网购中包含关联关键词进行检索的话，可能不能检索到必要的商品。在画面1304的类别栏的“请选择。”处按确定按键的话，进入画面1307。

在画面1307显示的类别信息，网购网站提供取得类别信息的手段的情况下，从网购网站取得类别信息再显示，网购网站没有提供取得类别信息的手段的情况下，显示预先准备的类别列表，在显示的类别列表中由用户进行选择。类别的选择结束即返回画面1304。在画面1304结束网购网站和类别的选择，并按“检索开始”按键的话，从网络送信部307向选择的网购网站发送关键词“AAAA”＋选择的类别信息，并开始由选择的网购网站进行的与关键词“AAAA”相关的商品的网购。

用户在画面1303选择“在检索引擎网站检索”的情况下，进入画面1305。

在画面1305的关键词栏，除了关键词“AAAA”之外，还显示从相同广告取得的关联关键词。考虑到关联关键词过多的情况，关联关键词能够删除。检索引擎网站和补充信息由用户进行选择。

关联关键词一个都没有，在关键词栏没有除了关键词“AAAA”以外的关键词的情况下（从广告中只取得一个关键词的情况）、且在补充信息栏的“请选择”处按确定按键的情况下，进入画面1308。

在画面1308中，作为补充信息预先准备了“价格”、“新品发布”、“日期”等，由用户进行选择。补充信息的选择结束的话返回画面1305。在画面1305结束检索引擎网站和补充信息的选择，并按“检索开始”按键的话，从网络送信部307向选择的检索引擎网站发送选择的关键词“AAAA”＋选择的补充信息，由选择的检索引擎网站开始与关键词“AAAA”相关信息的访问。

用户在画面1303选择“在VOD网站检索”的情况下，进入画面1306。在画面1306结束VOD网站的选择并按“检索开始”按键的话，从网络送信部307向选择的VOD网站发送选择的关键词“AAAA”，并在选择的VOD网站开始与关键词“AAAA”相关的内容的试听。

在广告检测部201进行的广告检测处理的详细情况采用图3、图4、图5的流程图进行说明。

图3的流程图对事件发生时的广告检测部201的处理进行说明。事件发生时，首先在S301，将事件发生的时刻Event_n存储到事件缓冲区204。n是表示事件发生次数的计数，初始值为0。事件缓冲区204的内容是：事件发生时刻＝[Event_0,Event_1,Event_2，…,Event_n]。

然后进入S302，登记用于监视“广告向节目的切换”的T_max秒定时器。关于定时器到时时的处理采用图4的流程图在后文说明。

S302之后调查n值，调差过去是否发生事件。

n＝0的情况下，Event_n判断为“节目向广告的切换”，并在S305开始向图像环形缓冲区202和声音环形缓冲区203的存储。

n＞0的情况下，判断为过去发生了事件，进入到S303，将比较与Event_n的时间差的对象事件的事件编号初始化为i=n-1，在S304计算比较的对照事件Event_i和Event_n的时间差Δt。

Δt是T_min的整数倍秒、且Δt在T_max秒以下、且向图像环形缓冲区202和声音环形缓冲区203存储有广告的情况下，Event_n判断为“广告向广告的切换”，并进入到S306，从Event_i至Event_n作为一个广告登记到广告缓冲区205。S306的处理的详细情况采用图5的流程图在后文进行说明。

Δt是T_min的整数倍秒、且Δt长于T_max秒、且向图像环形缓冲区202和声音环形缓冲区203存储有广告的情况下，Event_n判断为“广告向节目的切换”，并进入到S307，停止向图像环形缓冲区202和声音环形缓冲区203的存储。

Δt不是T_min的整数倍秒、且Δt长于T_max秒、且向图像环形缓冲区202和声音环形缓冲区203存储有广告的情况下，Event_n判断为“广告向节目的切换”，并进入到S308，停止向图像环形缓冲区202和声音环形缓冲区203的存储。

Δt不是T_min的整数倍秒、且Δt在T_max秒以下的情况下，Event_n判断为“噪音”，进入到S309，比较与Event_n的时间间隔的事件编号更新为i=i-1，返回S304。

Δt不是T_min的整数倍秒、且Δt长于T_max秒、且没有开始向图像环形缓冲区202和声音环形缓冲区203存储广告的情况下，Event_n判断为“节目向广告的切换”，并进入到S305，是开始向图像环形缓冲区202和声音环形缓冲区203的存储的处理。

最后，在S310，使表示事件发生次数的计数n的值递增，并结束事件发生时的广告检测部201的处理。

图4说明了T_max秒定时器到时时的处理流程。30秒定时器用于对在S302登记的“广告向节目的切换”进行监视。定时器到时时，首先，最初在S401取得现在时刻T_now。然后进入到S402，计算T_now和最新的事件Event_n的时间差Δt。

Δt短于T_max秒的情况下，或者Δt长于T_max秒、且没有向图像环形缓冲区202和声音环形缓冲区203存储广告的情况下，什么都不做，结束T_max秒定时器到时时的处理。

Δt长于T_max秒、且图像环形缓冲区202和声音环形缓冲区203存储有广告的情况下，Event_n判断为“广告向节目的切换”，并进入到S403，停止向图像环形缓冲区202和声音环形缓冲区203的存储，并结束T_max秒定时器到时时的处理。

图5说明在S306中从Event_i至Event_n判断为广告、在广告缓冲区205登记处理的流程。

首先，最初在S501将广告的开始时刻T_CMstart_n和广告的结束时刻T_CMend_n存储到广告缓冲区205。m是表示广告登记数的计数，初始值为0。广告缓冲区205的内容是广告＝[(T_CMstart₀,T_CMend₀),(T_CMstart₁,T_CMend₁),(T_CMstart₂,T_CMend₂),…,(T_CMstart_m,T_CMend_m)]。

然后，进入到S502，在感兴趣广告确定部206确定用户感兴趣的广告，并将确定的广告备份到图像备份缓冲区207和声音备份缓冲区208。S502的具体处理采用图6的流程图在后文进行说明。

最后在S503中，更新广告登记数m，并结束在广告缓冲区205登记广告的处理。

确定用户感兴趣的广告，并将该广告的图像数据备份到图像备份缓冲区207、声音数据备份到声音备份缓冲区208，需要确定由广告检测部201检测的广告中哪个是用户感兴趣的广告是必要的。为此，感兴趣广告确定部206将由广告检测部201检测并存储到广告缓冲区205的广告开始时刻和广告结束时刻与从用户嗜好测定部216接受通知的用户感兴趣的视频播放的时间段进行比较，并将从广告开始时刻到广告结束时刻为止都落入到用户感兴趣的视频播放的时间段的广告、以及广告开始时刻和广告结束时刻中的任意时刻落入到用户感兴趣的视频播放的时间段的广告确定为用户感兴趣的广告。

图6是说明在图5的S502进行的感兴趣广告确定部206确定用户感兴趣的广告和备份用户感兴趣的广告的处理的流程图。

最初，确认是否有来自用户嗜好测定部216的用户感兴趣的视频播放的时间段T_start,T_end的通知。

有来自用户嗜好测定部216的用户感兴趣的视频播放的时间段T_start,T_end的通知的情况下，进入到S601，取得T_start、T_end。

接着，进入到S602，确定用户感兴趣的广告，因此，将计数i初始化为广告登记数m。此时，至少一个广告存储在广告缓冲区205。

接着，进入到S603，取得最新的广告开始时刻T_CMstart_i和广告结束时刻T_CMend_i。

比较T_end和T_CMstart_i、T_CMend_i的结果，在T_end＜T_CMstart_i＜T_CMend_i的情况下，判明该广告是T_end之后登记的事，即用户感兴趣的广告在该广告之前（过去），因此，进入到S604，将计数i更新（i=i-1）、然后返回到S603。进入到S604之前计数i为0的情况下，即S603不能再次取得T_CMstart_i和T_CMend_i的情况下，即判断为没有用户感兴趣的广告，结束处理。

T_end满足T_CMstart_i＜T_end＜T_CMend_i的情况下，确定T_CMend_i是备份到备份缓冲区的广告结束时刻，因此，进入到S605，存储T_CMend_i的时刻。

T_start满足T_start＜T_CMstart_i的关系的情况下，进入到S606，将T_CMstart_i和T_CMend_i备份到感兴趣广告缓冲区209之后，进入到S607，将计数i更新（i=i-1）之后，进入到S608，再次取得T_CMstart_i,T_CMend_i。从S606进入到S607之前计数i为0的情况下，即S608不能再次取得T_CMstart_i和T_CMend_i的情况下，判断T_CMstart_i为用户感兴趣广告的开始时刻，进入到S610。

T_CMstart_i＜T_start的情况下，T_CMstart_i是用户感兴趣广告的开始时刻，即在S609中将T_CMstart_i和T_CMend_i备份到感兴趣广告缓冲区209之后，在S610中存储T_CMstart_i作为备份到备份缓冲区的广告开始时刻，进入到S611。

在S611中，将S610存储的T_CMstart_i至S605存储的T_CMend_i，作为用户感兴趣的广告，备份到图像备份缓冲区207和声音备份缓冲区208，结束在感兴趣广告确定部206确定用户感兴趣的广告和备份用户感兴趣的广告的处理。

图8是对关键词管理部117处理的关键词数据的结构进行说明的图。

数据结构801是关键词接收部301从关键词提取装置116接收信息时的关键词的数据结构，关键词由关键词文字列和关键词提取基础的广告的广告开始时刻和广告结束时刻构成。

数据结构802至806是存储在关键词缓冲区306的关键词的数据结构。数据结构802由关键词文字列、关联关键词访问结构体头、关联关键词访问结构体尾、早上的登记数、白天的登记数、夜晚的登记数、今天的登记数、1周的登记数、1个月的登记数、1年前的登记数、登记时刻结构体头、登记时刻结构体尾构成。

数据结构802的关联关键词访问结构体头和关联关键词访问结构体尾是为了容易地访问从相同广告提取的关键词而准备的数据。关联关键词访问结构体是由指向下一个关联关键词访问结构体的指针下一个和指向关联关键词的指针构成的数据结构。在关联关键词有多个的情况下，关联关键词访问结构体头指向最初登记的关联关键词，在有多个关联关键词的情况下，关联关键词访问结构体尾指向最近登记的关联关键词。没有关联关键词的情况下，关联关键词访问结构体头和关联关键词访问结构体尾都为NULL，关联关键词只有一个的情况下，关联关键词访问结构体头和关联关键词访问结构体尾指向同一关联关键词访问结构体。关联关键词创建部303登记新的关联关键词的情况下，向数据结构802的关联关键词访问结构体尾所指的关联关键词结构体的下一个追加新的关联关键词，并进行更新使数据结构802的关联关键词访问结构体尾指向新的关联关键词。

数据结构802的早上的登记数、白天的登记数、夜晚的登记数、今天的登记数、1周的登记数、1个月的登记数、1年前的登记数是存储关键词计数部302所计数的结果的区域。

数据结构802的登记时刻结构体头是由作为提取出关键词的广告的广告开始时刻和广告结束时刻、关键词接收部301接收到关键词的时刻以及指向下一个登记时刻结构体的指针下一个构成的指向登记时刻结构体的指针，指向存储有最初提取了关键词的广告的广告开始时刻、广告结束时刻和关键词接收部301接收到关键词的时刻的登记时刻结构体。

数据结构802的登记时刻结构体尾与登记时刻结构体头相反，指向存储有提取了关键词的最新的广告的开始时刻和结束时刻的登记时刻结构体。由302关键词提取装置提取相同关键词时，在数据结构802的登记时刻结构体尾指向的登记时刻结构体的后面追加新的登记时刻结构体，并对数据结构802的登记时刻结构体尾进行更新。

数据结构804是由登记时刻结构体构成的结构体群，提取了关键词的广告的广告开始时刻、广告结束时刻和关键词接收部301接收到关键词的时刻按照时间从前到后的顺序排列。

数据结构805是关联关键词的数据本身，数据结构806是与关联关键词相对的登记时刻结构体的结构体群。

图9是说明关键词接收部301的处理流程的流程图。

关键词提取装置116接收来自关键词送信部215的关键词数据的话，在S901中，检索在关键词缓冲区306中是否存在与接收的关键词的关键词文字列相同的关键词。

在关键词缓冲区306内存在与关键词文字列完全相同的关键词的情况下，进入到S902，取得登记时刻结构体尾所指向的登记时刻结构体的内容（广告开始时刻、广告结束时刻）。然后，将关键词缓冲区306的关键词的广告开始时刻和广告结束时刻，与关键词接收部301接收的关键词的广告开始时刻和广告结束时刻进行比较。

比较的结果不是相同的广告开始时刻和广告结束时刻的情况下，进入到S903，在登记时刻结构体尾所指向的登记时刻结构体的后面追加登记时刻结构体，该追加的登记时刻结构体存储有关键词接收部301所接收的关键词的广告开始时刻和广告结束时刻，登记时刻结构体尾更新为指向追加的登记时刻结构体，结束关键词接收部301的处理。

本发明中，关键词提取部218以用户感兴趣的广告的图像的图像识别、声音的声音识别这两个系统提取关键词，因此，可能从相同的广告提取相同的关键词。因此，将关键词缓冲区306的关键词的广告开始时刻和广告结束时刻与关键词接收部301接收的关键词的广告开始时刻和广告结束时刻进行比较，比较的结果是相同的广告开始时刻和广告结束时刻的情况下不做处理，即舍弃该同一个广告中的相同关键词。对于文字列部分重复的关键词，作为另外的关键词进行处理，在S904中作为新增关键词登记，在后述的关联关键词创建部303作为关联关键词登记，结束关键词接收部301的处理。

对于关键词文字列完全不同的关键词，进入到S904，将关键词接收部301接收的关键词新增登记到关键词缓冲区306，结束关键词接收部301的处理。

图10是说明关键词计数部302的处理流程的流程图。登记于关键词缓冲区306的关键词是图8的数据结构802所说明的每个早上/白天/夜晚/今天/1周/1个月/1年前这样的条件、范围的登记数，关键词计数部302对各关键词的每个条件、范围的登记数进行计数。

关键词计数部302，最初在S1001从关键词缓冲区306中取得对登记数进行计数的关键词。

然后，进入到S1002，设定用于计数登记数的早上/白天/夜晚/今天/1周/1个月/1年前这样的条件、范围，进入到S1003。

S1003中，对数据结构802的早上/白天/夜晚/今天/1周/1个月/1年前的登记数进行初始化，进入到S1004。

S1004中，将指向关键词的登记时刻结构体的指针初始化为登记时刻结构体头，并进入到S1005。

S1005中，从指针指向的登记时刻结构体取得广告开始时刻和广告结束时刻。

取得的广告开始时刻和广告结束时刻符合S1002设定的条件的情况下，进入到S1006，加上登记数。

然后，调查指向登记时刻结构体的指针指向哪里。指针没有前进到登记时刻结构体尾所指向的登记时刻结构体的情况下，进入到S1007，更新指针指向下一个登记时刻结构体，并返回到S1005。

然后，调查现在的检索条件、范围。早上/白天/夜晚/今天/1周/1个月/1年前全部的条件、范围没有检索结束的情况下，进入到S1008，将计数条件设定为下一个检索条件、范围，返回到S1003。

最后，确认是否对全部的关键词的登记数的计数结束，没有对全部的关键词结束登记数的计数的情况下，进入到S1009，取得计数登记数的下一个关键词，并返回到S1002。

对于全部的关键词结束了登记数的计数的话，结束关键词计数部302的处理。

关联关键词创建部303的处理流程的流程图使用图11的流程图和图14的实例进行说明。可以从相同的广告提取多个关键词的情况下，可以说这些关键词对用户来说是有关联的关键词。关联关键词创建部303从关键词缓冲区306中检索从相同广告中提取出关键词，并在存在从相同的广告中提取出的关键词的情况下，进行作为关联关键词登记的处理。

关联关键词创建部303，最初，在S1101中，从关键词缓冲区306取得两个关键词，并进入到S1102。这里取得的关键词为关键词1、关键词2。

在S1102中，调查取得的两个关键词的登记时刻结构体的内容。

然后，调查取得的两个关键词的登记时刻结构体中，是否具有相同时刻的广告开始时刻和广告结束时刻。

取得的两个关键词的登记时刻结构体中，具有相同时刻的广告开始时刻和广告结束时刻的情况下，进入到S1103，两个关键词作为从相同广告提取的关键词，关键词2登记到在S1102取得的关键词1的关联关键词访问结构体尾所指向的关联关键词访问结构体的关联关键词访问结构体下一个。

然后，调查是否检索作为关键词2的全部的关键词。

作为关键词2没有检索全部的关键词的情况下，进入到S1104，对关键词2设定下一个关键词，返回到S1102。

作为关键词2检索了全部的关键词的情况下，调查作为关键词1是否检索全部的关键词。

作为关键词1没有检索全部的关键词的情况下，进入到S1105，对关键词1设定下一个关键词，进入到S1104。

对于关键词1和关键词2两方的关键词都调查结束的话，结束关联关键词创建部303的处理。

排名创建部304的处理使用图12的流程图和图14的实例进行说明。例如，用户对最近播放的广告感兴趣的情况下，从该广告提取出的关键词的登记数较少，单纯按照关键词登记数从多到少的顺序创建排名的话，即使是实际上感兴趣的关键词，也可能在排名之外，不能对用户提示该关键词。

考虑到该问题研究了如下的处理方法，在关联关键词中有排名在前的情况下，即使是在排名创建部304中登记数较少的关键词，也进行与该关联关键词同样处理。

排名创建部304，最初在S1201，对关键词缓冲区306中的关键词按照登记数从多到少的顺序排序。图14的例中，S1201之后的排序表示为1402中的“S1201之后”这一列。

对排序的结果确认是否有登记数相同的关键词。

有登记数相同的关键词的情况下，进入到S1202，按照该个数相同的关键词所在广告的开始或结束时刻从后到前的顺序进行排序，在关键词的个数相同且该相同个数的关键词所在广告的开始或结束时刻也相同的情况下，按照关键词接收部301接收关键词的顺序从前到后的顺序进行排序。图14的例中，S1202之后的排序表示为1402中的“S1202之后”这一列。

进入到S1203，在关键词缓冲区306中的关键词中，取得从最后一个广告中提取的关键词。然后，找到该最后一个感兴趣广告的关键词中排名最前的关键词。

判断该广告中所有剩余关键词有没有一一紧跟该排名最前的关键词，若没有一一紧跟该排名最前的关键词，则将所有剩余关键词从原来排序中取出，按照在原来排序中的先后依次相接后，移至紧跟在该排名最前的关键词之后。结束排名创建部304的处理。最终的排名如1402的“S1203之后”这一列所示，从最后的广告中提取出的L、M紧跟在A之后。

S1203之后的处理是为了将最后播放的用户感兴趣的广告的关键词排在前位。

Claims

1.一种关键词提取装置（116），其用于从视频播放媒体的解码后的图像数据和声音数据中分别提取出感兴趣广告的关键词，其特征在于，包括：

广告检测部（201），其从所述图像数据和声音数据中检测出广告；

感兴趣广告确定部（206），其从所述广告检测部（201）所检测出的广告中确定用户感兴趣的广告；

关键词提取部（218），其从所述感兴趣广告确定部（206）确定的用户感兴趣的广告中提取出关键词。

2.如权利要求1所述的关键词提取装置（116），其特征在于，

所述广告检测部（201）根据相邻的事件之间的间隔来检测广告，

所述事件是指所述图像数据的画面切换发生在声音数据的无声期间的时刻。

3.如权利要求2所述的关键词提取装置（116），其特征在于，

所述广告检测部（201）检测到所述相邻的事件之间的间隔是单位时间的整数倍且在规定时间以下时，判断该相邻的事件之间播放的是一个广告，该相邻的事件分别为该广告的起始和结束时刻。

4.如权利要求3所述的关键词提取装置（116），其特征在于，

所述关键词提取装置进一步包括：

所述用户嗜好测定部（216），其用于测定用户感兴趣的视频播放的时间段，

所述感兴趣广告确定部（206）将起始和结束时刻中的任一时刻落在所述用户感兴趣的视频播放的时间段内的广告确定为用户感兴趣的广告。

5.如权利要求4所述的关键词提取装置（116），其特征在于，

所述用户嗜好测定部（216）包括用于感测用户的视线、声音信息的传感器（217），所述用户嗜好测定部（216）根据传感器（217）感测的用户的视线、声音信息测定用户感兴趣的视频播放的时间段。

6.如权利要求5所述的关键词提取装置（116），其特征在于，

所述关键词提取部（218）对所述感兴趣广告确定部（206）确定的用户感兴趣的广告的图像数据和声音数据分别进行图像识别和声音识别，以分别提取关键词，若从一个广告中通过图像识别提取的关键词和通过声音识别提取的关键词是同一个，则舍弃其中一个。

7.一种包含权利要求1-6中任何一个关键词提取装置（116）的关键词管理装置（121），其特征在于，包括：关键词管理部（117），其接收所述关键词提取装置（116）提供的关键词，并对该关键词进行管理，

所述关键词管理部（117）包括：

关键词接收部（301），其接收所述关键词提取装置（116）提供的关键词；

关键词缓冲区(306)，登记关键词接收部（301）接收的关键词；

关键词计数部（302），其按照事先规定的多个时间范围，对落入各时间范围的相同关键词的个数分别进行计数；

排名创建部（304），其依序根据所述关键词计数部（302）的计数个数从大到小的顺序、关键词所在广告的开始或结束时刻以及所述关键词接收部（301）接收关键词的顺序，按照各时间范围分别对关键词缓冲区（306）中的关键词进行排序。

8.如权利要求7所述的关键词管理装置(121)，其特征在于，

在关键词的个数相同的情况下，排名创建部（304）按照该个数相同的关键词所在广告的开始或结束时刻从后到前的顺序进行排序，

在关键词的个数相同且该相同个数的关键词所在广告的开始和结束时刻也相同的情况下，排名创建部（304）按照所述关键词接收部（301）接收关键词的顺序从前到后的顺序进行排序。

9.如权利要求8所述的关键词管理装置(121)，其特征在于，

所述排名创建部（304）找到该最后一个感兴趣广告的关键词中排名最前的关键词，若该广告中所有剩余关键词若没有一一紧跟该排名最前的关键词，则将所有剩余关键词从原来排序中取出，按照在原来排序中的先后依次相接后，移至紧跟在该排名最前的关键词之后。

10.一种包含权利要求7-9中任何一个关键词管理装置(121)的关键词提供系统(100)，所述关键词提供系统包括：显示部（110），其按照各时间范围显示所述排名创建部（304）排序的关键词中排名在前的规定数量的关键词，其特征在于，

在所述用户嗜好测定部（216）没有检测到用户感兴趣的视频播放的时间段且关键词缓冲区（306）有用户感兴趣的关键词时，用户可选择在所述显示部（110）上按照各时间范围显示所述排名创建部（304）排序的关键词中排名在前的规定数量的关键词。

11.如权利要求10所述的关键词提供系统，其特征在于，

所述关键词提供系统连接于应用网站，用户可以从所述显示部（110）上显示的关键词中选择关键词，并发送至该应用网站。