CN1755663A - 信息处理设备、信息处理方法和程序 - Google Patents
信息处理设备、信息处理方法和程序 Download PDFInfo
- Publication number
- CN1755663A CN1755663A CNA2005100837661A CN200510083766A CN1755663A CN 1755663 A CN1755663 A CN 1755663A CN A2005100837661 A CNA2005100837661 A CN A2005100837661A CN 200510083766 A CN200510083766 A CN 200510083766A CN 1755663 A CN1755663 A CN 1755663A
- Authority
- CN
- China
- Prior art keywords
- information
- content
- user
- auxiliary content
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims description 264
- 238000003860 storage Methods 0.000 claims description 72
- 230000014509 gene expression Effects 0.000 claims description 56
- 230000006870 function Effects 0.000 claims description 48
- 230000002596 correlated effect Effects 0.000 abstract description 8
- 230000005540 biological transmission Effects 0.000 description 109
- 238000000034 method Methods 0.000 description 104
- 230000008569 process Effects 0.000 description 89
- 238000010586 diagram Methods 0.000 description 69
- 239000011159 matrix material Substances 0.000 description 37
- 102100035353 Cyclin-dependent kinase 2-associated protein 1 Human genes 0.000 description 20
- 102100031554 Double C2-like domain-containing protein alpha Human genes 0.000 description 19
- 101000866272 Homo sapiens Double C2-like domain-containing protein alpha Proteins 0.000 description 19
- 230000000694 effects Effects 0.000 description 18
- 238000007689 inspection Methods 0.000 description 18
- 230000008451 emotion Effects 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 15
- 101100152729 Mus musculus Tenm4 gene Proteins 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000036651 mood Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 6
- 208000019901 Anxiety disease Diseases 0.000 description 5
- 241001362551 Samba Species 0.000 description 5
- 230000036506 anxiety Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000008676 import Effects 0.000 description 5
- 108010022579 ATP dependent 26S protease Proteins 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 229940050561 matrix product Drugs 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- DCRGHMJXEBSRQG-UHFFFAOYSA-N 1-[1-(cyclooctylmethyl)-5-(hydroxymethyl)-3,6-dihydro-2H-pyridin-4-yl]-3-ethyl-2-benzimidazolone Chemical compound O=C1N(CC)C2=CC=CC=C2N1C(CC1)=C(CO)CN1CC1CCCCCCC1 DCRGHMJXEBSRQG-UHFFFAOYSA-N 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006386 neutralization reaction Methods 0.000 description 1
- 238000006116 polymerization reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/107—Computer-aided management of electronic mailing [e-mailing]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8541—Content authoring involving branching, e.g. to different story endings
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Security & Cryptography (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
提供一种可在输出主要内容的操作中或者在该操作之前或之后,容易地输出适合用户情况的辅助内容的信息处理设备。在该设备中,历史信息发生部件在设备输出已经使用的主要内容的时间点或在包括该时间点的时间区内产生一条或多条相关信息,每条相关信息包括至少一条有关使用该设备的用户的信息。用户使用的辅助内容确定部件基于相关信息存储部件中存储的一条或多条相关信息和辅助内容存储部件中存储的一个或多个辅助内容的特征来确定辅助内容,所述辅助内容被认为这样的内容:其输出操作在输出新主要内容的操作中或在该操作之前或之后被认为是适合于该用户的。本发明可应用于在阅读和写邮件文本操作的过程中,能够输出一段音乐或图像的信息处理设备。
Description
技术领域
本发明涉及信息处理设备、信息处理方法和程序。更具体而言,本发明涉及一种能够输出适合于用户在输出第一内容的操作中所面临的情况、或者在该操作之前或之后存在的情况的第二内容的信息处理设备,并且该发明还涉及一种信息处理方法以及实现该方法的程序。
背景技术
近年来,当用户正在使用预定的内容时,允许该用户操作信息处理设备以便欣赏设备输出的音乐或图像分别诸如BGM(背景音乐)或BGV(背景画面)。更具体地,在例如用户正在操作信息处理设备以写邮件的文本并发送该邮件给其他用户或者从其他用户接收一封邮件并浏览该邮件的文本时,允许用户欣赏BGM或BGV。所述信息处理设备的实例包括以下专利文献中所公开的内容:
专利文献1:日本专利公开第2003-345727号
专利文献2:日本专利公开第2003-150507号
但是,传统的信息处理设备所存在的问题是,为了使用传统的设备来欣赏BGM或BGV,用户本身通常需要对该设备执行复杂的操作。例如,用户通常需要操作该信息处理设备,通过指定它们的标题而指定期望的音乐段和/或期望的图像并输入命令开始操作,以再现所规定的音乐和/或图像。
值得注意的是,在利用专利文献1中所公开的技术写邮件文本和发送该邮件给其他用户的操作中,该用户能够发送带有给邮件所添加情感的该邮件。另外,利用专利文献2中所公开的技术,包括在邮件文本中的用于情感的声音能够被添加到该邮件中并与该邮件一起发送。
但是,对于使用信息处理设备接收这种邮件文本的用户来说,附加到该邮件的声音和/或情感是发送者最终选择的声音和/或情感。也就是说,附加到该邮件的声音和/或情感只不过是利用信息处理设备发送该邮件的用户所选择的声音和/或情感,而并不是利用信息处理设备接收该邮件的用户所选择的声音和/或情感。因此,传统的信息处理设备所存在的问题是,当在另一个信息处理设备中再现附加到该邮件的声音时,该再现的声音不会必然是满足其他信息处理设备的用户的声音。换言之,难以输出适合于在用户浏览邮件时所存在情况的声音。另外,传统的信息处理设备存在的另一个问题是,难于按照适合于邮件接收侧情况的音乐和图像来表达附加倒邮件文本的情感。
上述的实例引发了使用音乐和/或图像作为第二内容同时使用诸如邮件文本的第一内容的问题。但是,值得注意的是,利用其他内容作为第一内容和第二内容也会引发相同的问题。
为了解决上述问题,本发明的发明人已经构思了一种信息处理设备,该设备所采用的信息处理方法以及实现该方法的程序,其中所述设备能够输出适合于用户在输出第一内容的操作中所面临的情况,或者在操作前后存在情况的第二内容。
发明内容
根据本发明的一个实施例,提供了一种用于输出第一类型内容和第二类型内容的信息处理设备。该信息处理设备包括:历史信息发生部件,用于在所述信息处理设备输出已经使用的第一类型内容的时间点以及包括该时间点的时间区(time band)内产生包括一条或多条有关使用所述信息处理设备的用户的信息的历史信息;历史信息存储部件,用于存储由所述历史信息发生部件产生的一条或多条历史信息;第二类型内容存储部件,用于存储一个或多个第二类型内容;以及第二类型内容确定部件,用于基于在第二类型内容存储部件中存储的一个或多个第二类型内容的特征以及在所述历史信息存储部件中存储的一条或多条历史信息,来确定第二类型内容,所述第二类型内容被认为是这样的内容:其输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
所述历史信息发生部件产生历史信息,所述历史信息包括至少表示已经使用的第一类型内容的特征的第一特征信息和表示已经使用的第二类型内容的特征的第二特征信息,其中当输出已经使用的第一类型内容或在输出已经使用的第一类型内容之前或之后,从所述信息处理设备输出所述历史信息;以及所述第二类型内容确定部件选择一条或多条历史信息,每条历史信息包括在所述历史信息存储部件中存储的一条或多条历史信息当中的、与表示第一类型的新内容的特征的特征信息相同或者相似的第一特征信息,并且所述第二类型内容确定部件确定由包括在所选择的多条历史信息中的每一条中的第二特征信息所标识的第二类型内容为如下的第二类型内容:其输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
所述历史信息发生部件产生包括至少第一特征信息和第一上下文(context)信息的第一历史信息,所述第一特征信息表示已经使用的第一类型内容的特征,所述第一上下文信息表示在已经使用的第一类型内容的输出时的用户上下文,以及产生包括至少第二特征信息和第二上下文信息的第二历史信息,所述第二特征信息表示已经使用的第二类型内容的特征,所述第二上下文信息表示在已经使用的第二类型内容的输出时的用户上下文;所述历史存储部件被用于存储所述第一历史信息和第二历史信息;所述第二类型内容确定部件选择一条或多条第一历史信息,其中每条第一历史信息包括在所述历史信息存储部件中存储的一条或多条第一历史信息当中的、与表示第一类型的新内容的特征的特征信息相同或相似的第一特征信息,获取包括在所选择的多条第一历史信息中的每一条中的第一上下文信息,选择一条或多条第二历史信息,其中每条第二历史信息包括在所述历史信息存储部件中存储的一条或多条第二历史信息当中的、与所获取的第一上下文信息相同或相似的第二上下文信息,以及确定由包括在所选择的多条第二历史信息中的每一条中的第二特征信息所标识的第二类型内容作为如下第二类型内容:其输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容操作之前或之后被认为是适合于所述用户的。
所述信息处理设备还包括:数据接收部件,用于从由其他用户使用的另一设备接收第一类型内容和被附加到该第一类型内容的、作为表示另一用户的上下文的信息的第一上下文信息,所述历史信息发生部件产生包括至少第一特征信息和第二上下文信息的第一历史信息,所述第一特征信息表示已经使用的第一类型内容的特征,所述第二上下文信息表示在已经使用的第一类型内容的输出时的用户上下文,并产生包括至少第一特征信息和第二特征信息的第二历史信息,所述第一特征信息表示已经使用的第一类型内容的特征,所述第二特征信息表示已经使用的第二类型内容的特征,当已经使用的第一类型内容正被输出或者在已经使用的第一类型内容被输出之前或之后,从所述信息处理设备输出所述历史信息;所述历史存储部件被用于存储所述第一历史信息和所述第二历史信息;所述第二类型内容确定部件选择一条或多条第一历史信息,每条第一历史信息包括在所述历史信息存储部件中存储的一条或多条第一历史信息当中的、与被添加到由所述数据接收部件接收的第一类型的新内容的第一上下文信息相同或相似的第二上下文信息,获取包含在所选择的多条第一历史信息中的每一条中的第一特征信息,选择一条或多条第二历史信息,每条第二历史信息包括在所述历史存储部件中存储的一条或多条第二历史信息当中的、与所获取的第一特征信息相同或相似的第二特征信息,以及确定由包含在所选择的多条第二历史信息中的每一条中的第二特征信息所标识的第二类型内容作为以下第二类型内容:其输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
在上述的信息处理设备中,在所述信息处理设备输出已经使用的第一类型内容的时间点或者在包括该时间点的时间区内的一条或多条历史信息被存储在存储部件中,每条历史信息包括一条或多条关于使用所述信息处理设备的用户的信息。然后,所述信息处理设备基于一条或多条存储的第二类型内容的特征以及一条或多条存储的历史信息来确定第二类型内容,所述第二类型内容的输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
根据本发明的另一个实施例,提供一种由信息处理设备所采用的信息处理方法,所述信息处理设备包括:内容输出部件,用于分别输出第一类型内容和第二类型内容;第一存储部件,用于存储一条或多条第二类型内容;和第二存储部件,用于存储不同于所述第二类型内容的其他信息。所述信息处理方法包括以下步骤:在所述内容输出部件输出已经使用的第一类型内容的时间点或者在包括该时间点的时间区内生成包括一条或多条有关使用所述信息处理设备的用户的信息的历史信息;每当在生成历史信息的步骤上所执行的处理中产生历史信息时,控制在第二存储部件中存储历史信息的操作;以及基于在所述第一存储部件中存储的一条或多条第二类型内容的特征,以及在控制在第二存储部件中存储历史信息的操作的步骤所执行的处理中存储的一条或多条历史信息来确定第二类型内容,所述第二类型内容被认为是这样的内容:其输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
根据本发明的再一实施例,提供一种由用于控制内容输出设备的计算机所运行的程序,所述计算机包括:分别输出第一类型内容和第二类型内容的内容输出部件。
根据本发明实施例的信息处理方法和程序,目标设备是信息处理设备和内容输出设备,每个设备包括:内容输出部件,用于分别输出第一类型内容和第二类型内容;第一存储部件,用于存储一条或多条第二类型内容;和第二存储部件,用于存储不同于该第二类型内容的其他信息。该信息处理方法和程序的每个包括以下步骤:在所述内容输出部件输出已经使用的第一类型内容的时间点或者在包括该输出时间点的时间区内生成包括一条或多条有关使用内容输出设备的用户的信息的历史信息;每当在生成历史信息的步骤所执行的处理中产生历史信息时,控制在第二存储部件中存储历史信息的操作;以及基于在所述第一存储部件中存储的一条或多条第二类型内容的特征,和在控制在第二存储部件中存储历史信息的操作的步骤所执行的处理中存储的一条或多条历史信息来确定第二类型内容,所述第二类型内容被认为是这样的内容:其输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
如上所述,根据本发明,在输出第一类型发新内容的操作中或者在输出第一类型的新内容的操作之前或之后可以输出第二类型内容。特别是,在输出第一类型的新内容的操作中或者在输出第一类型的新内容的操作之前或之后,可以输出适合于用户的当前情况的第二类型内容。
附图说明
图1是示出根据本发明一个实施例的信息处理设备的典型功能结构的方框图;
图2是示出在图1中所示的信息处理设备中采用的历史处理部件的典型功能结构的方框图;
图3是示出在图1中所示的信息处理设备中采用的用户使用的辅助内容确定部件的典型功能结构的方框图;
图4示出了表示由图1的信息处理设备所执行的用于产生相关信息处理的流程图;
图5是示出由在图4中所示的流程图所表示的相关信息产生处理中产生的典型的相关信息的图;
图6示出了表示由图1的信息处理设备所执行的、用于确定将由用户使用的辅助内容的处理的流程图;
图7是示出用户正在使用或将要使用的主要内容的典型的特征向量的图;
图8是示出为计算与图7中所示的特征向量的相似度而产生的向量A的图;
图9是示出通过计算得到的、作为图7中所示的特征向量和每个用作图8中所示的矩阵A的列单元的特征向量之间的相似度的相似度的图;
图10是示出由图4中所示的流程图所表示的相关信息产生处理中产生的典型相关信息的图;
图11是示出用户正在使用或将要使用的主要内容的典型特征向量的图;
图12是示出为计算与图11中所示的特征向量的相似度而产生的向量C的图;
图13是示出通过计算得到的、作为图11中所示的特征向量和每个用作图12中所示的矩阵C的列单元的特征向量之间的相似度的相似度的图;
图14是示出在每个表示上下文信息的特征向量分量中设为0的情况下,通过计算得到的、作为图11中所示的特征向量和每个用作图12中所示的矩阵C的列单元的特征向量之间的相似度的相似度的图;
图15示出表示由图1的信息处理设备所执行的、用于产生辅助内容的特征信息的典型处理的流程图;
图16示出表示由图1的信息处理设备所执行的、用于确定用户将要使用的辅助内容的典型处理的流程图;
图17示出表示由图1的信息处理设备所执行的、用于更新相关信息的典型处理的流程图;
图18示出表示由图1的信息处理设备所执行的、用于更新相关信息的作为学习处理的典型处理的流程图;
图19是示出根据本发明一个实施例的信息处理系统的典型结构的方框图;
图20是示出在图19中所示的信息处理系统中应用的内容发送/接收设备的典型功能结构的方框图;
图21是示出在图20中所示的内容发送/接收设备中应用的历史处理部件的典型功能结构的细节的方框图;
图22是示出在图20中所示的内容发送/接收设备中应用的用户使用的辅助分量确定部件的典型功能结构的细节的图;
图23示出表示由图20中所示的内容发送/接收设备所执行的典型发送处理的流程图;
图24示出表示由图23中所示的流程图所表示的发送处理的相关信息发生处理的典型细节的流程图;
图25是示出在由图24中所示的流程图表示的相关信息发生处理中使用的主要内容的典型特征的图;
图26是示出被产生作为对图25中所示的主要内容执行由图24的流程图所表示的相关信息发生处理的结果的典型相关信息的图;
图27示出表示由图23中所示的流程图表示的发送处理的相关信息发生处理的典型细节的流程图;
图28是示出被产生作为对图25中所示的主要内容执行由图27的流程图所表示的相关信息发生处理的结果的典型相关信息的图;
图29示出表示由图20中所示的内容发送/接收设备执行的典型接收处理的流程图;
图30示出表示由图29中所示的流程图表示的接收处理的辅助内容确定处理的典型细节的流程图;
图31是示出由在图30中所示的流程图表示的辅助内容确定处理中使用的典型接收主要内容的图;
图32是示出在图20中所示的内容发送/接收设备中应用的用户使用的辅助内容确定部件的功能结构的典型细节的方框图;
图33示出表示由图29中所示的流程图表示的接收处理的辅助内容确定处理的典型细节的流程图;和
图34是示出在根据本发明一个实施例的信息处理设备中应用的硬件的典型结构的方框图。
具体实施方式
在说明本发明的优选实施例之前,在以下对比描述中说明在所公开的发明和实施例之间的关系。值得注意的是,即使存在于本说明书中描述但是不包括在以下对比描述中的、作为对应于发明的实施例的实施例,这样的实施例也将不被解释为不对应于发明的实施例。相反,包括在以下对比描述中的、作为对应于特定实施例的实施例将不被解释为不对应于除了该特定发明以外的发明的实施例。
另外,以下对比描述将不被解释为覆盖在本说明书中公开的全部发明的全面描述。换句话说,以下对比描述决不否认在本说明书中所公开的、但是并不包括在权利要求中的、作为专利申请所提交的发明的发明的存在。也就是说,以下对比描述决不否认将会包括在单独申请专利中和包括在对本说明书修改或在未来增加的发明的存在。
根据本发明的一个实施例,提供了一种用于输出第一类型内容(所述第一类型内容被称为将在后面描述的主要内容,而且所述主要内容的一个实例是以下将说明的邮件文本)和第二类型内容(所述第二类型内容被称为将在后面描述的辅助内容,而且所述辅助内容的一个实例是以下将说明的一段音乐和一幅图像)的信息处理设备(诸如图1中所示的信息处理设备或图20中所示的内容发送/接收设备101)。该信息处理设备包括:历史信息发生部件(诸如图1中所示的历史处理部件1或图20中所示的历史处理部件116),用于在所述信息处理设备输出已经使用的第一类型内容的时间点或者在包括该时间点的时间区内产生包括一条或多条有关使用过所述信息处理设备的用户的信息的历史信息(已经使用的第一类型内容的一个实例是图1中所示的作为由用户已经使用的内容的主要内容);历史信息存储部件(诸如图1中所示的相关信息存储部件2或图20中所示的相关信息存储部件117),用于存储由所述历史信息发生部件产生的一条或多条历史信息;第二类型内容存储部件(诸如图1中所示的辅助内容存储部件3或图20中所示的辅助内容存储部件120),用于存储一条或更多条第二类型的内容;以及第二类型内容确定部件(诸如图1中所示的用户使用的辅助内容确定部件6或图20中所示的用户使用的辅助内容确定部件119),用于根据在第二类型内容存储部件中存储的一条或多条第二类型内容的特征、以及在历史信息存储部件中存储的一条或多条历史信息来确定第二类型内容(诸如图1中所示的作为用户将要使用的内容的辅助内容),所述第二类型内容被认为是这样的内容:所述内容的输出操作在输出第一类型的新内容(所述第一类型的新内容的一个实例是图1中所示的作为用户将要使用的内容的主要内容)的操作中或者在输出第一类型的新内容的操作之前或之后被认为是适合于该用户。
在上述信息处理设备(诸如图1中所示的信息处理设备)中:所述历史信息发生部件产生历史信息(诸如图5中所示的多条相关信息CI1、CI2和CI3),所述历史信息包括至少表示已经使用的第一类型内容的特征的第一特征信息,和表示已经使用的第二类型内容的特征的第二特征信息,当输出已经使用的第一类型内容时或者在输出已经使用的第一类型内容之前或之后,从所述信息处理设备输出所述历史信息;所述第二类型内容确定部件:选择一条或多条历史信息,每条历史信息包括与表示在所述历史信息存储部件中存储的一条或多条历史信息当中的第一类型的新内容的特征的特征信息相同或相似的第一特征信息;以及(例如通过执行由图6中所示的流程图表示的、作为确定用户将要使用的辅助内容的处理)确定由包含在所选择的每一条历史信息中的第二特征信息所标识的第二类型内容作为如下的第二类型内容:所述第二类型内容的输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容操作之前或之后被认为是适合于所述用户的。
在上述信息处理设备(诸如图20中所示的内容发送/接收设备101)中:所述历史信息发生部件产生:第一历史信息(诸如图26中所示的多条相关信息CI1a、CL2a和CI3a),所述第一历史信息包括至少表示已经使用的第一类型内容的特征的第一特征信息,和表示在输出已经使用的第一类型内容时的用户上下文的第一上下文信息;和第二历史信息(诸如图28中所示的多条相关信息CI1b、CI2b和CI3b),所述第二历史信息包括至少表示已经使用的第二类型内容的特征的第二特征信息,以及表示在输出已经使用的第二类型内容时的用户上下文的第二上下文信息;所述历史信息存储部件用于存储所述第一历史信息和所述第二历史信息;所述第二类型内容确定部件(诸如图22中所示的用户使用的辅助内容确定部件119A):选择一条或多条第一历史信息,其中每条第一历史信息包括与表示在所述历史信息存储部件中存储的一条或多条第一历史信息当中的第一类型的新内容的特征的特征信息相同或相似的第一特征信息;获取包括在所选择的每一条第一历史信息中的第一上下文信息;选择一条或多条第二历史信息,其中每条第二历史信息包括在所述历史信息存储部件中存储的一条或多条第二历史信息当中的、与所获取的第一上下文信息相同或相似的第二上下文信息;并且(例如,通过执行由图30中所示的流程图表示的、作为确定辅助内容的处理的处理)确定由包含在所选择的每一条第二历史信息中的第二特征信息所识别的第二类型内容作为如下第二类型内容:所述第二内容的输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容操作之前或之后被认为是适合于所述用户的。
在上述信息处理设备(诸如图20中所示的内容发送/接收设备101)中:该设备还包括:数据接收部件(诸如图20中所示的主要内容接收部件118),用于从由其他用户使用的另一设备(诸如图19中所示的内容发送/接收设备101B,所述内容发送/接收设备101B用于用作图20中所示的内容发送/接收设备101的内容发送/接收设备101A)接收第一类型内容和被添加到所述第一类型内容作为表示另一用户的上下文内容的信息的第一内容信息,所述历史信息发生部件产生:第一历史信息(诸如图26中所示的多条相关信息CI1a、CI2a和CI3a),所述第一历史信息包括至少表示已经使用的第一类型内容的特征的第一特征信息和表示在输出已经使用的第一类型内容时的用户上下文的第二上下文信息;以及第二历史信息(诸如图5中所示的多条相关信息CI1、CI2和CI3),所述第二历史信息包括至少表示已经使用的第一类型内容的特征的第一特征信息和表示已经使用的第二类型内容的特征的第二特征信息,当正在输出已经使用的第一类型内容时或者在输出已经使用的第一类型内容之前或之后输出所述历史信息;所述历史信息存储部件用于存储该所述第一历史信息和所述第二历史信息;以及所述第二类型内容确定部件(诸如图32中所示的用户使用的辅助内容确定部件119B):选择一条或多条第一历史信息,其中每条第一历史信息包括与在所述历史信息存储部件中所存储的一条或多条第一历史信息当中的、被添加到由所述数据接收部件接收的第一类型的新内容的第一上下文信息相同或相似的第二上下文信息;获取包括在每条所选择的第一历史信息中的第一特征信息;选择一条或多条第二历史信息,其中每条第二历史信息包括在所述历史信息存储部件中存储的一条或多条第二历史信息当中的、与所获取的第一特征信息相同或相似的第二特征信息;(例如,通过执行图33中所示的用于确定辅助内容的处理)确定由包括在每条所选择的第二历史信息中的第二特征信息所识别的第二类型内容作为如下第二类型内容:所述第二类型内容在输出第一类型的新内容的操作中或者在输出第一类型的新内容之前或之后被认为是适合于所述用户的。
根据本发明的另一实施例,提供一种由信息处理设备(诸如图1中所示的信息处理设备或者图20中所示的内容发送/接收设备101)所采用的信息处理方法,所述信息处理设备包括:用于分别输出第一类型内容和第二类型内容的内容输出部件(诸如图1中所示的用户使用的辅助内容确定部件6。但是,图1并没有具体示出用于输出第一类型内容的操作。所述内容输出部件的其他实例是图20中所示的用户使用的辅助内容确定部件119的输出功能部分、在同一附图中所示的主要内容发送部件112的输出功能部分、以及同一附图中所示的主要内容接收部件118的输出功能部分);第一存储部件(诸如图1中所示的辅助内容存储部件3或图20中所示的辅助内容存储部件120),用于存储一条或多条第二类型内容;以及第二存储部件(诸如图1中所示的相关信息存储部件2或图20中所示的相关信息存储部件117),用于存储不同于第二类型内容的其他信息。该信息处理方法包括以下步骤:(例如,通过执行由在图4、17、24或27中所示的流程图表示的相关信息发生处理),在内容输出部件输出已经使用的第一类型内容的时间点或者在包括该时间点的时间区内产生包括一条或多条有关已经使用所述信息处理设备的用户的信息的历史信息;每当在生成历史信息的步骤所执行的处理中(例如,通过执行由图4、17、24或27所示的流程图表示的相关信息发生处理的最后部分)产生历史信息时,控制在第二存储部件中存储历史信息的操作;以及根据在第一存储部件中存储的一条或多条第二类型内容的特征和在控制在第二存储部件中存储历史信息的操作的步骤所执行的处理中存储的一条或多条历史信息(例如,通过执行由图6或16中所示的流程图表示的、作为用于确定用户将要使用的辅助内容的处理的处理,以及由图30中所示的流程图表示的、作为用于确定辅助内容的处理的处理、或者由图33中所示的流程图表示的、作为用于确定辅助内容的处理的处理),来确定第二类型内容,所述第二类型内容被认为是以下内容:所述内容的输出操作在输出第一类型的新内容的操作中或者在输出第一类型的新内容操作之前或之后被认为是适合所述用户的。
根据本发明的再一个实施例,提供一种由计算机,如图34中所示的个人计算机所执行的程序,作为用于实现根据本发明的其他实施例所提供的上述信息处理方法的程序。
接下来,参考附图说明本发明的实施例。
图1是示出根据本发明一个实施例的信息处理设备的典型功能结构的图。
如图1所示,该信息处理设备包括范围从历史处理部件1到相关信息更新部件9的部件。但是,传感器7和操作部件8的每个都可被包括作为内部部件或与该信息处理设备连接的外部部件。
另外,范围从历史处理部件1到相关信息更新部件9的每个部件并不特别局限于具体的结构。特别是,历史处理部件1、辅助内容元信息获取部件5、用户使用的辅助内容确定部件6和相关信息更新部件9中的每一个都能够通过软件、硬件或者硬件和软件的组合来实现。
顺便提及,相据本发明实施例的设备将用户将要使用的内容作为数据即以内容数据的格式来处理。用户将要使用的内容包括在试验或实验中将使用的内容。如上所述,具有图1中所示的功能结构的该信息处理设备是根据本发明实施例的设备的一个实例。
值得注意的是,在本说明书中,通常称之为内容的是一个宽泛的概念,其包括用户所能使用的各种硬件和软件,诸如TV广播节目、电影、图像、一段音乐、文本、包括货物在内的物品、会谈等等。音乐片段包括运动图像、静止图像、声音及其组合。但是,在物品(硬件)内容的情况下,作为将物品投影为运动和/或静止图像结果而获得的数据被作为内容数据来处理。
如果用户同时已经使用、正在使用或者将要使用两种或更多种类型的内容,意图作为用户主要使用目的的内容在后面被称为主要内容。另一方面,意图作为用户次要使用目的内容被下称为辅助内容。典型的辅助内容是前面引用的所谓BGM。
并没有特别地规定用于确定内容是主要内容还是辅助内容的方法。在以下描述中,为了使说明简单,一般事先确定主要和辅助内容。另外,在本说明书中如上所述定义的内容能够用作主要内容或者辅助内容。但是,在图1中所示的信息处理设备的说明中,用户处理的文本用作主要内容。另一方面,使用用作所谓BGM的音乐片段或用作所谓BGV的内容作为辅助内容。用作所谓BGV的内容可以是静态图像或运动图像,如果必要的话还可以是运动图像的伴音。
该主要内容可以是用户已经使用的主要内容或者用户正在使用或将要使用的主要内容。用户已经使用的主要内容称为已经使用的主要内容。另一方面,用户正在使用或将要使用的内容称为用户使用的主要内容。处于同样的原因,辅助内容可以是用户已经使用的辅助内容,或者用户正在使用或将要使用的辅助内容。用户已经使用的辅助内容称为已经使用的辅助内容。另一方面,用户正在使用或将要使用的辅助内容称为用户使用的辅助内容。
接下来,将详细说明图1中所示的信息处理设备的典型功能结构。
每当提供一对已经使用的主要内容和辅助内容时,历史处理部件1在输出已经使用的主要内容的时间点或者在包括该时间点的时间区内产生包括有关使用图信息处理设备的用户的一条或更多条信息的历史。代替已经使用的辅助内容,以下将要描述的辅助内容元信息获取部件5提供元信息作为所述已经使用的辅助内容的元信息。
例如,历史处理部件1产生有关已经使用的主要内容和已经使用的辅助内容之间相关性的信息,并将该相关信息存储在相关信息存储部件2中。该相关信息的实例是图5中所示的多条相关信息CI1、CI2、CI3等等。以下将描述该相关信息的细节和实例。
正如以下详细所描述的,历史处理部件1能够从传感器7或者操作部件8所提供的信息中获取上下文信息,并包括在有关已经使用的主要内容和已经使用的辅助内容之间相关的信息中的该上下文信息。用户的上下文信息是表示用户使用输入的已经使用的主要内容时的上下文的信息。
值得注意的是,在本说明书中,用户的上下文是该用户的全部内在和外在条件。用户的内在条件包括用户的物理形状和情感。用户的情感包括该用户的语气和精神状态。用户的外在条件包括该用户的空间位置和时间方式位置。该时间方式的位置典型为当前时间。用户的外在条件还包括预定的条件,诸如空间方向的分布以及时间轴方向的分布或者空间方向和时间轴方向的分布。
如上所述,因此,相关信息存储部件2用于将历史处理部件1所产生的一条或多条相关信息存储作为历史信息。
辅助内容存储部件3是用于存储已经使用的辅助内容的存储器,每条已经使用的辅助内容对应于相关信息存储部件2中所存储的一条或多条相关信息之一。另外,由用户从外部来源提供的未使用辅助内容也存储在辅助内容存储部件3中。由用户从外部来源提供的未使用的辅助内容在下面被称为用户未使用的辅助内容。
辅助内容元信息存储部件4是用于存储辅助内容元信息获取部件5所获取信息的存储器,该信息作为辅助内容的元信息。在以下说明中,辅助内容的元信息被称为辅助内容元信息,以便区分它和主要内容元信息,该主要内容元信息是主要内容的元信息。
辅助内容元信息获取部件5每当将已经使用的辅助内容或者用户未使用的辅助内容提供给辅助内容元信息获取部件5时获取辅助内容元信息,并将所获取的辅助内容元信息存储在辅助内容元信息存储部件4中。如果必要,辅助内容元信息获取部件5还向历史处理部件1提供所获取的辅助内容元信息。
值得注意的是,在本说明书中,辅助内容元信息是如下所述的信息。该辅助内容是用作BGM的音乐数据或者用作BGV的图像(或者伴有声音的运动图像)的数据。因此,在本说明书中使用的辅助内容元信息不仅仅是通常的元信息如节目的元信息。相反,在本说明书中使用的该辅助内容元信息是以单词所表达信息的宽泛概念。以单词所表达的该信息包括数字值。以单词所表达信息的实例是分析的结果,诸如对一段音乐或图像的特征的分析。该首音乐或图像的特征包括拍子、节奏、乐器和歌剧。换言之,与辅助内容有关的任何信息都可以是辅助内容元信息,只要该信息是有关辅助内容的一个或多个特征的信息。
因此,该辅助内容元信息可以是从辅助内容本身所获取的信息,或者是被获取作为与该辅助内容独立分布(提供)的信息。与辅助内容独立分布(提供)的信息实例是诸如EPG(电子节目导航)的节目信息。
用户使用的辅助内容确定部件6是一个用于从辅助内容存储部件3中所存储的一条或多条辅助内容中,选择适合于输入的用户使用的主要内容的用户使用辅助内容的部件。根据该用户的过去历史,用户使用的辅助内容确定部件6确定,所选的用户使用的辅助内容是适合于该用户的用户使用的辅助内容。然后,用户使用的辅助内容确定部件6从辅助内容存储部件3读取所选的用户使用的辅助内容,并将该用户使用的辅助内容输出到外部目的地。在确认被确定为适合于该用户的用户使用辅助内容的处理中,用户使用的辅助内容确定部件6参照相关信息存储部件2中存储的相关信息,基于有关从传感器7和/或操作部件8所接收信息的上下文信息,辅助内容元信息存储部件4中存储的辅助内容元信息或者这些条信息中至少一条信息的组合。以下将会描述选择和确认用户使用的辅助内容的处理细节。
值得注意的是,如图1的上部虚线所示,如果有必要,则将用户使用的辅助内容确定部件6已经输出的用户使用的辅助内容用作已经使用的辅助内容。处于同样的原因,在被输出之后,如果有必要,则将与用户使用的辅助内容相关联的用户使用的主要内容作为已经使用的主要内容。
相关信息更新部件9根据辅助内容元信息存储部件4中存储的辅助内容元信息和从操作部件8所接收用户操作的历史,来更新相关信息存储部件2中所存储的一条或多条相关信息的至少一部分。
接下来,通过参考图2,将详细说明历史处理部件1的典型功能结构。图2详细示出了历史处理部件1的典型功能结构。
每当向历史处理部件1提供已经使用的主要内容时,主要内容元信息获取部件11从已经使用的主要内容获取元信息,并将该获取的元信息提供给相关信息发生部件12。该获取的元信息称为主要内容元信息以区别于上述辅助内容元信息。
值得注意的是,在本说明书中,主要内容元信息是如下描述的信息。例如,该主要内容不是通常的内容,而是如上所述,是用户的专用文本。该专用文本的实例是以下将要描述的邮件文本。因此,在本说明书中,主要内容元信息不仅仅是诸如节目的元数据的通常的元信息。相反,在本说明书中使用的主要内容元信息是以单词所表达的信息的宽泛概念。以单词所表达的该信息包括数字值。以单词所表达信息的实例是内容本身、内容的一部分或者内容的属性。在这种情况下,该内容是宽泛概念的内容。换言之,与主要内容有关的任何信息都可以是元信息,只要该信息是有关该主要内容的一个或多个特征的信息。
因此,主要内容元信息可以是从主要内容本身获取的信息或者被获取作为与主要内容单独分布(提供)的信息。与主要内容独立分布(提供)信息的实例是诸如EPG(电子节目导航)的节目信息。
例如,该主要内容是文本。在这种情况下,主要内容元信息获取部件11将输入的已经使用的主要内容的文本分成预定的单元,如句子或者段落,分析获得的作为划分结果的每个单元,将每个单元分解成单词,如图5中所示的单词“旅游”和“时间表”。该主要内容元信息获取部件11然后将这些单词提供给相关信息发生部件12。
相关信息发生部件12产生与主要内容元信息获取部件11所提供的主要内容元信息相关联的相关信息,该主要内容元信息作为与已经使用主要内容与已经使用的辅助内容相关联的主要内容元信息,其中该辅助内容是与和所提供的主要内容元信息相关联的已经使用的主要内容同时使用的辅助内容。所述相关信息的实例是图5所示的多条相关信息CI1、CI2和CI3。相关信息发生部件12然后将该产生的相关信息提供给相关信息存储部件2。值得注意的是以下将通过实例的方式来描述所述相关信息的细节。
在某些情况下,可以代替已经使用的辅助内容,将用于已经使用的辅助内容的辅助内容元信息从辅助内容元信息获取部件5提供给相关信息发生部件12,或者作为一种替换,可以将用于已经使用的辅助内容的辅助内容元信息和已经使用的辅助内容一起从辅助内容元信息获取部件5提供给相关信息发生部件12。在这种情况下,相关信息发生部件12根据用于已经使用的辅助内容的辅助内容元信息而产生相关信息。
另外,相关信息发生部件12可以在相关信息中包括从上下文信息获取部件13接收的上下文信息。
也就是说,上下文信息获取部件13从传感器7或者操作部件8提供的信息,或者从获得的作为传感器7或操作部件8所提供信息的转换结果的信息,获取该用户的上下文信息,并将该上下文信息提供给相关信息发生部件12。所述上下文信息是有关在用户使用已经使用的主要内容以及用于已经使用的主要内容的已经使用的辅助内容时的上下文的信息,其中所述已经使用的主要内容和所述已经使用的辅助内容正在由历史处理部件1处理。
更详细来说,操作部件8典型包括键盘、鼠标和其他输入接口。用户操作操作部件8以向上下文信息获取部件13输入表示各种上下文的信号。
然后,上下文信息获取部件13分析从操作部件8所接收的信号,以便将它们转换成以单词所表达的数据,并将所述数据作为上下文信息提供给相关信息发生部件12。
另外,假设例如传感器7包括用于检测用户的外部上下文的传感器和用于检测其内部上下文的传感器。也就是说,传感器7是不仅包括用于检测一个上下文的传感器而且还包括能够检测至少两个上下文的一个或多个传感器的传感器组。传感器7可检测到的上下文数量和上下文的类型没有特别地规定。为了更具体,用于检查外部上下文的传感器的实例是用于检测有关用户当前位置信息的GPS(全球定位系统)、用于测量/检测当前时间的时钟和用于检测该用户周围所存在的人或者事物的无线通信设备。另一方面,用于检测内部上下文的传感器的实例是用于检查脉搏跳动数量、呼吸数量、或者眼睛出汗或者张开的传感器。
如果从传感器7接收的信息是数值数据,那么上下文信息获取部件13将该数值数据作为上下文信息提供给相关信息发生部件12。在某些情况下,在被提供给相关信息发生部件12之前,该数值数据可以根据预定的规则来更新。另一方面,如果从传感器7接收的信息是除了数值数据以外的信息,上下文信息获取部件13分析该接收的信息,将该信息转换成以包括数值的单词术语所表达的数据。上下文信息获取部件13然后将以单词术语所表达的该数据作为上下文信息提供给相关信息发生部件12。
通过参考图3,以下描述说明用户使用的辅助内容确定部件6的典型功能结构的细节。图3示出了用户使用的辅助内容确定部件6的典型功能结构的细节。
主要内容元信息获取部件21具有基本上与图2所示的主要内容元信息获取部件11相同的结构和功能。但是,主要内容元信息获取部件21接收用户当前正在使用的主要内容或者被安排从现在起用户使用的主要内容。如上所述,用户当前正在使用的主要内容和被安排从现在起用户使用的主要内容被称之为用户使用的主要内容。因此,主要内容元信息获取部件21获取用于所述用户使用的主要内容的主要内容元信息并将该主要内容元信息提供给匹配部件22。
匹配部件22是用于从主要内容元信息获取部件21接收用于所述用户使用的主要内容的主要内容元信息的部件。更具体而言,匹配部件22接收以下将要描述的特征向量。该特征向量是这样的向量:每一向量被产生作为具有用于用户使用的主要内容的、作为分量的一条或多条主要内容元信息的向量。更具体而言,匹配部件22获取下面将通过参考图5描述的特征向量CCV1、CCV2、CCV3等等。
另外,匹配部件22获取主要内容元信息,所述主要内容元信息包括在相关信息存储部件2中存储的一条或多条相关信息的每一条中。具体而言,匹配部件22一般产生以下将要详细描述的特征向量。总之,特征向量是具有作为分量的、包括在相关信息存储部件2中存储的一条或多条相关联的相关信息中的每一条中的一条或多条主要内容元信息。匹配部件22产生用于相关信息存储部件2中存储的一条或多条相关信息中的每一条的特征向量。更具体而言,匹配部件22产生以下将通过参考图7描述的特征向量CCVn。
然后,匹配部件22找到用于用户使用的主要内容的主要内容元信息和包括在相关信息存储部件2中存储的一条或多条相关信息中的每条中的每一主要内容元信息之间的相似度。用于用户使用的主要内容的主要内容元信息的一个实例是表示用于用户使用的主要内容的主要内容元信息的特征向量,包括在相关信息存储部件2中存储的一条或多条相关信息的每条中的主要内容元信息的一个实例是表示用于已经使用的主要内容的主要内容元信息的特征向量。匹配部件22然后将该相似度提供给辅助内容推荐部件23。
值得注意的是,正如以下将详细描述的,如果上下文信息包括在相关信息中,即,如果上下文信息包括在以下通过参考图10将要描述的特征向量CCV4、CCV5和CCV6的分量中,则在计算相似度的处理中,匹配电路22可以使用从上下文信息获取部件27所接收的上下文信息。从上下文信息获取部件27所接收的上下文信息是表示其中用户使用主要内容的上下文的用户上下文的信息。
辅助内容推荐部件23是用于根据从匹配部件22接收的、作为计算相似度的处理的结果的相似度,来识别类似于用户使用主要内容的已经使用的主要内容,以及用于从相关信息存储部件2获取所识别的已经使用的主要内容的相关信息的部件。然后,辅助内容推荐部件23输出表示包含在所获取的相关信息中的辅助内容的信息作为表示所推荐辅助内容的信息,其中所推荐辅助内容被定义为将要推荐给用户的、作为适合于用户与用户使用的主要内容一起使用的内容。
在这种情况下,如果辅助内容元信息包括在表示所推荐辅助内容的信息中,其中所推荐辅助内容包括在获取的相关信息中,则辅助内容推荐部件23可以从辅助内容元信息存储部件4获取与包括在相关信息中的辅助内容元信息相同或相似的辅助内容元信息。然后,辅助内容推荐部件23能够确定由从辅助内容元信息存储部件4获取的辅助内容元信息所识别的辅助内容作为附加的推荐辅助内容,新产生表示所确定的附加推荐辅助内容的信息以及输出该新产生的、一般具有不同名字的信息。
另外,正如以下将要描述的,匹配部件22还能够从辅助内容元信息存储部件4获取与从主要内容元信息获取部件21所接收的主要内容元信息相同或相似的辅助内容元信息,并将该获取的主要内容元信息提供给辅助内容推荐部件23。从主要内容元信息获取部件21所接收的该主要内容元信息是用于用户使用的主要内容的主要内容元信息。
在这种情况下,辅助内容推荐部件23确定由从辅助内容元信息存储部件4获取的辅助内容元信息所识别的辅助内容作为推荐的辅助内容,产生表示该确定的推荐辅助内容的信息,以及输出新产生的一般具有不同名字的信息。
根据用户在操作部件8上所执行的操作,将开关24置于接通或断开状态。
当开关24置于断开状态时,辅助内容推荐部件23所输出的信息作为显示推荐辅助内容的信息被提供给辅助内容信息显示部件26,而不是提供给辅助内容输出部件25。
另一方面,当开关24置于接通状态时,辅助内容推荐部件23所输出的信息作为显示推荐辅助内容的信息被提供给辅助内容输出部件25和辅助内容信息显示部件26。
辅助内容输出部件25从辅助内容存储部件3读取由通过开关24从辅助内容推荐部件23接收的信息所识别的推荐辅助内容,作为表示该推荐的辅助内容的信息,并将该推荐的辅助内容作为用户使用的辅助内容输出给外部目的地。具体而言,假设例如所述推荐的辅助内容是一段音乐。在这种情况下,辅助内容输出部件25可被实现为用于将音乐的数字数据解码为模拟音频信号的装置,和用于向外部目的地输出模拟音频信号的设备。这种设备的实例是扬声器和耳机终端。
另外,辅助内容输出部件25能够将正被输出作为用户使用的辅助内容的辅助内容改变为除了所述辅助内容以外的内容,并在用户操作操作部件8时,根据用户在操作部件8上所执行的操作停止输出该辅助内容的处理。
辅助内容信息显示部件26能够将辅助内容推荐部件23输出的信息显示作为表示给该用户推荐的辅助内容的信息。假设例如存在多个推荐的辅助内容,即,辅助内容推荐部件23输出多条表示所推荐的辅助内容的信息。在这种情况下,辅助内容信息显示部件26能够将图像呈现给用户,该图像列出了多条表示该推荐的辅助内容的信息。所述图像可以按照原样表示辅助内容推荐部件23输出的多条信息的列表,或者根据由辅助内容推荐部件23的输出信息所产生的新信息条。在这种情况下,辅助内容信息显示部件26可以包括显示单元和用于控制该显示单元的显示控制单元。
上下文信息获取部件27具有与图2所示的上下文信息获取部件13的基本上相同的结构和功能。但是,上下文信息获取部件27从传感器7或操作部件8提供的输入信息获取上下文信息,并将该上下文信息提供给匹配部件22。该上下文信息是表示其中用户正在使用用户使用的主要内容的上下文的信息,该上下文信息被定义为用户当前正在使用的主要内容或者从现在起将要安排给用户使用的主要内容。
以上已经通过参考图1到3描述了根据本发明实施例的信息处理设备的典型功能结构。具备这种功能结构的信息处理设备所执行的处理可被分为两个大类,即,如下所述的第一处理和第二处理。该第一处理是产生有关历史的信息的处理,该历史表示用户对内容的使用。另一方面,该第二处理是基于通过不断地执行第一处理所存储的多条历史信息,推荐(或者确定)用户将要使用的辅助内容以及用户使用的主要内容的处理,该用户使用的主要内容是用户当前正在使用的主要内容或者从现在起将要安排给用户使用的主要内容。
通过参考图4、6、15和16所示的流程图,以下描述说明了具备图1到3中所示结构的信息处理设备执行的第一处理和第二处理的各种实例。该第二处理在后面被称为用户使用的辅助内容确定处理。
首先,通过参考图4所示的流程图,说明用于产生相关信息的典型第一处理,该相关信息作为有关表示用户对内容的使用的历史的信息。该典型的第一处理在后面被称为相关信息发生处理。
如图4所示,所述流程图从步骤S1开始,在该步骤中应用于历史处理部件1中的主要内容元信息获取部件11获取主要内容元信息并提供该获取的主要内容元信息给相关信息发生部件12。主要内容元信息是已经使用的主要内容的元信息。
然后,在接下来的步骤S2,相关信息发生部件12根据所获取的主要内容元信息,产生表示已经使用的主要内容的特征的特征信息。
如上所述,在步骤S1所执行处理中获取的主要内容元信息本身表示了已经使用的主要内容的一个或多个特征。因此,在步骤S2所执行的处理中,相关信息发生部件12实际上产生表示全部特征的特征信息,这些特征由一条或多条主要内容元信息所表示的特征来确定。值得注意的是,以下将会描述这种特征信息的实例。
接着,在以下的步骤S3,相关信息发生部件12产生将在步骤S2所执行处理中产生的特征信息和与已经使用的主要内容一起使用的已经使用的辅助内容相关联的信息作为有关已经使用的辅助内容和已经使用的主要内容之间的相关性的相关信息,其中所述特征信息作为已经使用的主要内容的特征信息。已经使用的辅助内容是提供给如图2所示的相关信息发生部件12的已经使用的辅助内容。将已经使用的主要内容的特征信息和与已经使用的主要内容一起使用的已经使用的辅助内容相关联的信息一般包括:已经使用的主要内容的特征信息,以及表示和已经使用的主要内容一起使用的已经使用的辅助内容的信息。
然后,在接下来的步骤S4,相关信息发生部件12在相关信息存储部件2中存储在步骤S3所执行的处理中产生的所述相关信息。
最后,结束由图4中所示的流程图表示的相关信息发生处理的执行。
每当用户使用主要内容和辅助内容时执行上述的相关信息发生处理。在该相关信息发生处理中,产生用于主要和辅助内容的一条相关信息,以作为有关在用于所述用户的时间点所发生历史事件的信息,并将其存储在相关信息存储部件2中。
让我们假设该用户接收三个邮件文本,即Doc1、Doc2和Doc3。然后该用户一般通过使用邮件文本浏览软件(在该图中未示出)分别地浏览(使用)作为主要内容的该邮件文本Doc1、Doc2和Doc3。另外,还让我们假设,当该用户正在浏览(使用)邮件文本Doc1时,用户还聆听(使用)预定的音乐段,下面称为作为BGM辅助内容的SongA(民间音乐)。当该用户正在浏览(使用)邮件文本Doc3时,用户还聆听(使用)另一音乐段,下面称为作为BGM辅助内容的SongC(桑巴舞曲)。另一方面,当该用户正在浏览(使用)邮件文本Doc2时,用户不聆听任何音乐段或者不使用任何辅助内容。
在这种情况下,对于邮件文本Doc1、Doc2和Doc3,在不同的时间执行上述的相关信息发生处理。结果,产生三条相关信息并且每条信息存储在相关信息存储部件2中。
详细而言,在步骤S1对邮件文本Doc1、Doc2和Doc3所执行的处理中,主要内容元信息获取部件11获取邮件文本Doc1、Doc2和Doc3中的每一个,并将邮件文本Doc1、Doc2和Doc3的每一个分解成分别单词组(I)到(III)中所示的一个或多个名词单词。获取单词组(I)到(III)以作为分别用于主要内容Doc1、Doc2和Doc3的多条主要内容元信息,并将其提供给相关信息发生部件12。
单词组(I)到(III)如下列表:
(I):旅游、日程表、旅游、地图、温泉和纪念品
(II):会议、日程表、联系人、会议、备忘录和参会
(III):音乐、桑巴舞曲和巴西
在这种情况下,在步骤S2对邮件文本Doc1、Doc2和Doc3所执行的处理中,相关信息发生部件12产生用于主要内容Doc1、Doc2和Doc3的多条特征信息。所述特征信息的实例是图5所示的特征向量CCV1、CCV2和CCV3。
上述特征向量说明如下。
特征向量是具有一条或多条作为分量(或维数)的内容的元信息的向量。在上述实例中,该内容是已经使用的主要内容,诸如邮件文本Doc1、Doc2或Doc3等,以及所述元信息是邮件文本Doc1、Doc2或Doc3的每个主要内容元信息。具体而言,该元信息包括单词组(I)到(III)的每个单词。
因此,不特别地描述特征向量的结构。但是,让我们假设确定了所述特征向量的维数。通过特征向量的维数,隐含了组成该向量的分量的数量。另外,让我们假设还确定对应于所述特征向量的每个分量的信息。在该实例中,内容的特征向量的每个分量是一条该内容的元信息。也就是说,让我们假设组成所述特征向量的分量数量或者该向量的维数是固定的,并且分配给其各个分量的信息条以及分配的顺序也是固定的。在该实例中,分配给其各个分量的信息条是主要内容的元信息条,这种信息条是图5所示的单词“旅游”,“日程表”等等。值得注意的是,特征向量的该结构在后面被称为标准格式。
具体而言,具有上述标准格式的特征向量一般为包含图5中所示的单词分量旅游、日程表、目的地、地图、联系人、温泉、会议、备忘录、参会、纪念品、音乐、桑巴舞曲和巴西的向量。
但是,组成具有上述标准格式的特征向量的每个分量实际上包含由单词所确定的值,该值表示了相应的主要内容元信息条和通过采用加权相乘技术诸如频率方法或者tf方法等而乘以的加权。
具体而言,根据表示主要内容Doc1的主要内容元信息的单词组(I),在主要内容Doc1中,单词‘旅游’出现两次,而单词‘日程表’、‘地图’和‘纪念品’每个都只出现一次。在这种情况下,如果采用所述频率方法作为加权相乘技术,具有所述标准格式的特征的分量‘旅游’、‘日程表’、‘地图’和‘纪念品’分别具有值2、1、1和1。另一方面,其他分量诸如单词‘目的地’具有值0,这是因为具有所述标准格式的特征的单词‘目的地’在主要内容Doc1中根本没有出现。因此,产生主要内容Doc1的特征向量CCV1,以作为包含具有图5中所示的值(2、1、0、1、0、1、0、0、0、1、0、0、0)的分量的向量。
处于同样的原因,产生主要内容Doc2的特征向量CCV2作为包含具有图5中所示的值(0、1、0、0、1、0、2、1、1、0、0、0、0、)的分量的向量。通过相同的方式,产生主要内容Doc3的特征向量CCV3作为包含具有图5中所示的值(0、0、0、0、0、0、0、0、0、0、1、1、1)的分量的向量。
值得注意的是,如果采用频率方法作为加权相乘技术,所述分量的频率一般用作该分量的值。该分量的频率是在该文本中所述分量出现的次数。当然有可能使用除了频率之外的值。其他值的实例包括频率的归一化值和获得作为根据预定的规则转换频率的结果的值。
在步骤S3中对主要内容Doc1、Doc2和Doc3所执行的处理中,产生诸如图5中所示的相关信息条CI1、CI2和CI3的相关信息,在步骤S4所执行的处理中,将这些相关信息条CI1、CI2和CI3存储在相关信息存储部件2中。相关信息条CI1、CI2和CI3将如上所述产生的特征向量CCV1、CCV2和CCV3与分别表示用于特征向量CCV1、CCV2和CCV3的已经使用的BGM辅助内容的信息条进行关联。
例如,在图5所示的实例的情况下,表示已经使用的BGM辅助内容的信息是该内容的名字。因此,在这种情况下,用于主要内容Doc1的相关信息CI1是将特征向量CCV1与歌曲名‘SongA(民间音乐)’进行关联的信息或包括特征向量CCV1和歌曲名‘SongA(民间音乐)’两者的信息。处于同样的原因,用于主要内容Doc3的相关信息CI3是将特征向量CCV3与歌曲名‘SongC(桑巴舞曲)’进行关联的信息或包括特征向量CCV3和歌曲名‘SongC(桑巴舞曲)两者的信息。
值得注意的是,如上所述,用于主要内容Doc2的已经使用的BGM辅助内容不存在。也就是说,当用户使用主要内容Doc2时,该用户并不聆听已经使用的BGM辅助内容。在这种情况下,能够使用图5所示的诸如单词‘无’的特别信息,作为表示已经使用的BGM辅助内容的信息,即作为当用户使用主要内容Doc2时表示用户没有聆听已经使用的BGM辅助内容的信息。因此,非常类似于相关信息条CI1和CI3,能够产生用于主要内容Doc2的相关信息CI2,作为将特征向量CCV2与由单词‘无’所表示的特别信息进行关联的信息,或者包括特征向量CCV2和由单词‘无’所表示特别信息两者的信息。
通过参考图6所示的流程图,以下描述说明了作为对应于根据图4所示流程图的产生相关信息的处理的、用于确定用户使用的辅助内容的处理。如上所述,产生相关信息的处理被称为第一处理,用于确定用户使用的辅助内容的处理被称为第二处理。
通过重复执行图4所示流程图所表示的相关信息发生处理而产生的一条或多条相关信息被存储在相关信息发生部件2中。然后,当用户正在使用新的主要内容或者计划从现在起使用新的主要内容时,执行根据图6所示的流程图的、用于确定用户使用的辅助内容的处理。
每当将用户使用的主要内容提供给图3所示的用户使用的辅助内容确定部件6时,执行根据图6所示流程图的、用于确定用户使用的辅助内容的处理。
如图6所示,所述流程图从步骤S21开始,在该步骤中主要内容元信息获取部件21获取用户使用的主要内容的元信息,并提供该主要内容元信息给匹配部件22。
然后,在下一步骤S22,匹配部件22根据所获取的元信息产生特征信息,该特征信息表示用户使用的主要内容的特征。
值得注意的是,在步骤S21和S22所执行的处理除了处理对象不同以外,基本上分别与在图4所示流程图的步骤S1和S2上执行的处理相似。具体而言,在步骤S21和S22所执行处理的对象是用户使用的主要内容,而在步骤S1和S2所执行处理的对象是已经使用的主要内容。由于这种原因,这次不再详细说明在步骤S21和S22所执行的处理。
接下来,在下一步骤S23,匹配部件22找到步骤S22所执行处理中产生的作为用户使用的主要内容的特征信息的特征信息,和包括在提前保存(存储)在相关信息存储部件2中的一条或多条相关信息的每一条中的特征信息之间的相似性。然后,匹配部件22将该相似性提供给辅助内容推荐部件23。
值得注意的是不再特别地描述寻找相似性的方法。但是,如果特征向量被用作特征信息,那么将采用如下所述的典型方法。为了使说明简单,该采用的方法简单说明如下:
匹配部件22计算用户使用的主要内容的标准格式的特征向量,和包括在提前保存(存储)在相关信息存储部件2中的一条或多条相关信息的每一条中的特征向量的内积,并将作为计算结果而获得的每个内积提供给辅助内容推荐部件23,作为用户使用的主要内容的标准格式特征向量,和包括在相关信息中的特征向量之间的相似度。所采用方法计算的内积越大,相似度也就越高。
接着,在下一步骤S24,辅助内容推荐部件23从相关信息存储部件2获取包括特征信息的相关信息,该特征信息具有超出门限值的相似度。例如,辅助内容推荐部件23从相关信息存储部件2获取包括特征向量的相关信息,该特征向量具有超出门限值的内积。然后,辅助内容推荐部件23将用于该获取的相关信息的辅助内容作为用户使用的辅助内容的候选。作为用户使用的辅助内容候选的所述辅助内容是包括在相关信息中的信息以及和具有超出门限值相似度的特征信息一起所识别的辅助内容。作为用于用户使用的辅助内容候选的所述辅助内容被用作推荐的辅助内容。
最后,结束作为对应于根据图4所示流程图的用于产生相关信息的处理的、根据图6所示流程图的用于执行确定用户使用的辅助内容的处理。
以下描述说明了根据图6所示流程图的、用于确定用户使用的辅助内容的典型的具体处理,该描述是通过将该典型处理与根据图4所示流程图的、用于产生相关信息的典型处理进行关联,即将该典型处理与用于产生上述主要内容Doc1、Doc2和Doc3的相关信息的典型处理进行关联而进行的。
假设例如,现在用户正通过典型使用邮件浏览软件(该图中未示出)浏览或者将要浏览作为主要内容的新接收的邮件文本。假定接收作为主要内容的邮件文本命名为TargetDoc。也就是说,TargetDoc是用户使用的主要内容。
在步骤S21所执行的处理中,主要内容元信息获取部件21获取TargetDoc的元信息,并将该元信息分解成根据在类似于如下所示的单词组(IV)中排列的一个或多个名词单词所表示的信息。获取单词组(IV)作为TargetDoc的主要内容元信息,并将它提供给匹配部件22。
(IV)旅游、纪念品、地图、联系人、温泉和纪念品
在这种情况下,在步骤S22所执行的处理中,匹配部件22产生如图7所示的特征向量CCVn(1、0、0、1、1、1、0、0、0、2、0、0、0)。
如在该图中所示,在步骤S22所执行处理中产生的特征向量CCVn的格式是上述通过参考图5描述的作为特征向量的标准格式的所述标准格式。也就是说,特征向量CCVn的格式与上述通过参考图5描述的、作为特征向量CCV1、CCV2和CCV3的标准格式的格式相同。
在这种情况下,由于图5所示的相关信息条CI1、CI2和CI3已经保存(或存储)在相关信息存储部件2中,因此在步骤S22所执行的处理中,匹配部件22计算图7所示的特征向量CCVn和包括在相关信息CI1中的特征向量CCV1之间的内积作为特征向量CCVn和特征向量CCV1之间的相似度,计算特征向量CCVn和包括在相关信息CI2中的特征向量CCV2之间的内积作为特征向量CCVn和特征向量CCV2之间的相似度,以及计算特征向量CCVn和包括在相关信息CI3中的特征向量CCV3之间的内积作为特征向量CCVn和特征向量CCV3之间的相似度。
具体而言,假设例如,匹配部件22产生矩阵A,如图8所示,该矩阵具有特征向量CCV1、CCV2和CCV3作为在水平方向排列的其列单元。匹配部件22还处理图7所示的、作为矩阵B的特征向量CCVn。然后,匹配部件22在矩阵相乘处理中将矩阵B从右侧乘以矩阵A的转置矩阵At以产生如图9所示的乘积At×B。如图9所示,矩阵相乘处理的结果At×B是由等于矩阵相乘处理的内积的单元所构成的矩阵。如上所述,所述内积每个都表示相似度。
因此,匹配部件22将图9所示的矩阵提供给辅助内容推荐部件23。
然后,在下一步骤S24,辅助内容推荐部件23分析组成图9所示矩阵At×B的每个单元以确定用于用户使用的辅助内容的候选。如上所述,用于用户使用的辅助内容的候选被称为推荐的辅助内容。
假设例如所述门限值是5。在这种情况下,从相关信息存储部件2中获取用于主要内容Doc1的相关信息CI1,这是因此所述相关信息CI1包括具有超出门限值5的相似度为6的特征向量CCV1,该相似度作为与特征向量CCVn的相似度。由于相关信息CI1包括为BGM辅助内容给定的‘歌曲A(民间音乐)’的名字,因此将该BGM辅助内容作为用于用户使用的辅助内容的候选。如上所述,用于用户使用的辅助内容的候选被称为推荐的辅助内容。
假设例如已经接通了图3所述的开关24。在这种情况下,如上所述,当用户正在浏览(或使用)所述主要内容TargetDoc或者在用户浏览(或使用)该主要内容TargetDoc之前或之后,从辅助内容存储部件3获取命名为‘歌曲A(民间音乐)’的BGM辅助内容,并从辅助内容输出部件25输出该内容作为用户使用的辅助内容。
另外,例如即使当已经断开开关24时,当该用户正在浏览(或使用)所述主要内容TargetDoc或者在用户浏览(或使用)该主要内容TargetDoc之前或之后,也通过辅助内容信息显示部件26给该用户显示‘歌曲A(民间音乐)’的名字。
值得注意的是,当开关24接通时,能够通过辅助内容信息显示部件26将‘歌曲A(民间音乐)’的名字显示给所述用户,同时从辅助内容输出部件25输出命名为‘歌曲A(民间音乐)’的BGM辅助内容。也就是说,当从辅助内容输出部件25输出命名为‘歌曲A(民间音乐)’的BGM辅助内容的同时,能够通过辅助内容信息显示部件26给用户显示‘歌曲A(民间音乐)’的名字。
另外,在上述的实例中,所述邮件内容是邮件文本或句子。但是,如上所说明的,该主要内容决不局限于邮件文本。例如,该主要内容还能够是通过网络诸如因特网等方式由服务器所提供的主页。这种主页也被称为所谓的网页。
在以上内容中,除了根据图4所示流程图的、用于产生相关信息的处理中所产生的相关信息以外,还能够由用户通过操作操作部件8直接地输入相关信息,并将该相关信息存储在相关信息存储部件2中。
另外,根据图6所示流程图的、用于确定用户使用的辅助内容的处理还能够被用作以下处理的部分处理。
在通过使用图1所示的信息处理设备操作文本的处理中,即,在将所述信息处理设备用作文本处理器的处理中,例如,用户正在处理的文本被作为主要内容处理,并且使用所述信息处理设备以根据图6所述流程图的、用于执行确定用户使用的辅助内容的处理。
在这种情况下,所述信息处理设备分析正在处理的文本并产生该文本的特征信息。然后,该信息处理设备能够选择过去使用的句子,作为具有与所产生的特征信息的最大相似度的句子。利用这种选择的句子,该信息处理设备能够自动地再现与该句子相关联的一段音乐或者图像。
因此,如果用户聆听一段命名为标题A的摇滚音乐,同时还使用信息处理设备创建其自己的主页,即,如果用户将该首命名为标题A的摇滚音乐用作辅助内容,同时使用该网页作为主要内容,则该信息处理设备能够在下次执行的创建主页的处理中自动地再现与标题A相同或相似的一首音乐。
值得注意的是,自动地再现辅助内容的处理不是用户通过操作操作部件8输入的命令所请求的处理,该命令作为开始处理的命令,而所执行的处理作为通过信息处理设备本身确定的结果。
另外,当自动地再现辅助内容或者不自动再现任何辅助内容时,所述信息处理设备还能够给该用户显示候选音乐段的列表。典型地,所述候选音乐段以相似度递减的顺序排列在该列表上。因此,该用户能够从该列表中选择用户使用的辅助内容或者将用户使用的辅助内容改变成该列表上的一个内容。
顺便提及,如上所述,有关用户上下文的信息能够包括在所述相关信息中。因此,该信息处理设备能够执行以下的处理。
信息处理设备获取有关用户上下文的信息,该信息在用户使用已经使用的主要内容和同时使用已经使用的辅助内容的时间点上存在。例如,如上所述,信息处理设备获取与从传感器7接收的、作为有关检测信息的信息息、和/或从操作部件8接收的作为有关操作信息的信息相关联的上下文信息。通过从操作部件8接收的信息所指示的操作是用户意图选择的操作。该操作的实例是挥动、振动和爱抚。
然后,信息处理设备产生将与上下文相关的信息、作为已经使用的主要内容而处理的句子的特征以及表示已经使用的辅助内容的信息相互关联的相关信息,并将该相关信息存储在相关信息存储部件2中。对于被处理作为已经使用的主要内容处理的句子,所述特征是单词的每一个加权。
因此,通过执行类似于根据图6所示流程图的、用于确定用户使用的辅助内容的处理,即使该用户例如由于不存在任何用户使用的主要内容而不执行任何操作,该信息处理设备也能够找到提前存储在相关信息存储部件2中的上下文信息条和从用户的某些情感获取的上下文信息之间的相似度,并选择包括所存储的上下文信息的相关信息,该信息具有与从情感获取的上下文信息的最大相似度,以及再现包括在所选相关信息和存储的上下文信息中的信息所指示的辅助内容。从用户的某些情感所获取的上下文信息是有关情感的信息,这些情感是由用户此时所展现的。
另一方面,如果由于存在用户使用的主要内容,用户执行操作,则所述信息处理设备能够考虑到下列上下文而推荐辅助内容,在该上下文中例如如图10到14所示该用户存在。
假设例如图10所示的相关信息条CI4、CI5和CI6已经存储在相关信息存储部件2中。
在这种情况下,如图10所示,包括在相关信息CI4中的特征向量CCV4,包括在相关信息CI5中的特征向量CCV5和包括在相关信息CI6中的特征向量CCV6每个都是具有标准格式的向量,该标准格式包括分量:邮寄者、编辑器、浏览器、检查、编辑、创建、旅游、目的地、温泉、会议、日程表、联系人、地图、音乐、探戈、国家、公司、家庭和户外,尽管该标准格式不同于图5所示的标准格式。
标准格式的所述分量邮寄者、编辑器、浏览器都是指示应用程序软件的分量,当用户使用已经使用的主要内容诸如在图10所示实例的情况下的Doc4、Doc5或Doc6时,使用(即以下将要描述的检查、编辑或创建)或者可能使用所述应用程序软件。该应用软件在下文中也被简单称为应用程序。用户实际上使用的用于应用程序的应用程序分量具有值1。另一方面,用户实际上不使用的用于应用程序的应用程序分量具有值0。
例如,在特征向量CCV4的情况下,所述分量邮寄者、编辑器和浏览器分别具有值1、0和0。分配给邮寄者分量的值1指示该用户在使用主要内容Doc4中已经使用了命名为邮寄者的应用程序。
处于同样的原因,在特征向量CCV6的情况下,所述分量邮寄者、编辑器和浏览器也分别具有值1、0和0。分配给邮寄者分量的值1指示该用户在使用主要内容Doc6中已经使用了命名为邮寄者的应用程序。
另一方面,在特征向量CCV5的情况下,所述分量邮寄者、编辑器和浏览器分别具有值0、1和0。分配给编辑器分量的值1指示该用户在使用主要内容Doc5中已经使用了命名为编辑器的应用程序。
标准格式的分量检查、编辑和创建是每个都是展示用户所采用的使用已经使用的主要内容诸如在图10所示实例的情况下的Doc4、Doc5或Doc6的方法,或者用户所采用的对操作部件8执行操作或者用于该操作的可能候选的分量。在以下描述中,用于所述操作的可能候选被简单称为操作。展现用户实际上所执行操作的方法的分量具有值1。另一方面,展现用户实际上不执行操作的方法的分量具有值0。
例如,在特征向量CCV4的情况下,分量检查、编辑和创建的值分别是1、0和0。分配给检查分量的值1指示该用户检查作为主要内容的Doc4。
在特征向量CCV5的情况下,分量检查、编辑和创建的值分别是0、1、1。分配给编辑和创建分量的值1指示该用户编辑和创建作为主要内容的Doc5。
例如,在特征向量CCV6的情况下,分量检查、编辑和创建的值分别是0、1和0。分配给编辑分量的值1指示该用户编辑作为主要内容的Doc6。
非常类似于上面通过参考图5说明的特征向量CCV1、CCV2和CCV3,标准格式的分量旅游、目的地、温泉、会议、日程表、联系人、地图、音乐、探戈和国家每一个都具有等于表示频率的加权的值,其中表示已经使用的主要内容的主要内容元信息的分量以该频率出现在已经使用的主要内容中。
标准格式的分量公司、家庭和户外每个展现了用户使用已经使用的主要内容的位置,该主要内容是图10中所示实例的Doc4、Doc5或Doc6,或者用于该位置的可能候选。用于该位置的可能候选以下简称为位置。如果用户使用已经使用的主要内容,那么对应于用户实际上存在的位置的分量具有值1,而对应于用户实际上不存在的位置的分量具有值0。
例如,在特征分量CCV4的情况下,分量公司、家庭和户外分别具有值0、1和0。分配给家庭分量的值1指示该用户在家使用作为主要内容的Doc4。
处于同样的原因,在特征向量CCV6的情况下,分量公司、家庭和户外分别具有值0、1和0。分配给家庭分量的值1指示该用户在家使用作为主要内容的Doc6。
另一方面,在特征向量CCV5的情况下,分量公司、家庭和户外分别具有值1、0和0。分配给公司分量的值1指示该用户在公司使用作为主要内容的Doc5。
顺便提及,实际上,在某些情况下上述的应用程序和操作都是通过与上下文信息明显区分而被使用的。但是,在本说明书中,该应用程序和操作作为一种类似于所述位置的上下文信息来处理,以使说明简单。也就是说,在本说明书的以下描述中,假设图1所示的历史处理部件1、或者更具体的图2所示的上下文信息获取部件13和图1所示的用户使用的辅助内容确定部件6、或者更具体的图3所示的上下文信息获取部件27获取所述应用程序、操作和位置作为一条上下文信息。
在这种情况下,在用于每个主要内容Doc4、Doc5和Doc6的图4所示流程图的步骤S2执行的处理中,图2所示的相关信息发生部件12能够通过从上下文信息获取部件13获取有关应用程序、操作和位置的信息条,来产生具有包括上下文信息的分量的特征向量。具体而言,例如,相关信息发生部件12能够产生上面通过参考图10说明的标准格式的向量CCV4、CCV5和CCV6。
值得注意的是,在图10所示的实例中,特征向量CCV4具有值(1、0、0、1、0、0、1、2、1、0、2、0、2、0、0、0、0、1、0),特征向量CCV5具有值(0、1、0、0、1、1、0、1、0、1、2、0、1、0、0、0、1、0、0)以及特征向量CCV6具有值(1、0、0、0、1、0、0、0、0、0、0、0、0、1、1、0、0、1、0)。
然后,如图10所示,在步骤S3执行的用于每个主要内容Doc4、Doc5和Doc6的处理中,相关信息发生部件12产生包括特征向量CCV4和‘歌曲D’的相关信息CI4、包括特征向量CCV5和‘无’的相关信息CI5、以及包括特征向量CCV6和‘歌曲E’的相关信息CI6。‘歌曲D’指示已经使用的辅助内容是一段标题是‘歌曲D’的音乐。‘无’指示该用户没有使用或者聆听已经使用的辅助内容。‘歌曲E’指示已经使用的辅助内容是一段标题是‘歌曲E’的音乐。
之后,让我们假设该用户正在使用或者打算使用名为TargetDoc’的新的主要内容。也就是说,用户使用的主要内容具有标题TargetDoc’。
在这种情况下,在图6所示流程图的步骤S22所执行的处理中,匹配处理部件22从上下文信息获取部件13获取用于用户对用户使用的主要内容的使用的应用程序、操作和位置,除了用户使用的主要内容的元信息以外,并产生具有上面参考图10说明的标准格式的特征向量。特征向量的分量包括表示所述应用程序、操作和位置的上下文信息。匹配处理部件22所产生的典型特征向量是具有如图11所示值(0、1、0、0、1、1、1、1、0、0、1、0、0、0、1、0、0)的向量CCVn’。
由于图10所示的相关信息条CI4、CI5和CI6已经保存(或存储)在相关信息存储部件2中,在步骤S23所执行的处理中,匹配处理部件22找到图11所示特征向量CCVn’和包括在相关信息CI4中的特征向量CCV4,包括在相关信息CI5中的特征向量CCV5和包括在相关信息CI6中的特征向量CCV6的内积,以便确定向量CCVn′和向量CCV4、CCV5以及CCV6之间的相似度。
具体而言,假设例如匹配处理部件22产生如图12所示的、具有特征向量CCV4、CCV5以及CCV6作为在水平方向中排列的列单元的矩阵C。匹配处理部件22还处理如图11所示的作为矩阵D的特征向量CCVn。然后,匹配处理部件22在矩阵相乘处理中将矩阵D从右侧乘以矩阵C的转置矩阵CT以产生图13所示的矩阵乘积CT×D。如图13所示,矩阵相乘处理的结果CT×D是由等于矩阵相乘处理的各个内积所构成的矩阵。如上所述,每个内积都表示相似度。
顺便提及,匹配部件22还能够找到不包括表示应用程序、操作和位置的上下文信息的特征向量的内积,如图5和7分别示出的特征向量CCV1和CCVn’的情况。也就是说,匹配处理部件22还能够通过排除包括在特征向量CCVn’、CCV4、CCV5和CCV6中的上下文信息条,找到图11所示特征向量CCVn和包括在相关信息CI4中的特征向量CCV4,包括在相关信息CI5中的特征向量CCV5和包括在相关信息中的特征向量CCV6的内积,以便确定向量CCVn’和向量CCV4、CCV5以及CCV6之间的相似度。
在这种情况下,匹配处理部件22通过设置用于上下文信息条的每个分量产生矩阵C’,该上下文信息表示如图12所示的矩阵C的应用程序、操作和位置为0。处于同样的原因,匹配处理部件22还通过设置用于上下文信息条的每个分量产生矩阵D’,该上下文信息表示如图11所示的矩阵C的应用程序、操作和位置为0。然后,匹配处理部件22在矩阵相乘处理中将矩阵D’从右侧乘以矩阵C的转置矩阵C’T以产生如图14所示的矩阵乘积C’T×D’。如图14所示,矩阵相乘处理的结果C’T×D’是由等于矩阵相乘处理的各个内积的单元所构成的矩阵。如上所述,每个内积都表示相似度。
然后,在步骤S24所执行的处理中,图3所示的辅助内容推荐部件23确定推荐的辅助内容,该内容用作用于用户使用的辅助内容的候选。
例如,辅助内容推荐部件23将与主要内容Doc4到Doc6当中具有最大相似度的主要内容相关联的辅助内容作为所述推荐的辅助内容,该推荐的辅助内容作为用于用户使用的辅助内容的候选。
在这种情况下,如果不考虑表示应用程序、操作和位置的上下文信息而给出如图14所示的矩阵相乘结果,那么确定用户使用的主要内容TargetDoc’具有与已经使用的主要内容Doc4的最大相似度。因此,将命名为歌曲D以及与已经使用的主要内容Doc4相关联的辅助内容取为所述推荐的辅助内容,该内容用作用户使用的辅助内容的候选。名字歌曲D包括在图10所示的相关信息CI4中。
因此,如上所述,通过接通开关24,当该用户正在使用(或者根据图11编辑和创建)主要内容TargetDoc’或者在用户使用(或者根据图11编辑和创建)主要内容TargetDoc’之前或之后,从辅助内容存储部件3获取并从辅助内容输出部件25输出名为‘歌曲D’的BGM辅助内容作为用户使用的辅助内容。
另一方面,如果考虑表示应用、操作和位置的上下文信息来给出图13所示的矩阵相乘结果,确定用户使用的主要内容TargetDoc’与已经使用的主要内容Doc5具有最大的相似度。因此,由于‘无’包括在相关信息CI5中,从而不将任可辅助内容作为推荐的辅助内容,而是应该用作用于用户使用的辅助内容的候选。
所以,如上所述,即使接通开关24,当该用户正在使用(或者根据图11编辑和创建)主要内容TargetDoc’或者在用户使用(或者根据图11编辑和创建)主要内容TargetDoc’之前或之后,也不从辅助内容输出部件25输出任何辅助内容作为用户使用的辅助内容。
如上所述,如果在用户的相关信息(或历史信息)条CI4、CI5和CI6中考虑表示应用、操作和位置的上下文信息的历史,则上下文信息的历史指示用户在公司使用编辑器来编辑和创建图10所示的主要内容Doc5。在这种情况下,所述信息处理设备推断用户想要集中注意力到该工作上,并显示该用户不想再现任何BGM辅助内容的趋向。
结果,该信息处理设备能够显示反映如上所述获得的用户趋向的推荐结果。也就是说,在这种情况下,假设用户在公司中使用编辑器编辑和创建用户使用主要内容的同时,将使用上下文中用户使用的主要内容TargetDoc’。因此,作为反映如上所述获得的用户趋向的推荐结果,该信息处理设备确定不存在或者不输出任何用作用户使用辅助内容候选的推荐辅助内容。
接下来,通过参考图15所示的流程图,说明产生作为历史信息的辅助内容特征信息的第一处理。辅助内容特征信息是有关辅助内容的特征的信息。产生作为历史信息的辅助内容特征信息的第一处理在后面被称为辅助内容特征信息发生处理。因此,图15示出了表示不同于典型的第一处理的其他典型第一处理(即,辅助内容特征信息发生处理)的流程图,该典型第一处理由图4所示的流程图表示作为产生相关信息的处理。
图15所示的流程图从步骤S31开始,在该步骤图1所示的辅助内容元信息获取部件5获取辅助分量元信息,该辅助分量信息是已经使用的辅助内容的元信息。
然后,在步骤S32,辅助内容元信息获取部件5根据该获取的元信息,产生已经使用的辅助内容的特征信息作为指示捕助内容的特征的信息。指示辅助内容的特征的该信息还被称为辅助内容特征信息。
当没有特别地规定辅助内容特征信息的格式时,可将辅助内容特征信息典型地实现为具有非常类似于主要内容特征信息的预定标准格式的特征向量。但是,值得注意的是,在图中未示出实现辅助内容特征信息的特征向量。
然后,在下一步骤S33,辅助内容元信息获取部件5在辅助内容元信息存储部件4中存储在步骤S32执行处理中产生的作为辅助内容的特征信息的辅助内容特征信息。
最后,结束执行通过图15所示流程图表示的辅助内容特征信息发生处理。
每当该用户使用辅助内容时,执行图15所示流程图表示的辅助内容特征信息发生处理,以在辅助内容元信息存储部件4中存储为辅助内容产生的辅助内容特征信息作为该用户的历史信息。
通过参考图16所示的流程图,以下描述说明了典型的用户使用的辅助内容确定处理(它是不同于所述流程图表示的典型第二处理的其他的典型第二处理)。
然后,在下一步骤S42,匹配处理部件22根据获取的用户使用的主要内容的元信息来产生表示用户使用的主要内容的特征的特征信息。
值得注意的是,在步骤S41和S42所执行的处理基本上分别与在图6所示流程图的步骤S21和S22所执行的处理相同。但是,在步骤S41和S42所执行处理的情况下,表示用户使用的主要内容的特征的特征信息的格式需要与辅助内容特征信息的格式相兼容。
接着,在下一步骤S43,匹配处理部件22找到在步骤S42产生的作为用户使用的主要内容的特征信息的特征信息和提前保存(或存储)在辅助内容元信息存储部件4中的每条辅助内容特征信息之间的相似度。接下来,匹配处理部件22将获得的作为该处理结果的相似度提供给辅助内容推荐部件23。
值得注意的是,没有特别地描述找到相似度的方法。例如,有可能采用一种方法,凭借该方法,比较包括在用户使用的主要内容的特征信息中的单词与包括在任何辅助内容特征信息中的单词,以及如果前者与后者相同或者相似,则确定辅助内容的特征信息类似于用户使用的主要内容的特征。另外,相同和/或相似的单词越多,则相似度也就越高。
如果使用具有标准格式的特征向量被用作特征信息,非常类似于到目前为止所描述的实例,匹配处理部件22一般采用一种处理方法,凭借该处理方法,找到用户使用的主要内容的标准格式特征向量和表示每条辅助内容特征信息的标准格式特征向量的内积,该辅助内容特征信息提前保存(或者存储)在辅助内容元信息存储部件4中。接下来,匹配处理部件22将该处理产生的每个内积提供给辅助内容推荐部件23作为相似度。如上所述,在这种情况下,相同和/或相似的单词越多,则相似度也就越高。
然后,在下一步骤S44,辅助内容推荐部件23将带有具有超出预定门限值相似度的辅助内容特征信息的辅助内容作为推荐的辅助内容,该推荐的辅助内容用作用于用户使用的辅助内容的候选。在特征向量用作特征信息的情况下,辅助内容推荐部件23从辅助内容元信息存储部件4获取具有超出预定门限值的所计算内积的特征向量,并将对应于所获取特征向量(或者由其识别)的辅助内容作为推荐的辅助内容。
最后,结束图16所示流程图表示的用户使用的辅助内容确定处理,其作为确定对应于图15所示流程图表示的辅助内容特征信息发生处理中产生的特征信息的辅助内容的处理。
以下描述说明了图15所示流程图表示的辅助内容特征信息发生处理,以及图16所示流程图表示的用户使用的辅助内容确定处理的实例。
例如,通过执行图15所示流程图表示的辅助内容特征信息发生处理,该信息处理设备能够使数据库保存作为辅助内容特征信息的各种类型音乐的元数据,或者一组辅助内容元信息条。与一段音乐相关联的元信息包括该段音乐的标题、艺术家和专辑名。用于保存各种类型音乐的元信息的数据库在后面被称为音乐DB。
该音乐DB被存储在用户所拥有的信息处理设备中应用的辅助内容元信息存储部件4中。但是,值得注意的是,该音乐DB并不是必须被存储在辅助内容元信息存储部件4中。也就是说,多种多样的配置是有可能的。例如,音乐DB能够被存储在与网络连接的音乐服务器上,该服务器为拥有信息处理设备的用户及拥有其他设备的其他用户所共享的服务器。
让我们假设例如该用户使用由用户本身所管理的作为用户使用的主要内容的主页。更具体而言,例如,该用户输入一个文本到主页中以更新该主页。
在这种情况下,信息处理设备能够执行以下处理,该处理作为图16所示流程图表示的用户使用的辅助内容确定处理。
在步骤S41和S42执行的处理中,该信息处理设备分析用户正在更新主页上出现的单词以产生特征信息。在步骤S43和S44执行的处理中,该信息处理设备搜索音乐DB以查找与特征信息的单词相同或相似的单词的元信息,并确定搜索操作中找到的元信息所识别的一段音乐为推荐的辅助内容,该内容用作用户使用的辅助内容的候选。
如上所述,值得注意的是,该信息处理设备可以简单地选择具有在主页上出现频率高的单词,或可替换地,选择在主页的标题或者包括该主页的文件上出现的单词作为特征信息的单词。作为另一种替换,该信息处理设备可以通过采用tfidf方法来计算加权。
通过参考图4到16,到目前为止所给出的描述已经说明了产生相关信息或者辅助内容特征信息的第一处理,和确定用户使用的辅助内容的第二处理的多种实例。
顺便提及,如上所述,图1所示的相关信息更新部件9能够更新存储在相关信息存储部件2中的相关信息。
分别通过参考图17和18所示的流程图说明更新相关信息的相关信息更新部件9所执行处理的两个实例。该处理被称为相关信息更新处理。
图17所示的流程图表示相关信息更新处理,执行该处理以更新已经产生的存储在相关信息存储部件2中的相关信息,以便当信息处理设备接收一段新音乐或者新图像的数据作为辅助内容的候选时,即,当该信息处理设备接收新的未使用辅助内容时,包括表示新的未使用辅助内容的信息。
值得注意的是,在图17所示流程图表示的相关信息更新处理中,假设用于新的未使用辅助内容的辅助内容特征信息已经被存储在辅助内容元信息存储部件4中。而且,还值得注意的是,该信息处理设备通过执行图15所示流程图表示的辅助内容特征信息发生处理能够为新的未使用辅助内容产生辅助内容特征信息,并将产生的辅助内容特征信息存储在辅助内容元信息存储部件4中。
假设用于新的未使用辅助内容的辅助内容特征信息已经被存储在辅助内容元信息存储部件4中,在图17所示流程图的第一步骤S51,相关信息更新部件9找到辅助内容元信息存储部件4中存储的作为用于新的未使用辅助内容的辅助内容特征信息的辅助内容特征信息,和也提前保存在辅助内容元信息存储部件4中的每条辅助内容特征信息之间的相似度。
然后,在下一步骤S52,相关信息更新部件9搜索提前保存(或存储)在相关信息存储部件2中的多条相关信息,以查找包括表示辅助内容的信息的相关信息,该辅助内容对应于在步骤S51所执行处理中确定的、与用于新的未使用辅助内容的辅助内容特征信息具有最大相似度的辅助内容特征信息,并获取在搜索中找到的该相关信息。
接下来,在下一步骤S53,相关信息更新部件9新产生将包括在步骤S52执行的处理中获取的相关信息中的主要内容特征信息与表示新的未使用辅助内容的信息相关联的信息,作为有关对应于主要内容特征信息的主要内容和新的未使用辅助内容之间相关性的信息以更新步骤S52所执行处理中获取的相关信息。然后,相关信息更新部件9在相关信息存储部件2中存储更新的相关信息。将上述两种信息关联的信息包括两种信息。
最后,结束执行通过图17所示流程图表示的相关信息更新处理。
值得注意的是,在相关信息存储部件2中存储在步骤S53所执行处理中新产生的相关信息的处理中,可以删除在步骤S52所执行处理中获取的原相关信息,并由新产生的相关信息重写。也就是说,利用新产生的相关信息来更新原相关信息。作为一种替换,原样保持原相关信息,并将新产生的相关信息存储在新的区域中。也就是说,将新产生的相关信息添加到原相关信息中。
通过在已经执行图17所示流程图表示的相关信息更新处理之后,执行图6所示流程图表示的用户使用的辅助内容确定处理,如果必要,则该信息处理设备能够自动地再现新接收的一段音乐或者新接收的图像。这是因为该信息处理设备能够使用新接收的该音乐段或者新接收的图像的元信息,以将新接收的该音乐段或者新接收的该图像与用户执行的当前操作、或者以与过去的主要内容关联的辅助内容相同的方式由用户使用的主要内容进行关联。另外,即使新接收的该音乐段或者新接收的图像不具有附加到其上的元信息,那么该信息处理设备也能够分析新接收的该音乐段或者新接收的图像的特征,并将分析的结果存储在辅助内容元信息存储部件4中作为元信息。因此,该信息处理设备能够将新接收的该首音乐或者新接收的图像与用户执行的当前操作或者简单地与用户使用的主要内容进行关联。一段音乐或者一幅图像的特征包括拍子、节奏、乐器和歌剧。
对于图17所示流程图表示的相关信息更新处理,根据图18所示流程图的更新相关信息的处理是学习历史的处理,该历史表示用户对操作部件8所执行的操作和用户使用的辅助内容之间的相关性。
图18所示的流程图从步骤S61开始,在该步骤相关信息更新部件9确定是否已经从用户使用的辅助内容确定部件6输出了用户使用的辅助内容。
如果步骤S61所执行处理中产生的确定结果指示已经从用户使用的辅助内容确定部件6输出了用户使用的辅助内容,则再次执行步骤S61的处理以确定是否已经从用户使用的辅助内容确定部件6输出了用户使用的辅助内容。相关信息更新部件9重复执行步骤S61的处理,以便监视用户使用的辅助内容确定部件6的状态,以便一直输出用户使用的辅助内容,直到从用户使用的辅助内容确定部件6输出用户使用的辅助内容。
当输出用户使用的辅助内容时,即,当相关信息更新部件9在步骤S61执行的处理中确定已经从用户使用的辅助内容确定部件6输出了用户使用的辅助内容,处理的流程继续到步骤S62,在该步骤相关信息更新部件9确定在输出用户使用的辅助内容时的同时是否完成了用户操作。
也就是说,如果辅助内容推荐部件23所建议的推荐辅助内容已经被输出作为用户使用的辅助内容,但是该用户不喜欢该推荐的辅助内容,则允许用户操作操作部件8以便一般通过断开开关24来停止输出推荐辅助内容的处理,或者操作操作部件8以便一般通过输入其他辅助内容的名字到辅助内容输出部件25中,来将该用户使用的辅助内容改变成另一个辅助内容。如果该用户已经对操作部件8执行了这样的操作,以致于已将操作信号提供给相关信息更新部件9,则在步骤S62所执行处理中产生的确定结果指示当用户使用辅助内容时完成了用户操作。
最后,结束通过图18所示流程图表示的相关信息更新处理的执行。
另一方面,如果在步骤S62所执行处理中产生的确定结果指示当正在输出用户使用的辅助内容时没有进行任何用户操作,即,原样输出推荐的辅助内容,则结束图18所示流程图表示的相关信息更新处理的执行,而无需执行步骤S63的处理。这是因为该推荐的辅助内容被认为满足该用户或者所述推荐给出了满意的结果。
通过执行图18所示流程图表示的相关信息更新处理,图1所示的信息处理设备能够展现以下的两个效果。
所表现出的第一效果是这样的效果,即如果用户形成确定自动再现的推荐的辅助内容或者列表上的推荐辅助内容不恰当的判断,则允许该用户操作操作部件8来选择另一辅助内容。在这种情况下,该信息处理设备根据用户所执行的操作而执行学习处理,新近将所指定的辅助内容与用户使用的主要内容进行关联,并在下次执行的相关信息更新处理中反映所指定的辅助内容。如上所述,该辅助内容的实例是一段音乐和一幅图像。
所表现出的第二效果是这样的效果,即如果用户操作操作部件8以将用户使用的辅助内容作为BGM/BGV辅助内容输出,那么该信息处理设备学习用户使用的主要内容诸如文本等的特征,从而在下次,该信息处理设备能够自动地确定具有类似于已学习特征的特征的主要内容诸如文本等是主要内容,而不需要自动地再现任何辅助内容。
到目前为止,已经将图1所示的信息处理设备作为一种根据本发明实施例的典型信息处理设备进行了说明。毫无疑问,本发明能够具有除了图1所示的信息处理设备以外的多种实施例。
具体而言,本发明能够应用于例如如图19所示的用于发送和接收内容的设备。用于发送和接收内容的设备在后面称为内容发送/接收设备。图19是示出根据本发明实施例的信息处理设备的另一种典型结构的图。换言之,图19是示出根据本发明实施例的信息处理系统的典型结构的图。
如图19所示,该信息处理设备可以包括任意数量的内容发送/接收设备,只要内容发送/接收设备的数量大于2。图19所示的信息处理系统包括内容发送/接收设备101A和内容发送/接收设备101B,这些设备通过网络102相互连接。
网络102一般是用于有线通信的局域网(LAN)、用于无线通信的LAN或者诸如因特网的广域网(WAN)。用于有线通信的LAN和用于无线通信的LAN在后面分别被称为有线LAN和无线LAN。
值得注意的是,在该信息处理系统中,网络102不是强制性的结构单元。也就是说,内容发送/接收设备101A和内容发送/接收设备101B还可以直接相互通信而不需要网络102。
图20是示出构成图19所示信息处理系统的内容发送/接收设备101A和内容发送/接收设备101B的典型功能结构的图。
值得注意的是,在以下描述中,在不需要彼此区分设备的情况下,内容发送/接收设备101A和101B都被称为内容发送/接收设备101,这是用于内容发送/接收设备101A和101B的总称。
如图20所示,内容发送/接收设备101包括范围从主要内容发生部件111到开关122的结构部件。但是,能够将传感器114和操作部件113实现为内容发送/接收设备101的内部结构部件或者内容发送/接收设备101的外部部件。
另外,不特别地描述范围从主要内容发生部件111到开关122的部件结构。例如,范围从主要内容发生部件111到开关122的部件可通过软件、硬件及其软件和硬件的组合而实现。
主要内容发生部件111是根据用户对操作部件113执行的操作产生主要内容,并用于向数据多路复用部件(或加法器)121提供该产生的主要内容的部件。
如上所述,每个内容可用作主要内容。但是,为了使说明简单,以下描述中阐述的主要内容是邮件文本或者文本数据。
另外,每个内容能够用作辅助内容。但是,为了使说明简单,以下描述中阐述的辅助内容是一段音乐或者音频数据。
主要内容发送部件112是用于通过网络102的方式将从主要内容发生部件111接收的主要内容通过数据多路复用部件121发送给另一个内容发送/接收设备的部件。具体而言,图19所示内容发送/接收设备101A中应用的主要内容发送部件112是用于通过网络102将主要内容发送给内容发送/接收设备101B的部件。另一方面,图19所示内容发送/接收设备101B中应用的主要内容发送部件112是通过网络102将主要内容发送给内容发送/接收设备101A的部件。
范围从操作部件113到上下文信息获取部件115的部件具有基本上分别与如图3所示的操作部件8、传感器7和上下文信息获取部件27相同的结构和功能,从而在以下描述中不再说明这些部件。
历史处理部件116是用于在包括输出邮件文本时间点的时间区内产生历史信息,以及在相关信息存储部件117中存储该产生的历史信息的部件,所述历史信息至少包括与使用图20所示内容发送/接收设备101的用户有关的一条信息,其中所述邮件文本是已经使用的主要内容。
例如,在这种情况下,每当一对有关用户上下文的信息和已经使用的主要内容被提供给历史处理部件116时,历史处理部件116产生有关作为历史信息的已经使用的主要内容和用户的上下文之间的相关的信息,同时在相关信息存储部件117中存储该相关信息。所述已经使用的主要内容是从主要内容发生部件111接收的邮件文本。用户的上下文是在用户使用已经使用的主要内容时存在的上下文,或者具体而言,它是在用户执行输入该邮件文本的操作时存在的上下文。从上下文信息获取部件115接收有关该用户上下文的信息。
另外,作为另一个实例,每当将一对有关用户上下文的信息和已经使用的主要内容提供给历史处理部件116时,历史处理部件116则产生作为历史信息的有关已经使用的主要内容和用户的上下文之间的相关的信息,并将该相关信息存储在相关信息存储部件117中。已经使用的主要内容是从主要内容接收部件118接收的邮件文本。该用户的上下文是在用户使用已经使用的主要内容时存在的上下文,或者具体而言,它是在用户执行操作以检查该邮件文本时存在的上下文。从上下文信息获取部件115接收有关用户上下文的信息。
另外,作为再一个实例,每当将一对有关用户上下文的信息和已经使用的辅助内容提供给历史处理部件116时,历史处理部件116则产生作为历史信息的、有关已经使用的辅助内容和用户的上下文之间的相关的信息,并将该相关信息存储在相关信息存储部件117中。所述已经使用的辅助内容是从用户使用的辅助内容确定部件119所接收的一段音乐,尽管图20没有这样示出。该用户的上下文是在用户使用已经使用的辅助内容时存在的上下文,或者具体而言,它是在用户执行操作以聆听该段音乐时存在的上下文。从上下文信息获取部件115接收有关用户上下文的信息。
另外,在这种情况下,作为再一个实例,如果当正在使用已经使用的主要内容时,或者在使用已经使用的主要内容之前或之后,使用已经使用的辅助内容,具体而言,用户在执行操作以写入或读取作为主要内容被处理的邮件文本时,或者在该操作之前或之后,该用户聆听作为BGM辅助内容的一段音乐,历史处理部件116以与图1所示历史处理部件1相同的方式产生,作为历史信息的、有关已经使用的辅助内容和已经使用的主要内容之间的相关的信息,并将该相关信息存储在相关信息存储部件117中。
另外,作为再一个实例,历史处理部件116能够产生有关三方,已经使用的主要内容、已经使用的辅助内容和用户的上下文之间的相关的信息作为历史信息,并将该相关信息存储在相关信息存储部件117中。该用户的上下文是在用户使用已经使用的主要内容和已经使用的辅助内容时存在的上下文。
如上所述,作为历史信息,为了存储有关三方或至少三方中的两方,即已经使用的主要内容、已经使用的辅助内容和用户的上下文之间的相关的信息,使用相关信息存储部件117。
主要内容接收部件118是用于通过网络102的方式接收另一内容发送/接收设备所发送的主要内容的部件。通过接通开关122,主要内容接收部件118输出用户使用的主要内容。具体而言,图19所示的内容发送/接收设备101A中应用的主要内容接收部件118通过网络102的方式接收同一图中所示的内容发送/接收设备101B所发送的主要内容。另一方面,内容发送/接收设备101B中应用的主要内容接收部件118通过网络102的方式接收内容发送/接收设备101A所发送的主要内容。
用户使用的辅助内容确定部件119参照相关信息存储部件117中存储的相关信息以确定适于当前上下文中的用户的用户使用的辅助内容,从辅助内容存储部件120读取所确定的用户使用的辅助内容,并向外部目的地输出用户使用的辅助内容。所选的用户使用的辅助内容是根据用户的过去历史确定的适合于该用户的辅助内容。
因此,辅助内容存储部件120是用于存储一条或更多条辅助内容的存储器。
数据多路复用121是用于将从主要内容发生部件111接收的主要内容与从上下文信息获取部件115接收的上下文信息进行多路复用,并将多路复用的结果输出给主要内容发送部件112的部件。如上所述,该主要内容的实例是邮件文本。因此,主要内容发送部件112能够发送主要内容和添加到它的上下文信息。
开关122根据从操作部件113接收的命令将它的状态从开状态改变成关状态,反之亦然。也就是说,例如,当用户希望检查主要内容接收部件118所接收的作为主要内容的邮件文本时,该用户操作操作部件113以接通开关122。通过将开关122置于开状态时,主要内容接收部件118一般向显示单元输出邮件文本,例如图像。
通过参考图21和22,以下描述说明了用户使用的辅助内容确定部件119和用户使用的辅助内容确定部件119的详细的典型功能结构,其中这些部件应用于内容发送/接收设备101中。图21是示出历史处理部件116的典型功能结构的细节的图,而图22是示出用户使用的辅助内容确定部件119的典型功能结构的细节的图。以下描述以说明历史处理部件116开始。
如图21所示,历史处理部件116具有主要内容元信息获取部件131和相关信息发生部件132。
每当从主要内容发生部件111或者主要内容接收部件118接收已经使用的主要内容时,主要内容元信息获取部件131从已经使用的主要内容获取主要内容元信息,并提供该获取的主要内容元信息给相关信息发生部件132。
相关信息发生部件132从主要内容元信息获取部件131接收主要内容元信息,从上下文信息获取部件115获取上下文信息,以及已经使用的辅助内容。
因此,当参考该主要内容元信息、上下文信息和已经使用的辅助内容时,相关信息发生部件132正确地产生有关三方或者三方中任何两方之间的相关的信息,并将有关相关信息存储在相关信息存储部件117中。
接下来,通过参考图22说明用户使用的辅助内容确定部件119的典型功能结构。
值得注意的是,为了确定作为适合于用户上下文的辅助内容的一段音乐以及输出该辅助内容,或者具体而言自动地再现该段音乐,以提供图22所示的用户使用的辅助内容确定部件119,该用户上下文存在于被接收作为主要内容的邮件文本被显示给用户的时间点上,或者在该时间点之前或之后。为另一个目的设计的用户使用的辅助内容确定部件119具有在某种程度上不同于图22所示结构的结构。图32示出了以下将要描述的为另一个目的设计的用户使用的辅助内容确定部件119的实例。因此,如果有必要区分图22所示的用户使用的辅助内容确定部件119和具有为另一目的设计的功能结构的用户使用的辅助内容确定部件119,具有图22所示功能结构的用户使用的辅助内容确定部件119被称为用户使用的辅助内容确定部件119A。
如图22所示,用户使用的辅助内容确定部件119A包括范围从主要内容元信息获取部件141到相关联的辅助内容获取部件144的部件。
主要内容元信息获取部件141具有基本上与图21所示主要内容元信息获取部件131相同的结构和功能。但是,在图22所示的用户使用的辅助内容确定部件119A中,主要内容元信息获取部件141从主要内容接收部件118接收用户使用的主要内容而不是已经使用的主要内容。如上所述,用户使用的主要内容是用户正在检查或者从现在起由用户将要检查的邮件文本。因此,主要内容元信息获取部件141获取用于用户使用的主要内容的主要内容元信息,并将该主要内容元信息提供给匹配处理部件142。
匹配处理部件142计算从主要内容元信息获取部件141接收的作为用于用户使用的主要内容的主要内容元信息的主要内容元信息,和包括在存储在相关信息存储部件2的每条相关信息中的主要内容元信息之间的相似度,并将该计算的相似度提供给上下文推荐部件143。
根据从匹配处理部件142接收的相似度,上下文推荐部件143识别类似于所述用户使用的主要内容的已经使用的主要内容,并从相关信息存储部件2获取用于识别的已经使用的主要内容的相关信息。在这种情况下,该获取的相关信息典型为有关已经使用的主要内容和用户上下文之间的相关的信息。然后,上下文推荐部件143推断包括在获取的相关信息中的上下文信息所指示的上下文是这样的上下文,其中用户使用该用户使用的主要内容,并将该上下文信息提供给相关联的辅助内容获取部件144。
相关联的辅助内容获取部件144从相关信息存储部件117获取包括上下文推荐部件143所提供上下文信息的相关信息。但是,在这种情况下,获取的相关信息一般是关于已经使用的辅助内容和用户上下文之间的相关的信息。然后,上下文推荐部件143从辅助内容存储部件120获取包括在获取的相关信息中的信息所指示(或识别)的辅助内容,并将获取的辅助内容作为已经使用的辅助内容输出。
也就是说,在这种情况下,相关联的辅助内容获取部件144输出作为最适合于上下文推荐部件143所推断的上下文的辅助内容的一段音乐,其中在上下文中该用户使用接收的用户使用的主要内容,或者具体而言,该用户检查接收的邮件文本。
通过参考图20到22,上述描述已经说明了根据本发明的实施例用作另一个信息处理设备的内容发送/接收设备101的典型功能结构。具有这种功能结构的内容发送/接收设备101能够分别地执行几段处理,这些处理被分类为大的类别,即发送处理和接收处理。该发送处理是产生主要内容并发送该产生的主要内容给另一个内容发送/接收设备的处理。另一方面,该接收处理是从另一个内容发送/接收设备接收主要内容并输出该接收的主要内容的处理。
由上面通过参照附图20至22描述的内容发送/接收设备101执行的发送处理和接收处理的实例将在后面分别参照图23至29中所示的流程图来说明。该描述由解释发送处理的实例开始。
由图23中的流程图表示的发送处理从步骤S101开始,在步骤S101中,主要内容发生部件111产生在该情况下的为邮件文本的主要内容,并且通过数据复用部件121将所产生的邮件文本提供给主要内容发送部件112。应当注意,如上所述,如果数据复用部件121从上下文信息获取部件115接收到关于上下文的信息,则数据复用部件121将关于上下文的信息和主要内容复用,并且将复用的结果提供给主要内容发送部件112。
然后,在步骤S102,主要内容发送部件112通过网络102将在步骤S101执行的处理中,由主要内容发生部件111所产生的主要内容发送给另一内容发送/接收设备。
随后,在下一步骤S103,历史处理部件116执行相关信息生成处理以产生相关信息,作为在步骤S101和S102执行的发送处理的历史信息,并且将所生成的相关信息存储在相关信息存储部件117中。
图24的流程图示出了在步骤S103执行的相关信息发生处理的细节。通过参照图24中所示的流程图,下面描述如下说明了在步骤S103执行的相关信息发生处理的细节。
图24中所示的流程图从步骤S111开始,在步骤S111中,图21中示出的历史处理部件116中采用的主要内容元信息获取部件131获取已经使用的主要内容的元信息,并将所获取的元信息提供给相关信息发生部件132。在该示例中,已经使用的主要内容是由主要内容发生部件111产生的邮件文本。如上所述,已经使用的主要内容的元信息被称为主要内容元信息。
然后,在下一步骤S112,相关信息发生部件132根据该获取的元信息产生显示已经使用的主要内容的特征的特征信息。以下将描述该特征信息的实例。
接下来,在下一步骤S113,相关信息发生部件132从上下文信息获取部件115获取上下文信息,作为表示用户上下文的信息,该用户上下文存在于使用已经使用的主要内容的时间点。
然后,在下一步骤S114,相关信息发生部件132产生相关信息,该相关信息将在步骤S112执行处理中产生的作为已经使用的主要内容的特征信息的特征信息,和在步骤S113执行处理中获取的上下文信息进行关联,其中该相关信息作为有关已经使用的主要内容和用户上下文之间的相关的信息,该用户上下文存在于使用已经使用的主要内容的时间点。将主要内容的特征信息与上下文信息进行关联的信息包括主要内容的特征信息及上下文信息。
接下来,在下一步骤S115,相关信息发生部件132在相关信息存储部件117中存储在步骤S114所执行处理中产生的相关信息。
最后,结束执行通过图24所示流程图表示的相关信息发生处理。
为图23所示流程图表示的每个发送处理、以下通过参考图29所示的流程图描述的每个接收处理或者响应于用户执行的使用主要内容的操作而由通过内容发送/接收设备101执行的每个处理,执行图24所示流程图表示的相关信息发生处理。在图中未示出响应于用户执行的使用主要内容的操作而由内容发送/接收设备101所执行的处理。在图24所示流程图表示的处理中产生的相关信息是有关已经使用的主要内容和用于该主要内容的用户上下文之间相关的信息,并被存储在相关信息存储部件117中作为用户的历史信息。
具体而言,让我们假设例如内容发送/接收设备101如上所述执行图23所示流程图表示的发送处理三次。在这种处理的部分中,用户操作操作部件113以创建三个邮件文本,以及内容发送/接收设备101发送该邮件文本给另一个内容发送/接收设备。三个邮件文本在下面被称为邮件1、2和3。
另外,还让我门假设,当用户使用邮件1或者具体而言,当用户创建邮件1时,上下文信息获取部件115获得‘高兴’作为上下文信息,当用户使用邮件2或者具体而言,当用户创建邮件2时,上下文信息获取部件115获得‘紧张’作为上下文信息,以及用户使用邮件3或者具体而言,当用户创建邮件3时,上下文信息获取部件115获得‘怀旧’作为上下文信息。
在这种情况下,为每个邮件1、2和3单独执行一次图24所示流程图表示的相关信息发生处理以分别产生用于邮件1、2和3的三条相关信息,并将这三条相关信息存储在相关信息存储部件117中。
详细而言,在步骤S111为每个邮件1、2和3所执行的处理中,主要内容元信息获取部件131分别通过将邮件1、2和3分解成各个名词单词组(Ia)到(IIIa)以获取每个邮件1、2和3的元信息,每个单词组包括如下所示的一个或多个名词单词。主要内容元信息获取部件131分别获取名词单词组(Ia)到(IIIa)作为邮件1、2和3的元信息片,并将这些组提供给相关信息发生部件132。
名词单词组(Ia)到(IIIa)中的单词列表如下:
(Ia):旅游、日程表、旅游、目的地、地图、联系人、温泉、纪念品和温泉
(IIa):日程表、联系人、会议、备忘录、参会、备忘录和会议
(IIIa):目的地、地图、参会、音乐、民间音乐、民间音乐和音乐
在这种情况下,在步骤S112为每个邮件1、2和3所执行的处理中,首先,相关信息发生部件132产生特征向量CCV1a、CCV2a和CCV3a,每个向量具有类似于图25所示的标准格式,并分别作为用于邮件1、2和3的特征信息条。如图所示,标准格式的特征向量CCV1a、CCV2a和CCV3a每个具有由以下单词构成的向量分量:旅游、日程表、目的地、地图、联系人、温泉、会议、备忘录、参会、纪念品、音乐和民间音乐。在图25所示的实例中,非常类似于以前说明的实例,包括向量分量诸如名词单词旅游、日程表等等的主要内容元信息具有等于单词在与特征向量关联的邮件文本中出现的频率的值,其中所述向量分量构成具有标准格式的每个特征向量CCV1a、CCV2a和CCV3a。
因此,如图25所示,特征向量CCV1a具有典型值(2、1、1、1、1、2、0、0、0、2、0、0),特征向量CCV2a具有典型值(0、1、0、0、1、0、2、2、1、0、0、0)以及特征向量CCV3a具有典型值(0、0、1、1、0、0、0、0、1、0、2、2)。
非常类似于以前说明的实例,特征向量CCV1a、CCV2a和CCV3a能够分别用作邮件1、2和3的特征信息。
但是,在这种情况下,相关信息发生部件132只选择在构成每个特征向量CCV1a、CCV2a和CCV3a的向量分量当中具有至少为2的值的向量分量,即,相关信息发生部件132只选择用作构成每个特征向量CCV1a、CCV2a和CCV3a的向量分量的名词单词中出现频率至少为2的每个名词单词,并采取所选的名词单词作为每个特征向量CCV1a、CCV2a和CCV3a的特征信息。
例如,如图26所示,相关信息发生部件132产生包括用于邮件1的三个名词单词‘旅游’、‘温泉’和‘纪念品’的特征信息CCI1a,包括用于邮件2的两个名词单词‘会议’和‘备忘录’的特征信息CCI2a,以及包括用于邮件3的两个名词单词‘音乐’和‘民间音乐’的特征信息CCI3a。
然后,在步骤S113为每个邮件1、2和3执行的处理中,相关信息发生部件132分别从上下文信息获取部件115获取图25所示的单词高兴、紧张和怀旧。
在步骤S114为每个邮件1、2和3执行的处理中,如图26所示,相关信息发生部件132产生将单词高兴与特征信息CCI1a进行相关的相关信息CI1a,将单词紧张与特征信息CCI2a进行相关的相关信息CI2a,将单词怀旧与特征信息CCI3a进行相关的相关信息CI3a。
然后,在步骤S114对每个邮件1、2和3执行的相同处理中,相关信息发生部件132在相关信息存储部件117中存储所产生的信息条CI1a、CI2a和CI3a。
顺便提及,例如如上所述,让我们假设内容发送/接收设备101执行如上所述的通过图23所示流程图表示的发送处理三次以分别产生并发送邮件l、2和3,在已经发送邮件1、2和3的时间点,内容发送/接收设备101输出三段音乐,每段音乐分别具有每个作为辅助内容的标题音乐1、音乐2和音乐3。
在这种情况下,通过执行图24所示流程图表示的相关信息发生处理,内容发送/接收设备101能够产生有关已经使用的主要内容邮件1到3和在用户使用所述已经使用的主要内容的时间点存在的上下文之间相关的信息。另外,通过执行图27所示流程图表示的相关信息发生处理,内容发送/接收设备101能够产生有关具有标题音乐1、音乐2和音乐3的音乐段和在用户使用所述已经使用的辅助内容的时间点存在的上下文之间相关的信息,其中每首音乐用作已经使用的辅助内容。
也就是说,执行图23所示流程图中步骤S103的处理作为两段处理,即图24所示流程图表示的相关信息发生处理和图27所示流程图表示的相关信息发生处理。
接下来,如下说明图27所示流程图表示的相关信息发生处理。
如该图所示,所述流程图从步骤S121开始,在该步骤中,图21所示的相关信息发生部件132从上下文信息获取部件115获取表示在使用已经使用的辅助内容的时间点所存在的上下文的信息以作为用户的上下文。
然后,在下一步骤S122,相关信息发生部件132产生相关信息,该相关信息将表示辅助内容的信息与在步骤S121所执行处理中获取的上下文信息进行关联,作为有关该辅助内容和在使用该辅助内容的时间点存在的用户上下文之间相关的信息。将表示辅助内容的信息与上下文信息进行关联的信息包括表示辅助内容的信息和上下文信息。
接下来,在下一步骤S123,相关信息发生部件132在相关信息存储部件117中存储在步骤S122所执行处理中产生的相关信息。
最后,结束执行图27所示流程图表示的相关信息发生处理。
值得注意的是,在本实施例中,图27所示流程图表示的相关信息发生处理是在图23所示流程图的步骤S 103所执行处理的一部分。正如以下将要描述的,可以执行图27所示流程图表示的相关信息发生处理,作为在图29所示流程图的步骤S137所执行处理的一部分。也就是说,当即使主要内容没有被利用而使用辅助内容时,如果必要,则执行图27所示流程图表示的相关信息发生处理。
具体而言,在这种情况下,让我们假设例如,在步骤S121对标题为音乐1、音乐2和音乐3的每段音乐执行的处理中,相关信息发生部件132获取和在图24所示流程图的步骤S113执行处理中获取的信息相同的上下文信息条,即相关信息发生部件132分别为标题为音乐1、音乐2和音乐3的音乐段获取单词高兴、紧张和怀旧。
在步骤S122对标题为音乐1、音乐2和音乐3的每段音乐执行的处理中,如图28所示,相关信息发生部件132产生将单词高兴和标题为音乐1的音乐段进行相关的相关信息CI1b,将单词紧张和标题为音乐2的音乐段进行相关的相关信息CI2b,以及将单词怀旧和标题为音乐3的音乐段进行相关的相关信息CI3b。
然后,在步骤S123对标题为音乐1、音乐2和音乐3的每段音乐执行的处理中,相关信息发生部件132在相关信息存储部件117中存储每条相关信息CI1b、CI2b和CI3b。
因此,在本实施例的情况下,作为如上所述执行三次图23所示流程图表示的发送处理的结果,在相关信息存储部件117中存储图26所示的相关信息条CI1a、CI2a和CI3a以及图28所示的相关信息条CI1b、CI2b和CI3b。
上述描述已经说明了图20到22所示的、由内容发送/接收装置101所执行的发送处理的例子。
通过参考图29所示的流程图,以下描述说明了通过图20到22所示的内容发送/接收设备101执行的接收处理的实例。
如该图所示,所述流程图从步骤S131开始,在该步骤中图20所示的主要内容接收部件118通过网络102的方式接收另一个内容发送/接收设备发送的作为主要内容的邮件文本。
然后,在下一步骤S132,用户使用的辅助内容确定部件119确定是否内容发送/接收设备101的当前操作模式是辅助内容自动输出模式,该模式用于自动地输出辅助内容。在本实施例中,该辅助内容是如上所述的一段音乐。值得注意的是,自动输出辅助内容的操作与如上所述自动再现辅助内容的操作具有相同的概念。也就是说,自动再现辅助内容的操作只是自动输出辅助内容的操作的另一种技术术语。
如果在步骤S132所执行处理中产生的该确定结果指示内容发送/接收设备101的当前操作模式是辅助内容自动输出模式,处理流程继续到步骤S133。以下将会描述在步骤S133和接下来的步骤所执行的处理。
另一方面,如果在步骤S132所执行处理中产生的该确定结果指示内容发送/接收设备101的当前操作模式不是辅助内容自动输出模式,则处理的流程继续到步骤S135,在该步骤主要内容接收部件118确定是否该用户已经请求使用该主要内容,即是否该用户已经请求检查该邮件文本。
如果开关122是关状态,在步骤S135所执行处理中产生的该确定结果指示该用户没有请求使用该主要内容。在这种情况下,处理的流程回到步骤S135,在该步骤主要内容接收部件118再次确定是否用户已经请求使用该主要内容。在等待将要接通开关122状态中,重复地执行步骤S135的处理。
如果该用户想要删除作为主要内容处理的邮件文本而不检查该文本,那么用户操作操作部件113以向主要内容接收部件118输入一个删除命令。在这种情况下,结束步骤S135的等待循环处理以强制性地终止执行图29所示流程图表示的接收处理。值得注意的是,在图20中没有示出连接操作部件113和主要内容接收部件118的、作为表示删除命令的箭头的箭头。
另一方面,如果该用户想要检查作为主要内容处理的邮件文本,用户操作操作部件113以接通开关122。
当开关122接通时,在步骤S135由主要内容接收部件118所执行的处理中产生的确定结果指示该用户已经请求使用所述主要内容。在这种情况下,处理流程继续到输出该主要内容的步骤S136。也就是说,在步骤S136,一般在显示单元上将作为主要内容处理的邮件文本显示为一副图像。
然后,在下一步骤S137,历史处理部件116执行处理以产生相关信息和将该相关信息存储在相关信息存储部件117中作为有关该接收处理的历史信息,该处理包括在步骤S131到S136所执行的处理。
典型地,执行图24所示流程图表示的相关信息发生处理,作为产生相关信息的步骤S137的处理。也就是说,在步骤S137执行的处理中,产生相关信息并将其存储在相关信息存储部件117中,作为有关已经使用的主要内容和在用户使用该已经使用的主要内容时间点存在的上下文之间相关的信息。在这种情况下,接收已经使用的主要内容并检查邮件文本。
另外,如果内容发送/接收设备101的操作模式不是如上所述的辅助内容自动输出模式,并且至少在执行如上所述步骤S131到S136的处理的时间段的一部分中输出辅助内容,诸如通过该用户操作操作部件113所指定的一段音乐,典型地,执行图27所示流程图表示的相关信息发生处理。也就是说,在步骤S137执行的处理中,产生相关信息并将其存储在相关信息存储部件117中,作为有关已经使用的辅助内容和在用户使用该已经使用的辅助内容时间点存在的上下文之间的相关的信息。在这种情况下,该已经使用的辅助内容是当用户检查该接收的邮件文本时输出的一段音乐。
最后,结束执行图29所示流程图表示的接收处理。
上述描述已经说明了如果内容发送/接收设备101的操作模式不是辅助内容自动输出模式的情况下所执行的接收处理。
另一方面,以下描述说明了如果内容发送/接收设备101的操作模式是辅助内容自动输出模式的情况下所执行的接收处理。
如上所述,在步骤S131,主要内容接收部件118接收作为主要内容的邮件文本。但是,在这种情况下,在下一步骤S132所执行处理中产生的该确定结果指示内容发送/接收设备101的当前操作模式是辅助内容自动输出模式,以便处理流程继续到步骤S133。
在步骤S133,用户使用的辅助内容确定部件119执行处理以确定作为辅助内容的一段音乐,该辅助内容适合于通过正确地参考相关信息存储部件117中存储的相关信息推断为使用在步骤S131接收的主要内容的上下文。值得注意的是,在步骤S133执行的处理在以下描述中被称为辅助内容确定处理。通过参考图30所示的流程图以下将会说明辅助内容确定处理的细节。
然后,在下一步骤S134,用户使用的辅助内容确定部件119输出辅助内容,诸如在步骤S133执行的辅助内容确定处理中确定的一段音乐作为用户使用的辅助内容。
也就是说,自动地再现在步骤S133执行的辅助内容确定处理中确定的音乐段。
值得注意的是,在图29所示流程图表示的典型处理中,在步骤S136之前执行步骤S133和S134的处理。也就是说,利用用户检查邮件文本之前的定时,即,在步骤S136执行输出作为主要内容的邮件文本的处理之前的定时,在步骤S134所执行的处理中自动地再现在步骤S133执行的辅助内容确定处理中确定的该首音乐。
但是,自动再现该音乐段的定时可例如被设置在该用户检查邮件文本过程中的时间点。在这种情况下,与步骤S133和S134的处理同时执行步骤S135的处理,只要在步骤S135执行处理的确定结果变为YES,就执行步骤S136的处理。
另外,自动再现该首音乐的定时可例如被设置在用户检查邮件文本之后的时间点。在这种情况下,在跟随有步骤S133和S134处理的步骤S132的处理之前执行步骤S136的处理。
通过参考图30所示的流程图,以下描述说明在图29所示流程图的步骤S133执行的辅助内容确定处理的细节。
图30所示的流程图从步骤S141开始,在该步骤中应用于图22所示的用户使用的辅助内容确定部件119A中的主要内容元信息获取部件141获取该主要内容的元信息,并将该元信息提供给匹配处理部件142。该主要内容是主要内容接收部件118所接收的邮件文本。如上所述,主要内容的元信息被称为主要内容元信息。
然后,在下一步骤S142,匹配处理部件142根据该获取的元信息产生表示主要内容的特征的特征信息。
值得注意的是,在步骤S141和S142执行的处理基本上分别与在图24所示流程图的步骤S111和S112执行的处理相同。它们之间的不同之处在于,在步骤S141和S142执行的处理中,处理的对象是正被用户检查或者将要被检查的邮件文本,而在步骤S111和S112执行的处理中,处理的对象则是用户已经检查的邮件文本。因此,省略了在步骤S141和S142所执行处理的详细说明。
接下来,在下一步骤S143,匹配处理部件142找到在步骤S142所执行处理中产生的作为主要内容的特征信息的特征信息,和包括在提前保存(存储)在相关信息存储部件117中的每条相关信息中的特征信息之间的相似度作为有关主要内容和上下文之间的相关的信息,并将该相似度提供给上下文推荐部件143。
然后,在下一步骤S144,上下文推荐部件143获取包括特征信息的一条相关信息,该特征信息具有高于门限值的相似度,并根据包括在该获取的相关信息条中的上下文信息,以推断在主要内容使用时存在的用户上下文。典型的相关信息条是图26所示的相关信息条CI1a、CI2a和CI3a,每个相关信息都作为有关主要内容和在使用主要内容时存在的用户上下文之间的相关的信息,其中在步骤S141执行的处理中获取该主要内容的元信息。
将用作推断在步骤S144所执行处理中的上下文的基础的该上下文信息,即包括在该获取的相关信息条中的上下文信息,被提供给相关联的辅助内容获取部件144,其中相关信息包括其相似度高于门限值的特征信息。
接下来,在下一步骤S145,相关联的辅助内容获取部件144从提前保存(存储)在相关信息存储部件117的至少一条相关信息中获取包括用于该推断上下文的上下文信息的相关信息,作为有关辅助内容和上下文之间的相关的信息。典型的相关信息条是在图28所示的相关信息条CI1b、CI2b和CI3b,该相关信息作为有关辅助内容和在使用该辅助内容时存在的用户上下文之间的相关的信息。
然后,在下一步骤S416,相关联的辅助内容获取部件144获取包括在获取的相关信息中的信息所指示的辅助内容作为表示辅助内容的信息,其中该相关信息在步骤S145所执行的处理中获取,并将该获取的辅助内容作为用户使用的辅助内容。
以下说明图30所示流程图表示的辅助内容确定处理的实例。
让我们假设例如主要内容接收部件118接收类似于图31所示的邮件文本,并将该文本提供给主要内容元信息获取部件141。
与上述实例相一致,存储在相关信息存储部件117中的信息包括:图26所示的相关信息条CI1a、CI2a和CI3a,每个相关信息都作为有关主要内容和在使用主要内容时存在的用户上下文之间的相关的信息;以及图28所示的相关信息条CI1b、CI2b和CI3b,该每个相关信息作为有关辅助内容和在使用该辅助内容时存在的用户上下文之间的相关的信息。
在这种情况下,在步骤S141所执行的处理中,主要内容元信息获取部件141将图31所示的邮件文本分解成以下所示单词组(Iva)的单词。如该图中所示,邮件文本说:“我上周去Hokkaido了。在那里,我买了一件喝茶时间用的纪念品。我希望你将会和我一起喜欢这个纪念品”。每个单词被获取为主要内容元信息并被提供给匹配处理部件142。
(Iva):纪念品纪念品
值得注意的是,实际上,主要内容元信息获取部件141还获取单词‘上周’和‘Hokkaido’作为主要内容元信息。但是,在这种情况下,主要内容元信息获取部件141仅仅获取用作特征向量的分量的单词作为主要内容元信息,该特征向量具有包括以下如图25所示单词的标准格式:旅游、日程表、目的地、地图、联系人、温泉、会议、备忘录、参会、纪念品、音乐和民间音乐。
然后,在步骤S142执行的处理中,匹配处理部件142从单词组(Iva)所示的主要内容元信息产生图25所示的具有标准格式的特征向量CCVna,作为具有值(0、0、0、0、0、0、0、0、0、2、0、0)的向量。接着,匹配处理部件142从特征向量CCVna产生包括单词‘纪念品’的特征信息CIIna。
再下来,在步骤S143执行的处理中,匹配处理部件142计算特征信息CCIna和分别包括在图26所示的相关信息条CI1a、CI2a和CI3a中的每条特征信息CII1a、CII2a和CII3a之间的相似度,并将该相似度提供给上下文推荐部件143。
在该实例的情况下,特征信息CIIna与包括在图26所示相关信息CI1a中的特征信息CII1a具有最大相似度。因此,在步骤S144所执行的处理中,根据包括在相关信息CI1a中的上下文信息‘高兴’,当检查图31所示的该邮件文本时,上下文推荐部件143推断典型为‘高兴情绪’的上下文作为该用户的上下文。然后,将用作推断上下文‘高兴情绪’的基础的上下文信息‘高兴’提供给相关联辅助内容获取部件144。
在步骤S145和S146所执行的处理中,接收上下文信息‘高兴’,相关联辅助内容获取部件144从相关信息存储部件117获取图28所示的相关信息CI1b作为包括上下文信息‘高兴’的相关,并从辅助内容存储部件120获取包括在相关信息CI1b中的标题为音乐1的一段音乐,该存储部件120用于存储作为辅助内容的该段音乐。
如上所述,如果内容发送/接收设备101的操作模式被设置在辅助内容自动输出模式,当接收图31所示的邮件文本时,内容发送/接收设备101推断‘高兴情绪’的上下文作为用户上下文,以检查邮件文本并自动地再现标题为音乐1的一段音乐,该段音乐在过去当用户具有高兴情绪时被再现。
更一般而言,如果内容发送/接收设备101的操作模式被设置在辅助内容自动输出模式,在该用户检查接收的邮件文本之前,即在该用户打开包含所述接收邮件文本的文件之前,或者当该用户正在检查接收的邮件文本时,或者在用户打开包含接收邮件文本的时间点或者在已经打开该文件之后的时间点,内容发送/接收设备101推断一个上下文,其中该用户正在检查邮件文本以及自动地再现作为与推断的上下文相关联的辅助内容的一段音乐或图像。
如上所述,没有特别地规定辅助内容自动输出定时。但是,如果该辅助内容自动输出定时被设置在位于检查接收的邮件文本或者打开包含该接收邮件文本的操作之前的时间点,则允许该用户预测其中用户检查该接收的邮件文本的氛围,即允许该用户预测其中用户检查该邮件文本的上下文。
另外,如上所述,自动输出的辅助内容并没有被特别局限于音乐。也就是说,自动输出的辅助内容还能够是字符的图像、图标的图像或者声音。如果自动输出的辅助内容是字符的图像,则该字符本身可具有不同的色彩和/或不同的设计。通过仅仅使用字符的图像、图标的图像或者声音作为自动输出的辅助内容,即,通过仅仅聆听声音或者查看图像作为自动输出的辅助内容,该用户则能够感觉到接收邮件的氛围,即使该用户不检查邮件的文本。
另外,如果内容发送/接收设备101具有阅读邮件文本的功能,在输出该邮件文本作为阅读语音时,该接收的邮件文本还可被认为是辅助内容。然后,在通过阅读邮件文本自动输出邮件文本的操作中以及将该邮件文本输出为阅读语音时,能够根据推断的用户上下文改变语音的质量和音调。
另外,如果还将接收的邮件文本认为是辅助内容,那么也能够根据推断的上下文来改变邮件文本的输出目的地。在图20所示的实例中,输出目的地是外部目的地。但是,嵌入到内容发送/接收设备101的存储器中的文件夹还能够被用作输出目的地。尽管在图中没有示出这种存储器。用于存储邮件文本的这种文件夹能够通过推断的上下文,例如通过情绪进行分类。如果内容发送/接收设备101通过手持电话或者PDA(个人数字助理)来实现,那么输出目的地能够是台式机或者其它类型的计算机。当内容发送/接收设备101通过手持电话或者PDA实现时,能够执行过滤处理。具体而言,用户在休闲时间所携带的内容发送/接收设备101能够用于只接收喜欢的(推荐的)邮件文本,以及内容发送/接收设备101能够将每个被推断为情绪-变坏文本的邮件文本传送到台式机或者其它类型的计算机。
顺便提及,如上所述,这种内容发送/接收设备101能够将表示用户上下文的上下文信息添加到作为主要内容处理的邮件文本,并将该邮件文本与上下文信息一起发送到另一内容发送/接收设备。也就是说,该用户能够将表示其自己的上下文的上下文信息添加到邮件文本并将该邮件文本与上下文信息一起发送到通信方。例如,当该用户向通信方发送表示感谢心情的邮件文本时,该用户能够添加表示感谢心情的上下文信息并将该上下文信息与邮件文本一起发送到通信方。表示感谢心情的上下文信息的一个实例是‘高兴’上下文信息。
因此,当用作邮件接收机的内容发送/接收设备101接收添加有这种上下文信息的邮件文本时,该内容发送/接收设备101能够根据操作内容发送/接收设备101的另一个用户的历史,选择一段音乐作为与添加到接收邮件文本的上下文信息所指示的上下文相关联的辅助内容,并自动地输出选择的该段音乐。也就是说,如上所述,如果‘高兴’上下文信息被添加到该邮件文本,那么接收邮件文本的内容发送/接收设备101能够自动地再现适合于‘高兴’上下文的一首音乐。
在这种情况下,引人注意的一点是自动再现的该段音乐不是使邮件发送者高兴的音乐,而是适合于使邮件接收者高兴的‘高兴’上下文等等的音乐。
详细而言,如上所述在传统上,当邮件发送者想更发送‘高兴’上下文给邮件接收者,该邮件发送者能够将发送者认为适合于上下文的一段音乐作为‘高兴’上下文添加到邮件文本中,并将该段音乐和邮件文本一起发送到邮件接收者。但是,该邮件接收者通过聆听被添加到邮件文本的、被邮件发送者认为是适合于‘高兴’上下文的该段音乐不一定感到高兴。事实上,极为可能,邮件接收者误解邮件发送者所定义的‘高兴’上下文。
为了解决上述问题,根据本实施例,邮件发送者使用的内容发送/接收设备101发送表示邮件发送者上下文的上下文信息给邮件接收者使用的内容发送/接收设备101,而邮件接收者使用的内容发送/接收设备101推荐一段音乐并自动地再现推荐的该段音乐,其中邮件接收者认为该音乐是适合于上下文信息所显示上下文的音乐。
图32是示出为下述目的而设计的用户使用的辅助内容确定部件119的典型功能结构的图:接收作为包括附加上下文信息的主要内容的邮件文本,确定作为辅助内容的一段音乐,并如上所述自动地再现确定的该段音乐,该音乐被邮件接收者认为是适合于在将接收的邮件文件显示给邮件接收者的特定时间点或者在该特定时间点之前或之后,添加到接收邮件文本的上下文信息所示上下文的音乐。
值得注意的是,为了区别具有图32所示功能结构的用户使用的辅助内容确定部件119与具有图22所示功能结构的用户使用的辅助内容确定部件119A以及其他的辅助内容确定部件,具有图32所示功能结构的用户使用的辅助内容确定部件119在后面被称为用户使用的辅助内容确定部件119B。
如图32所示,用户使用的辅助内容确定部件119B包括范围从上下文信息分离部件151到相关联辅助内容获取部件154的部件。
上下文信息分离部件151输入主要内容接收部件118所接收的邮件文本和添加到该文本并由用户将要检查或正在检查的上下文信息。也就是说,上下文信息分离部件151是用于输入用户使用的主要内容的部件。因此,上下文信息分离部件151将该上下文信息与输入的作为用户使用的主要内容和上下文信息的邮件文本进行分离,并将该分离的上下文信息提供给匹配处理部件152。
匹配处理部件152计算从上下文信息分离部件151接收的上下文信息和包括在提前存储在相关信息存储部件117的每条相关信息中的上下文信息之间的相似度,并获取包括上下文信息的相关信息条并将获取的该相关信息条提供给相似主要内容选择部件153,其中该上下文信息具有超出门限值的相似度,并作为在某种程度上类似于接收的上下文信息的上下文信息。但是,在这种情况下,提供给相似主要内容选择部件153的相关信息一般包括已经使用的主要内容的特征信息和上下文信息。相关信息的实例是图26所示的相关信息条CI1a、CI2a和CI3a。
相似主要内容选择部件153确定已经使用的主要内容诸如与包括在从匹配处理部件152接收的相关信息中的特征信息相关联的先前检查的邮件文本等类似于此次接收的邮件文本,并将该特征信息提供给相关联辅助内容获取部件154。
相关联辅助内容获取部件154从相关信息存储部件117获取包括相似主要内容选择部件153所提供的特征信息的相关信息。但是,在这种情况下,从相关信息存储部件117获取的该相关信息一般是有关已经使用的辅助内容和已经使用的主要内容之间的相关的信息。该相关信息的实例是图5所示的相关信息条CI1、CI2和CI3。然后,相关联辅助内容获取部件154从辅助内容存储部件120获取包括在该获取的相关信息中的信息所指示(或识别)的辅助内容,并将该获取的辅助内容输出为用户使用的辅助内容。
也就是说,在这种情况下,相关联辅助内容获取部件154在用户过去检查的邮件文本中选择类似于此次所接收邮件文本的邮件文本,作为用户使用的主要内容。严格地说,相关联辅助内容获取部件154在类似于添加到该接收邮件文本的上下文信息所指示的上下文中,选择用户过去检查的邮件文本,然后,相关联辅助内容获取部件154自动地再现与用户过去所检查的邮件文本相关联的一段音乐。该段自动再现的音乐是当用户在过去检查所选邮件文件时输出的音乐。
如上所述,在图32所示的实例中,相关信息存储部件117中存储的相关信息包括表示已经使用的主要内容及其上下文之间的相关的相关信息,以及表示已经使用的主要内容和已经使用的辅助内容之间的相关的相关信息。表示已经使用的主要内容及其上下文之间的相关的相关信息的实例是图26所示的相关信息条CI1a、CI2a和CI3a,而表示已经使用的主要内容和已经使用的辅助内容之间的相关的相关信息的实例是图5所示的相关信息条CI1、CI2和CI3。也就是说,图32是示出使用这两种类型的相关信息的用户使用辅助内容确定部件119B的典型功能结构的图。
但是,如果相关信息存储部件117用于存储例如包括已经使用的辅助内容的特征信息和上下文信息的相关信息,则不需要相似主要内容选择部件153。也就是说,使用该第一类型相关信息的用户使用的辅助内容确定部件119一般只包括上下文信息分离部件151、匹配处理部件152和相关联辅助内容获取部件154。但是,在图中未示出这种结构。这种相关信息的实例是图28所示的相关信息条CI1b、CI2b和CI3b。
在这种情况下,匹配处理部件152计算从上下文信息分离部件151接收的上下文信息和包括在一条或更多条相关信息的每条信息中的上下文信息之间的相似度,其中该相关信息提前存储在相关信息存储部件117中,并获取包括其相似度超出门限值的上下文信息的相关信息条,作为在某种程度上类似于该接收的上下文信息的上下文信息,以及将获取的该条相关信息提供给相关联辅助内容获取部件154。如上所述,该相关信息包括已经使用的辅助内容的特征信息和上下文信息。这种相关信息的实例是图28所示的相关信息条CI1b、CI2b和CI3b。
相关联辅助内容获取部件154从辅助内容存储部件120获取已经使用的辅助内容并将该已经使用的辅助内容输出作为用户使用的辅助内容,其中已经使用的辅助内容由包括在匹配处理部件152所提供的相关信息中的信息所指示(或识别)。
详细而言,相关联辅助内容获取部件154在过去输出的音乐中选择一段音乐作为用户使用的辅助内容。选择的该段音乐是用户过去在与添加到该接收邮件文本的上下文信息所指示的上下文相同或者相似的上下文中聆听的音乐。然后,相关联辅助内容获取部件154自动地再现选择的该段音乐。
通过参考图33所示的流程图,以下描述说明通过图32所示的用户使用的辅助内容确定部件119B所执行的辅助内容确定处理,即使用两种类型的相关信息的辅助内容确定处理,即表示已经使用的主要内容及其上下文之间的相关的相关信息,以及表示已经使用的主要内容已经使用的辅助内容之间相关性的相关信息。表示已经使用的主要内容及其上下文之间的相关的相关信息的实例是图26所示的相关信息条CI1a、CI2a和CI3a,而表示已经使用的主要内容和已经使用的辅助内容之间的相关的相关信息的实例是图5所示的相关信息条CI1、CI2和CI3。
让我们假设例如在图29所示流程图的步骤S131所执行的处理中,主要内容接收部件118接收包括附加上下文信息的邮件文本,以及图20所示的内容发送/接收设备101的操作模式是如上所述的辅助内容自动输出模式。因此,由于在图29所示流程图的步骤S132所执行处理中产生的该确定结果指示内容发送/接收设备101的操作模式是辅助内容自动输出模式,所以处理流程继续到步骤S133。
在这种情况下,根据图33所示的流程图,在图29所示流程图的步骤S132的处理中执行该辅助内容确定处理。
图33所示的流程图从步骤S161开始,在该步骤,图32所示的上下文信息分离部件151将上下文信息与主要内容接收部件118所接收的主要内容进行分离,所述主要内容作为具有添加到其上的上下文信息的主要内容,并将该分离的上下文信息提供给匹配处理部件152。
然后,在下一步骤S162,匹配处理部件152从提前保存(或存储)在相关信息存储部件117中的至少一条相关信息,获取包括有和在步骤S11所执行处理中分离的上下文信息相同的上下文信息的相关信息,作为主要内容和辅助内容之间的相关的信息。
值得注意的是,在步骤S162执行的处理是使用相关信息条的典型处理,其中每条相关信息只包括一条上下文信息。所述相关信息片包括上下文信息‘高兴’、‘紧张’和‘怀旧’。该相关信息的实例是图26所示的相关信息条CI1a、CI2a和CI3a。
还能够为相关信息条执行步骤S162的处理,其中每条相关信息只包括一条或多条上下文信息。作为一种替换,还能够执行以下处理。在该替换的处理中,匹配处理部件152计算从上下文信息分离部件151接收的上下文信息和包括在提前存储在相关信息存储部件117的每条相关信息中的上下文信息之间的相似度,获取一条包括其相似度超出门限值的上下文信息的相关信息,并作为在某种程度上类似于该接收的上下文信息的上下文信息。
然后,在下一步骤S163,相似主要内容选择部件153选择已经使用的主要内容,诸如先前检查的与特征信息相关联的邮件文本,该邮件文本包括在在步骤S162所执行处理中获取的相关信息中,所述已经使用的主要内容作为类似于接收的主要内容诸如在图29所示流程图的步骤S131所执行处理中接收的邮件文本的主要内容。相似主要内容选择部件153然后将该特征信息提供给相关联辅助内容获取部件154。
接下来,在下一步骤S164,相关联辅助内容获取部件154从提前保存在相关信息存储部件117中的至少一条相关信息,获取包括从相似主要内容选择部件153所接收特征信息的相关信息,作为有关主要内容和辅助内容之间的相关的信息,其中所述特征信息是用于在步骤163所执行处理中选择的已经使用的主要内容的特征信息。表示主要内容和辅助内容之间的相关的相关信息的实例是图5所示的相关信息条CI1、CI2和CI3。
然后,在下一步骤S165,相关联辅助内容获取部件154从辅助内容存储部件120获取包括在相关信息中的信息所识别的辅助内容作为表示辅助内容的信息,其中在步骤S164所执行的处理中获取该相关信息,并将该获取的辅助内容用作用户使用的辅助内容。在本实例中,该辅助内容是一段音乐。
在这点上,结束在图29所示流程图的步骤S133的处理中执行的自动内容确定处理。输出在自动内容确定处理中所确定的用户使用的辅助内容。也就是说,自动地再现在步骤165所执行处理中获取的一段音乐。
因此,聆听自动再现的音乐段的邮件接收者,即发送该邮件文本的用户所看到的其他用户,能够容易地从该段音乐中想象出发送邮件的用户的上下文。也就是说,接收该邮件的用户即使没有阅读该接收的邮件,也能够感觉到其中写并且发送该邮件的这种氛围。
值得注意的是,即使在图33所示流程图表示的自动内容确定处理中,非常类似于图30所示流程图表示的自动内容确定处理,将要自动输出的该确定的辅助内容并不特别局限于一段音乐。也就是说,自动输出的辅助内容还能够是字符的图像、图标图像或者声音。如果自动输出的辅助内容是字符的图像,那么这些字符本身能够具有不同的色彩和/或不同的图案。作为一种替换,自动输出的辅助内容能够是典型地陈述“消息发送者处于该上下文中”的音频或者视频消息。通过仅仅使用字符的图像、图标图像、声音或者这种消息作为自动输出辅助内容,即通过仅仅聆听作为自动输出辅助内容的声音或者观看图像,该用户能够推断邮件发送者或者发送邮件的用户的上下文,然后,即使该用户不检测邮件的文本,也能够感觉到该接收邮件的氛围。
另外,如果内容发送/接收设备101具有阅读邮件文本的功能,同时将该邮件文本输出为阅读声音,那么非常类似于图30所示流程图表示的自动内容确定处理,能够将该接收的邮件文本认为是辅助内容。然后,在通过阅读邮件文本以及将该邮件文本输出为阅读声音而自动输出邮件文本的操作中,能够根据推断的用户上下文改变声音的质量和音调。
另外,如果还将接收的邮件文本认为是辅助内容,那么能够根据推断的上下文改变该邮件文本的输出目的地,这非常类似于图30所示流程图表示的自动内容确定处理。在图20所示的实例中,该输出目的地是外部目的地。但是,在内容发送/接收设备101中所嵌入的存储器中的文件夹还能够用作输出目的地。尽管在图中未示出这种存储器。用于存储邮件文本的文件夹能够通过推断的上下文,例如通过情感进行分类。如果内容发送/接收设备101通过手持电话或者PDA(个人数字助理)实现,则输出目的地能够是台式机或者其它类型的计算机。利用通过手持电话或者PDA实现的内容发送/接收设备101,能够执行过滤处理。具体而言,用户在休闲时间所携带的内容发送/接收设备101能够用于只接收喜欢(推荐)的邮件文本,并且内容发送/接收设备101能够向台式机或者其它类型的计算机发送每个被推断为情绪变坏文本的邮件文本。
到目前为止,作为根据本发明实施例的信息处理设备,已经说明了图1所示的作为根据本发明实施例设备的信息处理设备,和图20所示的作为根据本发明另一个实施例设备的内容发送/接收设备101但是,根据本发明实施例实现的信息处理设备决不局限于这两种说明的实施例。也就是说,根据本发明的信息处理设备能够基本上由以下描述的实施例而实现。
根据本发明实施例的信息处理设备能够输出主要内容和辅助内容,并至少包括:用于产生历史信息的历史信息发生部件,该历史信息至少包括在该信息处理设备输出已经使用的主要内容的时间点和在包括该时间点的时间区内,有关使用信息处理设备的用户的一条信息;历史信息存储部件,用于存储历史发生部件所产生的至少一条历史信息;辅助内容存储部件,用于存储至少一条辅助内容;以及辅助内容确定部件,用于根据存储在辅助内容存储部件中的一条或更多辅助内容的特征以及历史信息存储部件中存储的至少一条历史信息,确定被认为是以下内容的辅助内容,该内容的输出在输出新的主要内容的过程中、或者在输出新的主要内容之或之前后被认为是适合于该用户的。
换言之,图1所示的信息处理设备是根据本发明实施例的信息处理设备,其中历史处理部件1、相关信息存储部件2、辅助内容存储部件3和用户使用的辅助内容确定部件6分别作为如上所述的历史信息发生部件、历史信息存储部件、辅助内容存储部件和辅助内容确定部件。
另一方面,图20中所示的内容发送/接收设备101是根据本发明的实施例的信息处理设备,其中历史处理部件116、相关信息存储部件117、辅助内容存储部件120和用户使用的辅助内容确定部件119分别作为如上所述的历史信息发生部件、历史信息存储部件、辅助内容存储部件和辅助内容确定部件。
这样的根据本发明的实施例的信息处理设备的每一个都能够展示如下效果:能够容易地在输出新主要内容的操作的过程中、或在该输出新主要内容的操作之前或之后的时间点输出适合于用户情况的辅助内容。
具体而言,例如,图1所示的信息处理设备和图20所示的内容发送/接收设备101每个都能够表现出以下效果:
图1所示的信息处理设备展现了下列效果,它能够确定用户本身所喜欢的BGM或BGV辅助内容,将该确定的辅助内容与主要内容诸如每个用作操作对象的邮件进行关联,并在自动再现处理中,从辅助内容中选择适合于用作当前操作对象的主要内容的辅助内容。
图20所示的内容发送/接收设备101与传统的发送设备和传统的接收设备相比,展现了下列效果,它能够通过根据各个用户的情感而自动选择选择被确定为最适合的辅助内容以提高性能效果,所述传统的发送设备仅发送辅助内容,诸如用作发送者的用户所选择的图像或者一段音乐以及主要内容,传统的接收设备能够仅仅再现除了接收的主要内容以外,还有从传统的发送设备所接收的辅助内容诸如图像或者一段音乐,这些有关于发送和接收主要内容诸如邮件文本的处理,以及将辅助内容诸如图像或一段音乐与该主要内容进行关联的处理。
顺便提及,上述处理的每个顺序能够通过硬件和/或执行软件来实现。
在这种情况下,图1所示的信息处理设备和图20所示的内容发送/接收设备101每个都能够实现为具有类似于图34所示结构的个人计算机。
在图34所示的结构中,CPU(中央处理单元)201通过执行ROM(只读存储器)202中存储的或者从存储单元208载入到RAM(随机访问存储器)203中的程序以执行各种处理。RAM 203还用于适当地存储CPU 201在执行处理中所需要的数据。
CPU 201、ROM 202和RAM203通过总线204相互连接,该总线还连接到输入/输出接口205。
输入/输出接口205还连接到上述输入部件206、输出部件207、存储部件208以及通信部件209。输入部件206包括鼠标,而输出部件207包括显示单元。存储部件208典型为硬盘,通信部件209包括调制解调器和终端适配器。通信部件209是用于通过包括因特网的网络与该图中未示出的另一信息处理设备进行通信的部件。
如果必要,输入/输出接口205还连接到驱动器510,在该驱动器上装配了适当的移动介质511。移动介质511的实例是磁盘、光盘、磁光盘和半导体存储器。如果必要,从移动介质511读取计算机程序并安装在存储部件208中。
如上所说明的,能够通过硬件和/或软件的执行来实现上述的每一系列的处理。如果通过软件的执行来实现上述的该系列处理,则构成该软件的程序能够典型地从网络或者程序记录介质安装到嵌入到专用硬件的计算机、通用的个人计算机等等中。通过将各种程序安装到通用的个人计算机中,该个人计算机能够实现各种功能。
将要安装到计算机或通用个人计算机的上述用于记录程序的程序记录介质是独立从图34所示信息处理设备的主要单元提供给用户的移动记录介质511,其中所述程序是通过该计算机或者通用个人计算机分别执行的程序。移动记录介质511的实例每个还被称为封装介质,并包括诸如软盘的磁盘,诸如CD-ROM(压缩光盘-只读存储器)或者DVD(数字通用盘)的光盘,诸如MD(迷你盘)的磁光盘以及半导体存储器。代替从移动记录介质511安装程序,该程序还能够提前存储在嵌入到信息处理设备的主要单元的记录介质中。嵌入的记录介质的实例是图34所示的包括在存储单元208中的硬盘和ROM 202。
还值得注意的是,在本说明书中,不仅能够沿着时间轴以预先规定的顺序执行存储在记录介质中的每一程序的步骤,而且能够同时或者单独地执行所述步骤。
另外,用于在本说明书中使用的技术术语‘系统’隐含了包括多个设备的聚合的结构。
本领域的普通技术人员应该明白,根据设计要求和其他因素可以进行各种修改、组合、子组合和改变,当它们在所附权利要求或者其等同物的范围之内时。
Claims (6)
1、一种用于输出第一类型内容和第二类型内容的信息处理设备,包括:
历史信息发生部件,用于在所述信息处理设备输出已经使用的所述第一类型内容的时间点以及包括所述时间点的时间区内产生包括有关使用所述信息处理设备的用户的一条或多条信息的历史信息;
历史信息存储部件,用于存储由所述历史信息发生部件所产生的一条或多条历史信息;
第二类型内容存储部件,用于存储一个或多个所述第二类型内容;以及
第二类型内容确定部件,用于基于在所述第二类型内容存储部件中存储的一个或多个第二类型内容的特征以及在所述历史信息存储部件中存储的一条或多条历史信息,来确定第二类型内容,所述第二类型内容被认为是这样的内容:该内容的输出操作在输出所述第一类型的新内容的操作中或者在输出所述第一类型的新内容的所述操作之前或之后被认为是适合于所述用户的。
2、根据权利要求1所述的信息处理设备,其中:
所述历史信息发生部件产生历史信息,所述历史信息包括至少表示已经使用的所述第一类型内容的特征的第一特征信息和表示已经使用的第二类型内容的特征的第二特征信息,其中当输出已经使用的所述第一类型内容或在输出已经使用的所述第一类型内容之前或之后,从所述信息处理设备输出所述历史信息;以及
所述第二类型内容确定部件:
选择一条或多条历史信息,其中每条历史信息包括在所述历史信息存储部件中存储的一条或多条历史信息当中的、与表示所述第一类型的新内容的特征的特征信息相同或相似的第一特征信息;和
确定由包括在所选择的多条历史信息中的每一条中的第二特征信息所标识的第二类型内容作为如下的第二类型内容:所述第二类型内容的输出操作在输出所述第一类型的新内容的操作中或者在输出所述第一类型的新内容的所述操作之前或之后被认为是适合于所述用户的。
3、根据权利要求1所述的信息处理设备,其中:
所述历史信息发生部件产生:
包括至少第一特征信息和第一上下文信息的第一历史信息,其中所述第一特征信息表示已经使用的所述第一类型内容的特征,所述第一上下文信息表示在已经使用的所述第一类型内容的输出时的用户上下文;和
包括至少第二特征信息和第二上下文信息的第二历史信息,其中所述第二特征信息表示已经使用的所述第二类型内容的特征,所述第二上下文信息表示已经使用的所述第二类型内容的输出时的用户上下文;
所述历史存储部件被用于存储所述第一历史信息和所述第二历史信息;
所述第二类型内容确定部件:
选择一条或多条第一历史信息,其中每条第一历史信息包括与在所述历史信息存储部件中存储的一条或多条第一历史信息当中的、表示所述第一类型的新内容的特征的特征信息相同或相似的第一特征信息;
获取包括在所选择的多条第一历史信息中的每一条中的第一上下文信息;
选择一条或多条第二历史信息,其中每条第二历史信息包括在所述历史信息存储部件中存储的一条或多条第二历史信息当中的、与所获取的第一上下文信息相同或相似的第二上下文信息;以及
确定由包含在所选择的多条第二历史信息中的每一条中的第二特征信息所标识的第二类型内容作为如下的第二类型内容:所述第二类型内容的输出操作在输出所述第一类型的新内容的操作中或者在输出所述第一类型的新内容操作之前或之后被认为是适合于所述用户的。
4、根据权利要求1所述的信息处理设备,还包括:
数据接收部件,用于从所述其他用户使用的另一设备接收所述第一类型内容和被附加到所述第一类型内容、作为表示另一用户的上下文的信息的第一上下文信息,其中:
所述历史信息发生部件产生:
包括至少第一特征信息和第二上下文信息的第一历史信息,其中所述第一特征信息表示已经使用的所述第一类型内容的特征,所述第二上下文信息表示在所述已经使用的所述第一类型内容的输出时的用户上下文;和
包括至少第一特征信息和第二特征信息的第二历史信息,其中所述第一特征信息表示已经使用的所述第一类型内容的特征,所述第二特征信息表示已经使用的第二类型内容的特征,当正在输出所述已经使用的所述第一类型内容或者在输出所述已经使用的所述第一类型内容之前或之后,从所述信息处理设备输出所述历史信息;
所述历史存储部件被用于存储所述第一历史信息和所述第二历史信息;以及
所述第二类型内容确定部件:
选择一条或多条第一历史信息,每条所述历史信息包括在所述历史信息存储部件中存储的一条或多条第一历史信息当中的、与添加到由所述数据接收部件接收的新第一类型内容的第一上下文信息相同或相似的第二上下文信息;
获取包含在所选择的多条第一历史信息中的每一条中的第一特征信息;
选择一条或多条第二历史信息,每条第二历史信息包括在所述历史存储部件存储的一条或多条第二历史信息当中的、与所获取的第一特征信息相同或相似的第二特征信息;以及
确定由包含在所选择的多条第二历史信息中的每一条中的第二特征信息所标识的第二类型内容作为如下的第二类型内容:所述第二类型内容的输出操作在输出所述第一类型的新内容的操作中或者在输出所述第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
5、一种由信息处理设备所采用的信息处理方法,其中所述信息处理设备包括:
内容输出部件,用于分别输出第一类型内容和第二类型内容;
第一存储部件,用于存储一条或多条所述第二类型内容;和
第二存储部件,用于存储不同于所述第二类型内容的其他信息,
所述信息处理方法包括以下步骤:
在所述内容输出部件输出已经使用的所述第一类型内容的时间点或者在包括所述时间点的时间区内产生包括一条或多条有关使用所述信息处理设备的用户的信息的历史信息;
每当在所述产生历史信息的步骤中执行的处理中产生历史信息时,控制在所述第二存储部件中存储历史信息的操作;以及
基于在所述第一存储部件中存储的一条或多条第二类型内容的特征,以及在所述控制在所述第二存储部件中存储历史信息的操作的步骤中执行的处理中存储的一条或多条历史信息,来确定第二类型内容,所述第二类型内容被认为是这样的内容:其输出操作在输出所述第一类型的新内容的操作中或者在输出所述第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
6、一种由用于控制内容输出设备的计算机所运行的程序,所述计算机包括:
内容输出部件,用于分别输出第一类型内容和第二类型内容;
第一存储部件,用于存储一条或多条所述第二类型内容;和第二存储部件,用于存储不同于所述第二类型内容的其他信息,所述程序包括以下步骤:
在所述内容输出部件输出已经使用的所述第一类型内容的时间点或者在包括所述时间点的时间区内产生包括一条或多条有关使用所述信息输出设备的用户的信息的历史信息;
每当在所述产生历史信息的步骤执行的处理中产生历史信息时,控制在所述第二存储部件中存储历史信息的操作;以及
基于在所述第一存储部件中存储的一条或多条第二类型内容的特征,和在所述控制在所述第二存储部件中存储历史信息的操作的步骤执行的处理中存储的一条或多条历史信息,来确定第二类型内容,所述第二类型内容被认为是如下内容:其输出操作在输出所述第一类型的新内容的操作中或者在输出所述第一类型的新内容的操作之前或之后被认为是适合于所述用户的。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004112905A JP4492190B2 (ja) | 2004-04-07 | 2004-04-07 | 情報処理装置および方法、プログラム |
JP112905/04 | 2004-04-07 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1755663A true CN1755663A (zh) | 2006-04-05 |
CN100403299C CN100403299C (zh) | 2008-07-16 |
Family
ID=34909500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2005100837661A Expired - Fee Related CN100403299C (zh) | 2004-04-07 | 2005-04-07 | 信息处理设备、信息处理方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US7707268B2 (zh) |
EP (1) | EP1585048A1 (zh) |
JP (1) | JP4492190B2 (zh) |
KR (1) | KR101154573B1 (zh) |
CN (1) | CN100403299C (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488669A (zh) * | 2012-06-13 | 2014-01-01 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN104428759A (zh) * | 2012-07-17 | 2015-03-18 | 索尼公司 | 信息处理装置、服务器、信息处理方法和信息处理系统 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007172523A (ja) * | 2005-12-26 | 2007-07-05 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP2007207153A (ja) | 2006-02-06 | 2007-08-16 | Sony Corp | 通信端末装置、情報提供システム、サーバ装置、情報提供方法および情報提供プログラム |
WO2008095167A2 (en) | 2007-02-01 | 2008-08-07 | Personics Holdings Inc. | Method and device for audio recording |
KR101513888B1 (ko) * | 2007-12-13 | 2015-04-21 | 삼성전자주식회사 | 멀티미디어 이메일 합성 장치 및 방법 |
JP5182178B2 (ja) * | 2009-03-18 | 2013-04-10 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
KR101672454B1 (ko) * | 2009-10-30 | 2016-11-04 | 삼성전자 주식회사 | 컨텐트 이용 이력에 기반한 네트워크 컨텐트 서비스 관리 방법 및 장치 |
JP6168963B2 (ja) | 2013-10-17 | 2017-07-26 | ヤフー株式会社 | 情報検索装置、情報検索方法、およびプログラム |
US11188605B2 (en) | 2019-07-31 | 2021-11-30 | Rovi Guides, Inc. | Systems and methods for recommending collaborative content |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20010013123A1 (en) * | 1991-11-25 | 2001-08-09 | Freeman Michael J. | Customized program creation by splicing server based video, audio, or graphical segments |
US7171480B2 (en) * | 2001-01-29 | 2007-01-30 | Sony Computer Entertainment America Inc. | Method and system for providing auxiliary content located on local storage during download/access of primary content over a network |
US6128663A (en) * | 1997-02-11 | 2000-10-03 | Invention Depot, Inc. | Method and apparatus for customization of information content provided to a requestor over a network using demographic information yet the user remains anonymous to the server |
US6587127B1 (en) * | 1997-11-25 | 2003-07-01 | Motorola, Inc. | Content player method and server with user profile |
JP3977549B2 (ja) | 1999-04-30 | 2007-09-19 | 株式会社東芝 | コンテンツ管理方法、コンテンツ利用管理システム、コンテンツ利用管理装置及び再生装置 |
JP2001167011A (ja) * | 1999-12-07 | 2001-06-22 | Sony Corp | 情報処理装置、情報処理方法及びプログラム格納媒体 |
US7228305B1 (en) * | 2000-01-24 | 2007-06-05 | Friskit, Inc. | Rating system for streaming media playback system |
US6965926B1 (en) * | 2000-04-10 | 2005-11-15 | Silverpop Systems, Inc. | Methods and systems for receiving and viewing content-rich communications |
EP1307831A4 (en) * | 2000-07-11 | 2007-05-09 | Yahoo Inc | ONLINE LISTENING SYSTEM BASED ON THE PREFERENCES OF A COMMUNITY |
US6748395B1 (en) * | 2000-07-14 | 2004-06-08 | Microsoft Corporation | System and method for dynamic playlist of media |
JP4581226B2 (ja) * | 2000-11-10 | 2010-11-17 | ソニー株式会社 | 情報配信システム及びその方法 |
CN1297223A (zh) * | 2000-12-28 | 2001-05-30 | 英业达集团(南京)电子技术有限公司 | 播放电子邮件背景音乐的方法 |
US6988132B2 (en) * | 2001-03-15 | 2006-01-17 | Microsoft Corporation | System and method for identifying and establishing preferred modalities or channels for communications based on participants' preferences and contexts |
JP2002288187A (ja) * | 2001-03-23 | 2002-10-04 | Sharp Corp | 情報蓄積システム、情報提示システム、電子メール配信システム、情報蓄積方法、情報提示方法、電子メール配信方法及び情報処理プログラムを記録した記録媒体 |
US7962482B2 (en) * | 2001-05-16 | 2011-06-14 | Pandora Media, Inc. | Methods and systems for utilizing contextual feedback to generate and modify playlists |
US7003515B1 (en) * | 2001-05-16 | 2006-02-21 | Pandora Media, Inc. | Consumer item matching method and system |
FR2830714B1 (fr) * | 2001-10-04 | 2004-01-16 | Eastman Kodak Co | Procede automatique d'enrichissement d'image numerique |
JP2003150507A (ja) | 2001-11-19 | 2003-05-23 | Denso Corp | 電子メール機能付端末およびコンピュータプログラム |
US7370276B2 (en) * | 2002-05-17 | 2008-05-06 | Sap Aktiengesellschaft | Interface for collecting user preferences |
US7305436B2 (en) * | 2002-05-17 | 2007-12-04 | Sap Aktiengesellschaft | User collaboration through discussion forums |
US20040003097A1 (en) * | 2002-05-17 | 2004-01-01 | Brian Willis | Content delivery system |
JP2003345727A (ja) | 2002-05-24 | 2003-12-05 | Mitsubishi Heavy Ind Ltd | 感情伝達装置 |
US20030236582A1 (en) * | 2002-06-25 | 2003-12-25 | Lee Zamir | Selection of items based on user reactions |
US7881658B2 (en) * | 2002-10-10 | 2011-02-01 | Znl Enterprises, Llc | Method and apparatus for entertainment and information services delivered via mobile telecommunication devices |
US20060084450A1 (en) * | 2002-10-31 | 2006-04-20 | Peter Dam Nielsen | Communication apparatus and a method of indicating receipt of an electronic message, and a server, a method and a computer program product for providing a computerized icon ordering service |
US7105736B2 (en) * | 2003-09-09 | 2006-09-12 | Igt | Gaming device having a system for dynamically aligning background music with play session events |
US20060080408A1 (en) * | 2004-04-30 | 2006-04-13 | Vulcan Inc. | Smart home control of electronic devices |
US20060230415A1 (en) * | 2005-03-30 | 2006-10-12 | Cyriac Roeding | Electronic device and methods for reproducing mass media content |
US7396990B2 (en) * | 2005-12-09 | 2008-07-08 | Microsoft Corporation | Automatic music mood detection |
-
2004
- 2004-04-07 JP JP2004112905A patent/JP4492190B2/ja not_active Expired - Lifetime
-
2005
- 2005-04-06 EP EP05007546A patent/EP1585048A1/en not_active Ceased
- 2005-04-07 KR KR1020050028907A patent/KR101154573B1/ko not_active IP Right Cessation
- 2005-04-07 CN CNB2005100837661A patent/CN100403299C/zh not_active Expired - Fee Related
- 2005-04-07 US US11/100,993 patent/US7707268B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103488669A (zh) * | 2012-06-13 | 2014-01-01 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN103488669B (zh) * | 2012-06-13 | 2017-09-05 | 索尼公司 | 信息处理设备、信息处理方法和程序 |
CN104428759A (zh) * | 2012-07-17 | 2015-03-18 | 索尼公司 | 信息处理装置、服务器、信息处理方法和信息处理系统 |
Also Published As
Publication number | Publication date |
---|---|
KR20060045559A (ko) | 2006-05-17 |
EP1585048A1 (en) | 2005-10-12 |
US7707268B2 (en) | 2010-04-27 |
JP2005301399A (ja) | 2005-10-27 |
KR101154573B1 (ko) | 2012-06-08 |
US20060031402A1 (en) | 2006-02-09 |
CN100403299C (zh) | 2008-07-16 |
JP4492190B2 (ja) | 2010-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1755663A (zh) | 信息处理设备、信息处理方法和程序 | |
CN1109994C (zh) | 文件处理装置与记录媒体 | |
CN1259622C (zh) | 对排列在信元中的信息进行显示的装置 | |
CN1967695A (zh) | 信息处理装置、再现装置、通信方法、再现方法及计算机程序 | |
CN1734452A (zh) | 内容提供装置,内容提供系统,网址变换装置,网址变换系统,内容提供方法,和网址变换方法 | |
CN1624696A (zh) | 信息处理设备、方法及其程序、信息处理系统及其方法 | |
CN1892880A (zh) | 内容提供系统、装置及方法、内容分发服务器及接收终端 | |
CN1345440A (zh) | 信息处理设备和处理方法以及信息贮存介质 | |
CN1237502C (zh) | 生成声音模型的方法、装置和生成声音模型的计算机程序 | |
CN100339907C (zh) | 同步重放系统及其记录器和播放器 | |
CN1991728A (zh) | 信息处理设备、方法和程序 | |
CN1940910A (zh) | 内容提供系统、装置和方法、内容分发服务器和接收终端 | |
CN1748214A (zh) | 信息处理装置和方法、及程序 | |
CN1750003A (zh) | 信息处理装置,信息处理方法,和程序 | |
CN101053035A (zh) | 记录/再现设备和相关的内容显示控制方法 | |
CN1731399A (zh) | 信息处理装置及其控制方法 | |
CN1912825A (zh) | 信息处理装置及其控制方法 | |
CN1484798A (zh) | 信息处理设备和信息处理方法 | |
CN1898721A (zh) | 设备控制装置、声音识别装置、代理装置、车载设备控制装置、导航装置、音响装置、设备控制方法、声音识别方法、代理处理方法、车载设备控制方法、导航方法、音响装置控制方法和程序 | |
CN101044484A (zh) | 信息处理装置、方法以及程序 | |
CN1700336A (zh) | 信息处理设备、方法及程序 | |
CN1842702A (zh) | 声音合成装置和声音合成方法 | |
CN1924777A (zh) | 信息处理设备和方法以及程序 | |
CN1156780C (zh) | 电子邮件准备装置、终端装置、信息发送系统和程序记录媒体 | |
CN1677387A (zh) | 信息处理装置和方法及程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20080716 Termination date: 20150407 |
|
EXPY | Termination of patent right or utility model |