CN103218382A - 信息处理装置和方法以及程序 - Google Patents

信息处理装置和方法以及程序 Download PDF

Info

Publication number
CN103218382A
CN103218382A CN2012104317134A CN201210431713A CN103218382A CN 103218382 A CN103218382 A CN 103218382A CN 2012104317134 A CN2012104317134 A CN 2012104317134A CN 201210431713 A CN201210431713 A CN 201210431713A CN 103218382 A CN103218382 A CN 103218382A
Authority
CN
China
Prior art keywords
information
photo
keyword
videotex
videotex string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012104317134A
Other languages
English (en)
Inventor
八重田岳
冈村祐纪
后藤智彦
佐藤达人
孙赟
望月俊助
望月大介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103218382A publication Critical patent/CN103218382A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本技术涉及信息处理装置和方法以及程序。所述信息处理装置包括:图像相关信息获得单元,其获得与预定图像相关的信息作为图像相关信息;关键词生成单元,其基于由图像相关信息获得单元获得的图像相关信息来生成关键词;以及显示文本串候选生成单元,其使用由关键词生成单元生成的关键词中的一个或更多个来生成用作用于显示的候选的文本串,以作为显示文本串候选。

Description

信息处理装置和方法以及程序
技术领域
本技术涉及信息处理装置和方法以及程序,并且特别地涉及如下信息处理装置和方法以及程序:其中可以适当地获得作为诸如照片等的图像中的拍摄内容(英文:subject;日文:被写体)所包括的对象的名称和描述。
背景技术
在人遇到他未知的事物时,他倾向于希望找到其名称和其描述。而且,在创建没有名称的事物时,例如,在进行烹饪并且创造新食物时,人们倾向于希望将所创造的东西命名并对其进行描述。
响应于这些希望,存在如下技术,通过该技术来拍摄未知的拍摄内容或者没有名字的拍摄内容的照片,并且通过分析照片来生成与照片相关的标签(例如,日本未审查专利申请公开第2008-165303号以及日本未审查专利申请公开第2010-218227号)。
发明内容
然而,在日本未审查专利申请公开第2008-165303号以及日本未审查专利申请公开第2010-218227号中所公开的现有技术是用来组织和搜索照片的,并且根据相同的拍摄内容来一致地生成相同的标签。因此,在没有名称的拍摄内容的情况下所生成的标签可以用作赋予没有名称的事物的新名称,但是不适于用作没有名称的事物的描述。此外,在拍摄内容具有名称和描述但是得不到该名称和描述的情况下,很难根据所生成的标签来找到对象的名称和对象的描述。
已经发现的是,希望能够适当地获得作为诸如照片等的图像中的拍摄内容所包括的对象的名称和描述。
根据本技术的实施例的信息处理装置包括:图像相关信息获得单元,其获得与预定图像相关的信息作为图像相关信息;关键词生成单元,其基于由图像相关信息获得单元获得的图像相关信息来生成关键词;以及显示文本串候选生成单元,其使用由关键词生成单元生成的关键词中的一个或更多个来生成用作用于显示的候选的文本串,以作为显示文本串候选。
该信息处理装置还可以包括:显示文本串选择单元,其从由显示文本串候选生成单元生成的显示文本串候选中选择要显示的文本串作为显示文本串。
该信息处理装置还可以包括:通信单元,其将由显示文本串选择单元选择的显示文本串与预定图像的数据相关联,并且发送到其他信息处理装置。
该信息处理装置还可以针对每个显示文本串候选计算得分,并且基于针对每个显示文本串候选计算的得分来选择显示文本串。
该信息处理装置还可以包括:通信单元,其接收从其他信息处理装置发送的预定图像的数据;其中,基于由通信单元接收的预定图像的数据,图像相关信息获得单元、关键词生成单元和显示文本串候选生成单元各自执行处理,并且所述通信单元将由显示文本串候选生成单元生成的显示文本串候选发送到其他信息处理装置。
该信息处理装置可以使用对预定图像的数据的分析结果来以预定语言生成图像相关信息;其中,关键词生成单元以预定语言生成关键词,并且显示文本串候选生成单元以预定语言生成显示文本串候选。
图像相关信息获得单元还可以包括:图像分析信息获得单元,其获得表明对预定图像的数据的分析结果的信息来作为图像分析信息,图像分析信息是一种类型的图像相关信息;图像附加信息获得单元,其获得附加到预定图像的数据的信息来作为图像附加信息,图像附加信息是一种类型的图像相关信息;以及拍摄者投稿者信息获得单元,其获得关于预定图像的拍摄者、或者针对预定图像所属社区的投稿者的信息来作为拍摄者投稿者信息,拍摄者投稿者信息是一种类型的图像相关信息。
图像相关信息获得单元还可以包括:图像附属信息获得单元,其获得附属于预定图像的信息来作为图像附属信息,图像附属信息是一种类型的所述图像相关信息;以及观看者观看环境信息获得单元,其获得与在预定图像所属社区中预定图像的观看者相关的信息、或者与预定图像的观看环境相关的信息来作为观看者观看环境信息,观看者观看环境信息是一种类型的所述图像相关信息。
关键词生成单元可以生成图像相关信息自身或者使用预定规则或数据库转换的图像相关信息来作为关键词。
显示文本串候选生成单元可以生成关键词自身、链接了多个关键词的文本串、或者使用预定规则或数据库转换过的关键词来作为显示文本串候选。
跟本技术的实施例的信息处理方法和程序是对应于上述根据本技术的实施例的信息处理装置的方法和程序。
借助于根据本技术的实施例的信息处理装置和方法以及程序,获得与预定图像相关的信息作为图像相关信息,基于所获得的图像相关信息来生成关键词,并且使用所生成的关键词中的一个或更多个来生成用作用于显示的候选的文本串,以作为显示文本串候选。
如上所述,根据本技术,可以适当地获得作为诸如照片等的图像中的拍摄内容所包括的对象的名称和描述。
附图说明
图1是图示了应用本技术的第一实施例的显示文本串自动生成系统的配置的框图;
图2是图示了文本串自动生成系统中的服务器的功能性配置的示例的框图;
图3是描述了服务器和终端装置之间的处理关系的流程图;
图4是图示了由照片相关信息获得单元获得的照片相关信息的示例的图;
图5是图示了由关键词生成单元生成的关键词的示例的图;
图6是图示了由显示文本串候选生成单元生成的显示文本串候选的示例的图;
图7是图示了由显示文本串选择单元选择的显示文本串的示例的图;
图8是图示了由终端装置显示的显示文本串和照片的示例的图;
图9是描述了服务器和终端装置之间的处理关系的流程图;
图10是图示了由照片相关信息获得单元获得的照片相关信息的示例的图;
图11是图示了选择显示文本串的操作图像的示例的图;
图12是图示了外国餐厅的菜单的示例的图;
图13是描述了服务器和终端装置之间的处理关系的流程图;并且
图14是图示了重叠到菜单的照片的显示文本串的图。
具体实施方式
作为本技术的实施例,将按以下顺序描述三个实施例(以下称为第一至第三实施例)。
1.第一实施例(在观看照片时自动生成显示文本串的示例)
2.第二实施例(在上传照片时自动生成显示文本串的示例)
3.第三实施例(使用菜单翻译应用来自动生成显示文本串的示例)
将参照附图来描述根据本技术的实施例。
第一实施例
[应用本技术的文本串自动生成系统1的配置示例]
图1是图示了应用本技术的第一实施例的文本串自动生成系统的配置的框图。
图1中的文本串自动生成系统1由服务器11、终端装置12-1至12-N(N是大于等于1的任意整数)和网络13组成。注意,在下文中,在终端装置12-1至12-N不需要个别区分的情况下,这些终端装置概括地称为终端装置12。
服务器11是如下服务器,其提供或支持预定SNS(社交网络服务),并且根据本实施例具有至少以下功能。就是说,服务器11具有接收并记录从连接到网络13的、可选的终端装置12上传的图像数据的功能。而且,服务器11具有分析所记录的图像数据、并且使用图像中所包括的对象作为处理目标来生成要处理的名称和描述的功能。此处所使用的术语“所生成的”不仅包括在要处理的事物没有名称的情况下创建并附加新名称或新描述,还包括在要处理的事物有名称或描述但是得不到其名称或描述的情况下表达名称或描述,使得避免得不到其名称或描述的状态。而且,服务器11具有将表明所生成的名称和描述的数据与所记录的图像数据一起发送到可选的终端装置12的功能。稍后将描述服务器11的其他细节。
终端装置12由使用服务器11所提供或支持的SNS的用户来操作,并且可以与连接到网络13的服务器11和其他终端装置12交换各种类型的信息。例如,终端装置12可以将图像数据经由网络13上传到服务器11,以便使用SNS的用户和其他用户共享诸如照片的图像。因而,由服务器11将上传到服务器11的图像数据与表明所生成的对象名称和描述的数据一起发送到其他终端装置12。换言之,由服务器11将从其他终端装置12上传到服务器11的图像数据与表明所生成的对象名称和描述的数据一起发送到其他终端装置12。在该情况下,终端装置12接收其中的数据,并且将对象名称与描述与图像一起在显示器等上。
根据本实施例的网络13是例如因特网。注意,在下文中,文本串自动生成系统1处理图像数据,特别是照片数据。在该情况中,对象是照片中包括的拍摄内容。
[服务器11的配置示例]
图2是图示了图1中的文本串自动生成系统1的服务器11的功能性配置的示例的框图。
服务器11被配置为使得包括通信单元21、记录单元22、控制单元23、驱动器24和可移除介质25。
通信单元21由例如网络接口等组成,并且通过与终端装置12经由网络13通信来交换各种类型的信息。例如,通信单元21接收从终端设备12。而且,通信单元21从记录单元22读取表明包括在照片中的拍摄内容名称和描述的数据,并且将其经由网络13发送到终端装置12。而且,通信单元21适当地将照片数据和表明包括在照片中的拍摄内容名称和描述的数据相关联,并且将其经由网络13发送到终端装置12。
记录各种类型的数据的记录单元22例如被配置为硬盘或非易失性存储器等。例如,记录单元22记录由通信单元21接收的照片数据。而且,记录单元22适当地记录用于由控制单元23来处理的数据、由控制单元23生成的数据等。
控制单元23由例如CPU(中央处理单元)、ROM(只读存储器)和RAM(随机存取存储器)等组成。CPU根据记录在ROM中的程序或者从记录单元22载入RAM中的程序来执行各种类型的程序。用于CPU执行各种类型的处理的数据等也适当地存储在RAM中。
控制单元23功能性地具有照相馆31、关键词生成单元32、显示文本串候选生成单元33和显示文本串选择单元34。
照片相关信息获得单元31获得与记录单元22中记录的照片相关的各种类型的信息(以下,该信息概括地称为照片相关信息)。例如,获得表明照片分析引擎对照片的分析结果的信息(以下称为照片分析信息)和附加到照片的、照片日期和时间等的信息(以下称为照片附加信息)作为各类型的照片相关信息。而且,例如,获得作为照片所属的SNS组、社区等(以下称为社区)的信息并且附属到照片的信息(以下称为照片附属信息)、与拍摄者或投稿者相关的信息(以下称为拍摄者/投稿者信息)、与观看者后者观看环境相关的信息(以下称为观看者/观看环境信息)等作为各类型的照片相关信息。
照片相关信息获得单元31被配置为使得包括照片分析信息获得单元41、照片附加信息获得单元42、照片附属信息获得单元43、拍摄者/投稿者信息获得单元43和观看者/观看环境信息获得单元45,以便获得如上所述的各种类型的照片相关信息。
照片分析信息获得单元41获得由分析记录在记录单元22中的照片的各种类型的照片分析引擎所获得的照片分析信息。此处,照片分析引擎的安装位置在服务器11内,但是该位置不限于此并且位置是可选的。服务器11可以被配置为具有多个装置的云系统。
而且,照片分析引擎的类型没有特别地限定,但是根据本实施例,使用了以下照片分析引擎。
例如,根据本实施例,使用了用于物理对象识别的照片分析引擎。关于对象是什么(诸如照片中包括的拍摄内容是否是饮食、汽车等)的物理对象识别结果包括在由用于物理对象识别的照片分析引擎所获得的照片分析信息中。
而且,例如,根据本实施例,使用了用于面孔/人物识别的照片分析引擎。诸如包括在照片中的人物的面部角度、情绪、年龄、性别等的信息、识别人员的信息等的面孔/人物识别结果包括在由用于面孔/人物识别的照片分析引擎所获得的照片分析信息中。
而且,例如,根据本实施例,使用了用于饮食识别的照片分析引擎。诸如包括在照片中的饮食的位置、类别、名称、原料、热量、营养等的信息的饮食识别结果包括在由用于饮食识别的照片分析引擎所获得的照片分析信息中。
而且,例如,根据本实施例,使用了用于构图分析的照片分析引擎。诸如照片中的拍摄内容的分布和作为主要拍摄内容而拍摄的拍摄内容等的构图分析结果包括在由用于构图分析的照片分析引擎所获得的照片分析信息中。
而且,例如,根据本实施例,使用了用于情景分析的照片分析引擎。诸如照片是风景照片还是人物照片等的场景分析结果包括在由用于场景分析的照片分析引擎所获得的照片分析信息中。
而且,例如,根据本实施例,使用了用于关注区域识别的照片分析引擎。诸如照片中观看者有可能关注的区域等的关注区域识别结果包括在由用于关注区域识别的照片分析引擎所获得的照片分析信息中。
有很多组合使用这些各种类型的照片分析引擎的情况。在该情况下,照片分析信息获得单元41获得由组合使用的各种类型的照片分析引擎中的每个所获得的各种类型的照片分析信息。
照片附加信息获得单元42获得诸如照片的拍照日期和时间、拍照地点、拍照模式等的照片附加信息。
拍照片时的日期和时间以及季节等可以根据拍照日期时间来找到。拍照地点是基于GPS(全球定位系统)等的位置信息,并且可以找到拍照片的地点的名称和地址等。拍照模式是拍照片时相机的拍照模式例如,在拍照模式表明风景模式的情况下,我们可以看到拍了风景照片。而且,例如,在拍照模式表明肖像模式的情况下,我们可以看到拍了人物的照片。
照片附属信息获得单元43获得诸如照片所属的社区、附加到照片的标签或评论等的照片附属信息。
照片所属的社区的信息是照片上传到的SNS的信息,标签可以根据投稿者或观看者来改变。附加到照片的标签表明由拍照片的用户所附加的标签或者诸如照片标题名称的、根据用户的指示所附加以便于检索或整理照片的照片总体特征。附加到照片的评论是由照片上传到的社区所附加的评论或者诸如“喜欢”的评价性评论等,并且根据附加定时而适当地改变。
因此,稍后描述的关键词生成单元32可以基于由照片附属信息获得单元43获得的照片附属信息,生成可以根据投稿者或观看者的反应而改变的关键词或者可以根据定时来改变的关键词。
拍摄者/投稿者信息获得单元44获得作为照片的拍摄者或投稿者所属的社区的账户信息等的拍摄者/投稿者信息。注意,诸如使用社区的拍摄者或投稿者的名称、地址、偏好等的信息包括在账户信息中。
观看者/观看环境信息获得单元45获得作为照片的观看者所属的社区的账户信息、观看环境的信息等的观看者/观看环境信息。
取决于拍摄者/投稿者信息和观看者/观看环境信息,可以理解拍摄者或投稿者与观看者之间的关系或者在社区内的联系等。稍后描述的关键词生成单元32使用该信息,从而可以因拍摄者或投稿者而不同或者因观看者而不同地生成关键词。
关键词生成单元32基于由照片相关信息获得单元31获得的各种类型的照片相关信息来生成关键词。所生成的关键词可以是照片相关信息自身,或者可以是其中使用预定规则或数据库修改了照片相关信息的关键词。而且,一个关键词可以根据多条照片相关信息来生成,并且多个关键词可以根据一条照片相关信息来生成。在任一情况下,如上所述,即使借助于相同的拍摄内容,也可以根据情况得到不同的照片相关信息,从而根据情况生成关于相同拍摄内容的不同关键词。
例如,可以生成根据整个照片来描述照片中的对象的环境或情况的词作为关键词。而且,例如,可以生成与拍照时的时间、地方或环境相关的词作为关键词。而且,例如,可以生成与照片所属的社区相关的词作为关键词。注意,与社区等相关的词意味着表明在社区中照片所属的相册的名称等的词、或者在拍照或投稿时社区中流行的词(所谓的流行词(buzzword))等。而且,例如,可以生成与拍摄者或观看者相关的词作为关键词。
显示文本串候选生成单元33使用由关键词生成单元32生成的一个或更多个关键词,并且生成用作照片中包括的拍摄内容的名称或描述的文本串来作为显示文本串候选。所生成的显示文本串候选可以是关键词自身,或者可以是链接到一起的多个关键词。而且,所生成的显示文本串候选可以是其中使用预定规则或数据库修改了关键词的关键词。在任何情况下,如上所述,即使借助于相同的拍摄内容,也根据情况生成不同的词作为关键词,从而即使针对相同拍摄内容,也根据情况生成不同的显示文本串候选。
作为显示文本串候选的示例,例如,可以生成组合了作为描述目标自身的名词的关键词和作为表达目标的状态的形容词的关键词的文本串作为显示文本串候选。
而且,例如,可以生成只组合了名词的文本串作为显示文本串候选。注意,在生成只组合了名词的文本串作为显示文本串候选的情况下,可以通过将描述目标自身的名词放置到文本串的结尾来生成自然文本串。
而且,例如,可以生成其中将关键词插入预定模板的文本串作为显示文本串候选。注意,例如,可以使用称为“AA类型BB(例如泰国类型咖喱)”的模板作为预定模板。在该情况下,将表达地理位置的关键词插入“AA”,并且将作为描述目标自身的名词的关键词插入“BB”,从而生成显示文本串候选。
显示文本串选择单元34根据预定规则,从由显示文本串候选生成单元33生成的多个显示文本串候选中选择最优显示文本串来成为要显示的文本串。
作为预定规则,可以利用其中例如针对每个所生成的显示文本串候选计算得分并且基于这些得分选择最优显示文本串的规则。在针对整个照片显示一个显示文本串的情况下,从所有所生成的显示文本串候选中选择显示文本串。相反地,在针对照片的预定区域来显示显示文本串的情况下,从根据关键词生成的显示文本串候选中选择显示文本串,这些关键词是根据由预定区域获得的照片相关信息生成的。
注意,在不必须选择显示文本串的情况下,例如,在没有进行观看的预处理等的情况下,所有所生成的显示文本串候选都记录在记录单元22中。而且,在用户手动地选择显示文本串的情况下,显示所有所生成的显示文本串候选。在该情况下,省略得分计算。
作为得分计算方法,例如,可以利用如下第一计算方法:根据显示文本串候选的文本串长度来计算得分。在将显示文本串显示在终端装置12的显示器等上的很多情况下,显示区域是受限的。因此,可以计算具有从显示区域中可显示的字符数里减去显示文本串候选的字符数的数字值作为得分。在该情况下,在所计算的得分中,选择附加有是0或更大的最大得分的显示文本串候选(即,具有最短文本串的显示文本串候选)作为显示文本串。注意,可以做出如下设置:可以选择具有最长文本串的显示文本串候选。
而且,作为另一得分计算方法,例如,可以利用如下第二计算方法:根据显示文本串候选中包括的关键词来计算得分。在描述照片中包括的拍摄对象的情况下,可以确定使用较大数目的关键词可以更加容易理解。因此,可以根据显示文本串候选中包括的关键词的数目来计算得分。在该情况下,可以选择附加有最大得分的显示文本串候选(即,其中包括有更多关键词的显示文本串候选)作为显示文本串。注意,可以选择包括更少关键词的显示文本串候选。
而且,作为另一得分计算方法,例如,可以利用如下第三计算方法:根据由照片相关信息获得单元31获得的照片相关信息的类型来将得分附加到照片相关信息,并且基于该得分来计算显示文本串候选得分。例如,在观看上传到提供SNS的服务器11的照片的情况下,在基于照片相关信息生成的关键词中,基于包括更多照片附属信息、拍摄者/投稿者信息或者观看者/观看环境信息的关键词生成的显示文本串候选会包括更多对SNS的用户有用的信息。因此,在照片相关信息中,附加到照片附属信息、拍摄者/投稿者信息或者观看者/观看环境信息的得分大于附加到照片分析信息和照片附加信息的得分。
而且,得分是针对基于照片相关信息生成的关键词来附加的。换言之,附加到作为关键词生成的基础的照片相关信息的得分之和的值变成关键词的得分。此外,计算基于关键词生成的显示文本串候选的得分。换言之,附加到作为显示文本串候选生成的基础的关键词的得分之和的值成为显示文本串候选的得分。在该情况下,选择附加有最大得分的显示文本串候选(即,包括最多照片附属信息、拍摄者/投稿者信息或者观看者/观看环境信息的显示文本串候选)作为显示文本串。注意,可以改变附加较大得分的照片相关信息的类型。
此外,可以利用适当地组合了第一至第三计算方法中两个或更多可选的方法的得分计算方法。例如,可以借助于第一计算方法,针对具有通过第三计算方法计算的得分当中较大的得分的显示文本串候选再次计算得分。因而,可以在考虑显示文本串的平均值的同时通过文本串长度来选择显示文本串。
用于每个控制单元23中的处理的数据和由每个控制单元23生成的数据适当地记录在记录单元22中。因此,可以不必须再次设定要处理的照片用于处理,并且可以不必须再次生成相同的关键词,使得能够有效率地进行处理。
驱动器24驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质25。
[在照片观看时显示文本串的自动生成处理]
接下来,将参照图3来描述在由预定终端装置12的用户观看服务器11上记录的照片数据的情况下服务器11和终端装置12之间的处理的关系。
图3是描述了服务器11和终端装置12之间的处理中的关系的流程图。
在图3的示例中,由可选的终端装置12(在图3的情况下,终端装置12-1)上传到服务器11的照片的数据被另一终端装置12(在图3的情况下,终端装置12-2)接收到,并且照片可以被终端装置12-2的用户观看。在服务器11上,自动生成一个或更多个显示文本串。因而,由终端装置12-1执行的处理称为照片上传处理,而由终端装置12-2执行的处理称为照片观看处理。而且,由服务器11执行的处理称为照片观看时的显示文本串自动生成处理。
在步骤S1中,终端装置12-1将照片数据上传到服务器11。
换言之,从服务器11来看,在步骤S21中服务器11的通信单元21从终端装置12-1接收照片数据。
在步骤S22中,服务器11的记录单元22记录在步骤S21中的处理中由通信单元21接收的照片数据。
因而,在照片数据记录在服务器11的记录单元22中的状态的同时,在步骤S41中终端装置12-2访问服务器11并且请求服务器11得到在步骤S22中的处理中由服务器11的记录单元22记录的照片数据。
在步骤S23中,服务器11的照片相关信息获得单元31从记录单元22获得由终端装置12-2所请求的照片数据。
在步骤S24中,服务器11的照片相关信息获得单元31获得与在步骤S23中的处理中获得的照片数据相关的照片相关信息。稍后将参照图4来描述步骤S24中的处理的细节,诸如获得照片相关信息。
在步骤S25中,服务器11的关键词生成单元32基于在步骤S24中的处理中获得的照片相关信息来生成关键词。稍后将参照图5来描述步骤S25中的处理的细节,诸如要生成的关键词及其生成方法。
在步骤S26中,服务器11的显示文本串候选生成单元33使用在步骤S25中的处理中生成的关键词来生成显示文本串候选。稍后将参照图6来描述步骤S26中的处理的细节,诸如要生成的显示文本串候选及其生成方法。
在步骤S27中,服务器11的显示文本串选择单元34从在步骤S26中的处理中生成的显示文本串候选中选择显示文本串。稍后将参照图7来描述步骤S26中的处理的细节,诸如要选择的显示文本串及其选择方法。
在步骤S28中,服务器11的通信单元21将在步骤S27中的处理中所选择的显示文本串与照片数据相关联,并且将其发送到终端装置12-2。
在发送显示文本串和照片数据时,终端装置12-2执行步骤S42中的处理。换言之,在步骤S42中,终端装置12-2接收显示文本串和照片数据。
在步骤S43中,终端装置12-2对显示文本串和照片进行显示。稍后将参照图8来描述显示在终端装置12-2上的显示文本串和照片。
因而,服务器11和终端装置12的处理结束。
此外,稍后将参照图4至8来描述由终端装置12-2进行的步骤S43中的处理以及由服务器11进行的步骤S24至S27中的处理的细节。
[照片相关信息]
在如上所述获得照片数据时(步骤S23),可以由照片相关信息获得单元31获得诸如图4中所示的照片相关信息(步骤S24)。
图4是图示了在步骤S24中的处理中由照片相关信息获得单元31获得的照片相关信息的示例的图。
图4中的照片P1是对应于在步骤S23中的处理中由记录单元22获得的数据的照片。照片P1包括作为咖喱米饭的拍摄内容C和作为沙拉的拍摄内容S,以作为在观看照片时要针对其执行对显示文本串的自动生成处理的对象。
照片分析信息获得单元41获得包括表明饮食的照片的信息IAA1(以下称为饮食照片信息IAA1)以及关注区域坐标信息IAA2的照片分析信息IAA,以作为照片P1中的照片分析信息。
具体地,照片分析引擎执行对象识别处理,并且识别出照片P1中包括的拍摄内容是饮食。而且,照片分析引擎执行关注区域识别处理,识别出拍摄内容C的区域作为关注区域(拍摄内容C是布置在照片P1的区域的中心的咖喱米饭),并且获得关注区域的坐标(这些坐标是屏幕的中心处的坐标,并且以下将被称为关注区域坐标)。因而,饮食照片信息(表达目标照片是饮食的照片的信息)IAA1和关注区域坐标信息IAA2包括在照片分析信息IAA中。
而且,照片分析信息获得单元41获得包括饮食区域坐标信息IAS1、沙拉信息(表达拍摄内容S的类别是沙拉的信息)IAS2、卷心菜信息(表达拍摄内容S的原料是卷心菜的信息)IAS3和20千卡信息(表达拍摄内容S的热量是20千卡的信息)IAS4的照片分析信息IAS。
具体地,照片分析引擎执行饮食识别处理,并且获得拍摄内容S的位置(在屏幕的右上部上的坐标,并且以下称为饮食区域坐标)。而且,照片分析引擎执行饮食识别处理,并且识别拍摄内容S的类别、原料和热量。因而,饮食区域坐标信息IAS1、沙拉信息IAS2、卷心菜信息IAS3和20千卡信息IAS4包括在照片分析信息IAS中。
而且,照片分析信息获得单元41获得饮食区域坐标信息IAC1、咖喱信息(表达拍摄内容C的类别的咖喱的信息)IAC2、南瓜信息(表达拍摄内容C的原料是南瓜的信息)IAC3、茄子信息(表达拍摄内容C的原料是茄子的信息)IAC4、芦笋信息(表达拍摄内容C的原料是芦笋的信息)IAC5、莲藕信息(表达拍摄内容C的原料是莲藕的信息)IAC6、米饭信息(表达拍摄内容C的原料是米饭的信息)IAC7和500千卡信息(表达拍摄内容C的热量是500千卡的信息)IAC8作为针对照片P1中包括的咖喱米饭的拍摄内容C的照片分析信息。
具体地,照片分析引擎执行饮食识别处理,并且获得拍摄内容C的位置(在屏幕的中心处的坐标)。而且,照片分析引擎执行饮食识别处理,并且识别拍摄内容C的类别、原料和热量。因而,饮食区域坐标信息IAC1、咖喱信息IAC2、南瓜信息IAC3、茄子信息IAC4、芦笋信息IAC5、莲藕信息IAC6、米饭信息IAC7和500千卡信息IAC8包括在照片分析信息IAC中。
而且,照片附加信息获得单元42获得照片附加信息IB作为照片P1的照片附加信息,其包括品川站地区信息(表达目标照片的拍照地点在品川站地区的信息)IB1、CC餐厅信息(表达目标照片的拍照地点是CC餐厅的信息)IB2、2008/08/1512:10信息(表达目标照片的拍照日期/时间是2008/08/1512:10的信息)IB3、微距模式信息(表达目标照片的拍照模式是微距模式的信息)IB4和焦距DDmm信息(表达目标照片的焦距是DDmm的信息)IB5。
具体地,获得拍照片P1的地点和拍照地点的名称和日期/时间、拍照模式和焦距。因而,品川站地区信息IB1、CC餐厅信息IB2、2008/08/1512:10信息IB3、微距模式信息IB4和焦距DDmm信息IB5包括在照片附加信息IB中。
而且,作为照片P1的照片附属信息,照片附属信息获得单元43获得包括“登记在A先生的喜好中”的消息信息IC1和“‘看起来不错’——B女士”的消息信息IC2的照片附属信息IC。
具体地,获得了照片P1上传到的社区中的状态和照片P1上传到的社区中附加的评论。因而,“登记在A先生的喜好中”的消息信息IC1和“‘看起来不错’——B女士”的消息信息IC2包括在照片附属信息IC中。
而且,拍摄者/投稿者信息获得单元44获得包括“本月第五次在CC餐厅拍照片”的消息信息IDS1和“喜好的食物是咖喱”的消息信息IDS2的拍摄者/投稿者信息IDS作为照片P1的拍摄者/投稿者信息。
具体地,根据拍摄者或投稿者的账户信息(即,在该情况下,终端装置12-1的用户的信息)获得拍摄者或投稿者拍照片的地点和次数的信息以及喜好饮食信息。因而,“本月第五次在CC餐厅拍照片”的消息信息IDS1和“喜好的食物是咖喱”的消息信息IDS2包括在拍摄者/投稿者信息IDS中。
而且,观看者/观看环境信息获得单元45获得包括“认识A先生”的消息信息IDR1和“不认识B女士”的消息信息IDR2的观看者/观看环境信息IDR作为照片P1的观看者/观看环境信息。
具体地,可以根据观看者(即,在该情况下,终端装置12-2的用户)所属的SNS的账户信息来得到观看者和投稿者通过SNS的关系和联系。因而,“认识A先生”的消息信息IDR1和“不认识B女士”的消息信息IDR2包括在观看者/观看环境信息IDR中。
[关键词]
而且,如上所述,在由照片相关信息获得单元31获得图4中所示的照片相关信息时,由关键词生成单元生成图5中所示的关键词(步骤S25)。
图5是图示了在步骤S25中的处理中由关键词生成单元32生成的关键词的示例的图。
在图5的左侧上图示了由照片相关信息获得单元31获得的照片相关信息。在图5的右侧上图示了基于照片相关信息生成的关键词的示例。
关键词生成单元32根据照片分析信息IAA中包括的饮食照片分析信息IAA1来识别出“饮食”作为整个照片P1的状态,并且生成具有词“饮食”的关键词关键1。
而且,关键词生成单元32根据照片分析信息IAA中包括的关注区域坐标信息IAA2、照片分析信息IAS中包括的饮食区域坐标信息IAS1和照片分析信息IAC中包括的饮食区域坐标信息IAC1和咖喱信息IAC2来识别出“咖喱”,并且生成具有词“咖喱”的关键词关键2。
具体地,饮食区域坐标信息IAC1包括在关注区域坐标信息IAA2中,从而将照片P1中的主要拍摄内容识别为“咖喱”,并且生成表明“咖喱”的词作为关键词关键2。
而且,关键词生成单元32根据照片分析信息IAS中包括的沙拉信息IAS2来识别出“沙拉”,并且生成具有词“沙拉”的关键词关键3。
具体地,将表明饮食类别的沙拉信息IAS2自身识别为关键词,并且生成表明“沙拉”的词作为关键词关键3。
而且,关键词生成单元32根据照片分析信息IAS中包括的卷心菜信息IAS3来识别出“卷心菜”,并且生成具有词“卷心菜”的关键词关键4。
具体地,如果在表明饮食原料的照片相关信息中存在表明覆盖大的区域的原料的照片相关信息,则采用该信息作为关键词。在该情况下,表明沙拉的拍摄内容S的原料的照片相关信息仅仅是卷心菜信息IAS3。因此,将照片分析信息IAS中包括的卷心菜信息IAS3识别为关键词,并且生成表明“卷心菜”的词作为关键词关键4。
而且,关键词生成单元32根据照片分析信息IAC中包括的咖喱信息IAC2来识别出“咖喱”,并且生成具有词“咖喱”的关键词关键5。
具体地,将表明饮食类别的咖喱信息IAC2自身识别为关键词,并且生成表明“咖喱”的词作为关键词关键5。
而且,关键词生成单元32根据照片分析信息IAC中包括的咖喱信息IAC2和米饭信息IAC7来识别出“咖喱米饭”,并且生成具有词“咖喱米饭”的关键词关键6。
具体地,根据咖喱信息IAC2和米饭信息IAC7识别出饮食名称“咖喱米饭”,并且生成表明“咖喱米饭”的词作为关键词关键6。
而且,关键词生成单元32根据照片分析信息IAC中包括的南瓜信息IAC3、茄子信息IAC4、芦笋信息IAC5和莲藕信息IAC6来识别出“夏季蔬菜”,并且生成具有词“夏季蔬菜”的关键词关键7。
具体地,根据南瓜信息IAC3、茄子信息IAC4、芦笋信息IAC5和莲藕信息IAC6来识别出共同属性“夏季蔬菜”,并且生成表明“夏季蔬菜”的词作为关键词关键7。注意,如果饮食(即,咖喱)的原料中存在表明覆盖大的区域的原料的照片相关信息,则采用该信息作为关键词。在该情况下,没有覆盖大的区域的原料,所以生成全部原料作为平行的关键词。
而且,关键词生成单元32根据照片分析信息IAC中包括的咖喱信息IAC2和500千卡信息IAC8来识别出“低热量”,并且生成具有词“低热量”的关键词关键8。
具体地,500千卡相比于700千卡的典型咖喱是低热量的,所以被识别为“低热量”,并且生成表明“低热量”的词作为关键词关键8。注意,将照片分析信息IAS中包括的20千卡信息IAS4识别为具有与典型沙拉热量的小的热量差异,所以不使用20千卡信息来生成关键词。
而且,关键词生成单元32根据照片分析信息IAA中包括的饮食照片信息IAA1以及照片附加信息IB中包括的CC餐厅信息IB2和2008/08/1512:10信息IB3识别出“午饭”,并且生成具有词“午饭”的关键词关键9。
具体地,在存在满足照片相关信息中的规则“拍照日期/时间是午饭时间段,拍照地点的名称是餐厅,并且照片是饮食照片”的照片相关信息的情况下,从中识别出“午饭”,并且使用表明“午饭”的词作为关键词。在该情况下,饮食照片信息IAA1、CC餐厅信息IB2和2008/08/1512:10信息IB3满足该规则,从而识别出“午饭”,并且生成表明“午饭”的词作为关键词关键9。
而且,关键词生成单元32根据照片附加信息IB中包括的CC餐厅信息IB2来识别出“CC餐厅”,并且生成具有词“CC餐厅”的关键词关键10。
具体地,表明诸如餐厅名称的适当名词的照片相关信息有助于描述目标,并且可以因此不加改变地用作关键词。在该情况下,CC餐厅信息IB2表明了适当名词,从而生成表明“CC餐厅”的词作为关键词关键10。
而且,关键词生成单元32根据照片附加信息IB中包括的2008/08/1512:10信息IB3来识别出“夏季”,并且生成具有词“夏季”的关键词关键11。
具体地,将表明拍照日期/时间的照片相关信息简单滴转换为四季并且用作关键词。在该情况下,将2008/08/1512:10信息IB3转换为四季并且识别出“夏季”,并且生成表明“夏季”的词作为关键词关键11。
而且,关键词生成单元32根据照片附加信息IB中包括的CC餐厅信息IB2和拍摄者/投稿者信息IDS中包括的“本月第五次在CC餐厅拍照片”的消息信息IDS1来识别出“常去的店”,并且生成具有词“常去的店”的关键词关键12。
具体地,根据表明位置信息的照片相关信息和表明投稿者频繁地去CC餐厅的照片相关信息来识别出作为“常去的店”的店,并且生成表明“常去的店”的词作为关键词关键12。
而且,关键词生成单元32根据照片分析信息IAC中包括的咖喱信息IAC2和拍摄者/投稿者信息IDS中包括的“喜好的食物是咖喱”的消息信息IDS2来识别出“喜好”,并且生成具有词“喜好”的关键词关键13。
具体地,根据作为照片P1的拍摄内容而包括的咖喱拍摄内容C以及投稿者喜好的食物是咖喱的照片相关信息来识别出作为“喜好”的饮食,并且生成词“喜好”作为关键词关键13。
而且,关键词生成单元32根据照片附属信息IC中包括的“登记在A先生的喜好中”的消息信息IC1和观看者/观看环境信息IDR中包括的“认识A先生”的消息信息IDR1来识别出“A先生也喜欢”,并且生成具有词“A先生也喜欢”的关键词关键14。
具体地,根据“登记在A先生的喜好中”的消息信息IC1和“认识A先生”的消息信息IDR1来识别出“A先生也喜欢”,并且生成表明“A先生也喜欢”的词作为关键词关键14。注意,在观看者不认识A先生的情况下,不生成该关键词。而且,照片附属信息IC中包括的“‘看起来不错’——B女士”的消息信息IC2表明B女士对照片P1附属了评论。然而,根据观看者/观看环境信息IDR中包括的“不认识B女士”的消息信息IDR2,识别出关于B女士的信息对于观看者是不相干的,并且不生成关于B女士的关键词。
[显示文本串候选]
如上所述,在由关键词生成单元32生成图5中所示的关键词时(步骤S25),由显示文本串候选生成单元33生成诸如图6中所示的显示文本串候选(步骤S26)。
图6是图示了在步骤S26中的处理中由显示文本串候选生成单元33生成的显示文本串候选的示例的图。
在图6的左侧上,图示了由关键词生成单元32生成的关键词的示例。在图6的右侧上,图示了基于关键词生成的显示文本串候选的示例。
显示文本串候选生成单元33根据具有词“沙拉”的关键词关键3和具有词“卷心菜”的关键词关键4来生成“卷心菜沙拉”的显示文本串候选DW1。
具体地,根据由关键词关键1表明的词“沙拉”和由关键词关键2表明的词“卷心菜”,生成作为一种类型的沙拉的“卷心菜沙拉”的文本串作为显示文本串候选DW1。
而且,显示文本串候选生成单元33根据具有词“沙拉”的关键词关键3、具有词“咖喱”的关键词关键5和具有词“午饭”的关键词关键9来生成“沙拉和咖喱午饭”的显示文本串候选DW2。
具体地,作为对由关键词关键9表明的词“午饭”的说明,连接组成了“午饭”的、由关键词关键3表明的词“沙拉”和由关键词关键5表明的词“咖喱”。因而,生成作为对午饭的描述的“沙拉和咖喱午饭”的文本串来作为显示文本串候选DW2。
而且,示文本串候选生成单元33根据具有词“咖喱米饭”的关键词关键6和具有词“常去的店”的关键词关键12来生成“常去的店的咖喱米饭”的显示文本串候选DW3。
具体地,连接描述由关键词关键6表明的目标“咖喱米饭”自身的词和限定由关键词关键12表明的目标“常去的店”自身的词。因而,作为对限定咖喱米饭的描述,生成文本串“常去的店的咖喱米饭”作为显示文本串候选DW3。
而且,示文本串候选生成单元33根据具有词“咖喱”的关键词关键5、具有词“夏季蔬菜”的关键词关键7和具有词“低热量”的关键词关键8来生成“低热量夏季蔬菜咖喱”的显示文本串候选DW4。
具体地,连接描述由关键词关键5表明的目标“咖喱”的词以及修饰该目标的、作为由关键词关键7表明的“常夏季蔬菜”和由关键词关键8表明的“低热量”的词。因而,生成作为一种咖喱的文本串“低热量夏季蔬菜咖喱”来作为显示文本串候选DW4。
而且,显示文本串候选生成单元33根据具有词“咖喱”的关键词关键5、具有词“CC餐厅”的关键词关键10和具有词“A先生也喜欢”的关键词关键14来生成“A先生推荐CC餐厅的咖喱”的显示文本串候选DW5。
具体地,将关键词插入“<登记到喜好中的人物姓名>推荐<地点>的<描述目标的名词>”的模板。在该情况下,将来自由关键词关键14表明的“A先生也喜欢”的词“A先生”作为<登记到喜好中的人物姓名>来插入。而且,将由关键词关键5表明的词“咖喱”作为<描述目标的名词>来插入。而且,将由关键词关键10表明的词“CC餐厅”作为<地点>来插入。因而,生成文本串“A先生推荐CC餐厅的咖喱”作为显示文本串候选DW5。
[对显示文本串候选的选择]
此外,如上所述,在由显示文本串候选生成单元33生成图6中所示的显示文本串候选时(步骤S26),由显示文本串选择单元34选择显示文本串(步骤S27),如图7中所示。
图7是图示了在步骤S27中的处理中由显示文本串选择单元34选择的显示文本串的示例的图。
在图7的左侧上图示了由图片相关信息获得单元31获得的图片相关信息的示例。在图7的中心图示了用于根据由关键词生成单元32生成的关键词来生成显示文本串候选的关键词的示例。在图7的右侧上图示了由显示文本串候选生成单元33生成的显示文本串候选的示例。
而且,在图7的右下侧上,图示了由显示文本串选择单元34根据图7的右上侧所示的显示文本串候选来选择的显示文本串DA1。以下将描述到选择显示文本串DA1为止的流程的具体示例,如图7中所示。
现在,图7图示了在上传到由预定SNS运行的服务器11的照片正在被观看的情况下由显示文本串选择单元34选择的显示文本串DA1的示例。而且,显示文本串选择单元34根据预定规则来选择显示文本串DA1。作为这样的预定规则,有利的是利用如下规则:基于使用上述第三计算方法计算的得分来选择显示文本串的规则。现在,根据第三计算方法,为了充分利用SNS的特征,在照片相关信息中,附加到拍摄者/投稿者信息、照片附属信息和观看者/观看环境信息的得分的较大。
因此,如图7的左侧上所示,在照片相关信息中,将较大的得分附加到拍摄者/投稿者信息、照片附属信息和观看者/观看环境信息。具体地,在该情况下,将得分3附加到拍摄者/投稿者信息IDS和照片附属信息IC中的每个,并且将得分5附加到观看者/观看环境信息IDR。另一方面,将较小的得分附加到照片相关信息中的照片分析信息和照片附加信息。具体地,在该情况下,将得分1附加到照片分析信息IAA、IAS和IAC和照片附加信息IB中的每个。
接下来,将得分1附加到具有词“沙拉”的关键词关键3,如图7中心所示。具体地,仅根据包括在沙拉信息IAS2中的“沙拉”来生成关键词关键3。因此,关键词关键3的得分不加改变地利用了沙拉信息IAS2的得分。换言之,沙拉信息IAS2属于照片分析信息IAS,从而照片分析信息IAS的得分1成为沙拉信息IAS2的得分,并且继而被利用作为关键词关键3的得分。
相似地,将得分1附加到具有词“卷心菜”的关键词关键4。
相似地,将得分1附加到具有词“咖喱”的关键词关键5。
而且,将得分2附加到具有词“咖喱米饭”的关键词关键6。具体地,根据咖喱信息IAC2和米饭信息IAC7来生成关键词关键6。因此,利用咖喱信息IAC2和米饭信息IAC7的得分的总和来作为关键词关键6的得分。换言之,咖喱信息IAC2属于照片分析信息IAC,所以照片分析信息IAC的得分1不加改变地成为咖喱信息IAC2的得分。而且,米饭信息IAC7属于照片分析信息IAC,所以照片分析信息IAC的得分1不加改变地成为米饭信息IAC7的得分。因此,作为将咖喱信息IAC2的得分1和米饭信息IAC7的得分2加到一起的结果,利用得分2作为关键词关键6的得分。
相似地,将得分4附加到具有词“夏季蔬菜”的关键词关键7。
相似地,将得分2附加到具有词“低热量”的关键词关键8。
而且,将得分3附加到具有词“午饭”的关键词关键9。具体地,根据饮食照片信息IAA1、CC餐厅信息IB2和2008/08/1512:10信息IB3来生成关键词关键9。因此,利用饮食照片信息IAA1的得分、CC餐厅信息IB2的得分和2008/08/1512:10信息IB3的得分的总和来作为关键词关键9的得分。换言之,饮食照片信息IAA1属于照片分析信息IAA,所以照片分析信息IAA的得分1不加改变地成为饮食照片信息IAA1的得分。而且,CC餐厅信息IB2属于照片附加信息IB,所以照片附加信息IB的得分1不加改变地成为CC餐厅信息IB2的得分。而且,2008/08/1512:10信息IB3属于照片附加信息IB,所以照片附加信息IB的得分1不加改变地成为2008/08/15 12:10信息IB3的得分。因此,作为将饮食照片信息IAA1的得分1、CC餐厅信息IB2的得分1和2008/08/1512:10信息IB3的得分1加到一起的结果,利用得分3作为关键词关键9的得分。
相似地,将得分1附加到具有词“CC餐厅”的关键词关键10。
相似地,将得分4附加到具有词“常去的店”的关键词关键12。
相似地,将得分8附加到具有词“A先生也喜欢”的关键词关键14。
接下来,将得分2附加到“卷心菜沙拉”的显示文本串候选DW1,如图7的右上侧上所示。具体地,根据具有词“沙拉”的关键词关键3和具有词“卷心菜”的关键词关键4来生成显示文本串候选DW1。因此,利用关键词关键3的得分和关键词关键4的得分的总和来作为显示文本串候选DW1的得分。换言之,作为将关键词关键3的得分1和关键词关键4的得分1加到一起的结果,利用得分2作为显示文本串候选DW1的得分。
相似地,将得分5附加到“沙拉和咖喱午饭”的显示文本串候选DW2。
相似地,将得分6附加到“常去的店的咖喱米饭”的显示文本串候选DW3。
相似地,将得分7附加到“低热量夏季蔬菜咖喱”的显示文本串候选DW4。
相似地,将得分10附加到“A先生推荐CC餐厅的咖喱”的显示文本串候选DW5。
在将得分附加到全部显示文本串候选时,显示文本串选择单元34选择具有最大得分的显示文本串候选作为显示文本串。具体地,在图7的示例中,选择附加有最大的得分10的“A先生推荐CC餐厅的咖喱”的显示文本串候选DW5作为显示文本串DA1。
注意,在图7的示例中,作为没有选择为显示文本串的显示文本串候选,显示文本串候选DW1至DW4没有就其处理进行限定,并且可以从显示目标中移除,但是根据本实施例,将显示文本串候选DW1至DW4作为描述每个拍摄内容的文本串来显示为叠加的。被叠加以描述拍摄内容的这些文本串被称为描述性文本串。
注意,在有多个附加有最大得分显示文本串候选的情况下,例如可以随机地这些显示文本串候选中的一个作为显示文本串。而且,例如,可以组合第一计算法方法和第三计算方法使得从附加有最大得分的显示文本串候补中选择最长(或最短)的文本串作为显示文本串。
[显示示例]
如上所述,在发送显示文本串和照片数据时,终端装置12-2接收显示文本串和照片数据(步骤S42),并且在显示器等上对显示文本串进行显示(步骤S43)。
图8是图示了由终端装置12-2显示的显示文本串和照片的示例的图.
在图8中所示的示例中,从终端装置12-2的用户使用的SNS(例如,照片共享服务)所使用的服务器11提供的照片P1显示在终端装置12-2的显示器51上。
如图8中所示,“A先生推荐CC餐厅的咖喱”的显示文本串DA1作为照片P1的标题显示在照片P1上方。而且,显示针对由照片分析信息获得单元41识别的照片P1中包括的物理对象(即,沙拉拍摄内容S和咖喱拍摄内容C中的每个)的描述性文本串。具体地,将“卷心菜沙拉”的描述性文本串DA11(等同于图7中的显示文本串候选DW1)在显示沙拉拍摄内容S的区域上叠加地显示。而且,将“低热量夏季蔬菜咖喱”的描述性文本串DA12(等同于图7中的显示文本串候选DW4)在显示咖喱拍摄内容C的区域上叠加地显示。注意,描述性文本串针对照片P1中包括的拍摄内容的显示定时没有特别地限定,但根据本实施例,是在将终端装置12-2的诸如鼠标等的指向设备的光标布置在显示每个拍摄内容的区域之上时。
在显示器51上照片P1下方显示SNS的用户针对照片P1写下的评论。在图8的示例胡总,显示“我已登记在喜好中”作为A先生的评论CMA。而且,显示“看起来不错”作为B女士的评论CMB。获得该信息作为照片P1的照片附属信息。换言之,根据A先生的评论CMA获得照片P1的照片附属信息IC中包括的“A先生已登记在喜好中”的消息信息IC1。而且,根据B女士的评论CMB获得照片P1的照片附属信息IC中包括的“‘看起来不错’——B女士”的消息信息IC2。
当由终端装置12-2的用户观看照片P1时,显示描述整个照片P1的显示文本串和描述照片P1中包括的拍摄内容C和S中的每个的描述性文本串。因此,终端装置12-2的用户可以容易地识别整个照片P1的描述和照片P1中包括的拍摄内容C和S中的每个的描述和名称。因而,终端装置12-2的用户可以针对照片P1或者照片P1中包括的拍摄内容C或S,在布置在显示器51上的评论输入框CMI中输入适当的评论。
因而,借助于文本串自动生成系统1,在终端装置12的用户观看照片P1的情况下,将照片P1与用作其描述的文本串一起显示。在生成用作照片P1的描述的文本串的情况下,使用附加到照片P1的信息、附属到照片P1的信息和拍摄者或投稿者的信息。因此,例如,对应于投稿者或观看者响应的定时或者观看的定时,可以生成因用户而变化的显示文本串候选。而且,根据这些显示文本串候选来选择和显示显示文本串。可以理解,这样显示的显示文本串对于每个用户而言是个性化的,并且根据个性化的程度,每个用户可以变得更容易熟悉和理解。
第二实施例
借助于第一实施例,由预定的终端装置12获得在服务器11上记录的照片数据(从终端装置12上传的数据之外的数据),生成要现实中终端装置12上的显示文本串。在该情况下,显示文本串可以根据观看者来改变或者可以根据观看的定时来改变。根据第二实施例,在将照片数据上传到服务器11的情况下,生成一个或更多个显示文本串候选并且将其与照片一起显示在终端装置12上。在该情况下,上传照片的人(即,投稿者)可以通过操作终端装置12,从显示在终端装12上的一个或更多个显示文本串候选中选择要与照片一起显示的显示文本串。
注意,根据第二实施例的服务器11的配置类似于图2中所示的第一实施例。因此,对其的描述将是重复的,并且将被省略。
[上传照片时对显示文本串候选的自动生成处理]
首先,将参照图9来描述在通过用户操作预定的终端装置12将照片数据上传到服务器11的情况下服务器11和终端装置12之间的关系。
图9是描述了服务器11和终端装置12之间的处理的关系的流程图。
在图9的示例中,通过预定的终端装置12(在图9的示例中是终端装置12-1)将照片数据上传到服务器11。在服务器11上自动生成一个或更多个显示文本串候选。现在,由终端装置12-1执行的处理被称为照片上传处理。而且,由服务器11执行的处理被称为上传照片时对显示文本串的自动生成处理。
在步骤S61中,终端装置12-1将照片数据上传到服务器11。
换言之,从服务器11来看,在步骤S81中服务器11的通信单元21从终端装置12-1接收照片数据。
在步骤S82中,服务器11的照片相关信息获得单元31获得在步骤S81中的处理中接收的与照片数据相关的照片相关信息。将参照图10来描述所获得的照片相关信息。
[照片相关信息]
在接收照片数据时(步骤S81),由照片相关信息获得单元31获得诸如图10中所示的照片相关信息(步骤S82)。
图10是图示了在步骤S82中的处理中由照片相关信息获得单元31获得的照片相关信息的示例的图。
图10中所示的照片P1是对应于由终端装置12-1发送并且在步骤S81中的处理中由服务器11接收的数据。咖喱米饭拍摄内容C和沙拉拍摄内容S包括在照片P1中,类似于图4中的示例。
现在,在步骤S82中的处理中获得的照片相关信息基本上类似于根据第一实施例在服务器11上当照片观看时对显示文本串的自动生成处理的步骤S24中的处理中或得到照片相关信息(参见图4)。
然而,根据第一实施例,在预定的终端装置12(终端装置12-2)上观看由另一终端装置12(终端装置12-1)上传到服务器11的照片P1。换言之,照片P1的投稿者(注意,投稿者可能与拍摄者不是同一个人)和照片P1的观看者是不同的人。相反地,根据第二实施例,由终端装置12-1的用户上传到服务器11的照片P1由终端装置12-1的用户自己来观看。换言之,照片P1的投稿者(注意,投稿者可能与拍摄者不是同一个人)和照片P1的观看者是同一个人。因此,与观看者和观看环境有关的观看者/观看环境信息IDR不是由观看者/观看环境信息获得单元45获得的。
此外,在上传照片数据的情况下,照片仍然不属于社区,所以没有附加标签和评论等。因此,没有通过照片附属信息获得单元43获得照片附属信息IC。
因而,根据第二实施例,观看者/观看环境信息IDR和照片附属信息IC不包括在由照片相关信息获得单元31获得的照片相关信息中。
换言之,如图10中所示,仅仅照片分析信息IAA、IAS、IAC、照片附加信息IB和拍摄者/投稿者信息IDS包括在由照片相关信息获得单元31在步骤S82中的处理中获得的照片相关信息中。对其的描述将是重复的,所以将被省略。
回到图9的描述,在步骤S82中的处理中获得照片相关信息时,服务器11的关键词生成单元32基于在步骤S82中的处理中获得的照片相关信息来生成关键词。
现在,由步骤S83中的处理生成的关键词基本上类似于根据第一实施例在服务器11上的显示文本串自动生成处理的步骤S25中的处理中生成的关键词(参见图5)。
然而,根据第二实施例,在步骤S82中的处理中没有获得观看者/观看环境信息IDR和照片附属信息IC。因此,关键词生成单元32没有执行使用观看者/观看环境信息IDR和照片附属信息IC来生成关键词。
换言之,在图5中所示的关键词中,根据照片附属信息IC中包括的“A先生登记在喜好中”的消息信息IC1和观看者/观看环境信息IDR中包括的“认识A先生”的消息信息IDR1来生成的具有词“A先生也喜欢”的关键词关键14不包括在步骤S83中的处理中生成的关键词中。
回到图9的描述,在步骤S83中的处理中生成关键词时,在步骤S84中服务器11的显示文本串候选生成单元33使用在步骤S83中的处理中生成的关键词来生成显示文本串候选。
现在,在步骤S84中的处理中生成的显示文本串候选基本上类似于根据第一实施例在服务器11的显示文本串自动生成处理的步骤S26中的处理中生成的显示文本串候选(参见图6)。
然而,根据第二实施例,在步骤S83中的处理中没有执行使用观看者/观看环境信息IDR和照片附属信息IC来生成关键词。因此,显示文本串候选生成单元33没有执行使用基于观看者/观看环境信息IDR和照片附属信息IC生成的关键词来生成显示文本串候选。
换言之,在图6中所示的显示文本串候选中,使用基于观看者/观看环境信息IDR和照片附属信息IC生成的具有词“A先生也喜欢”的关键词关键14生成的“A先生推荐CC餐厅的咖喱”的显示文本串候选DW5不包括在步骤S84中的处理中生成的显示文本串候选中。
回到图9的描述,在步骤S84中的处理中生成显示文本串候选时,服务器11的通信单元21在步骤S85中向终端装置12-2发送在步骤S84中的处理中生成的显示文本串候选。
在发送显示文本串候选时,终端装置12-1执行步骤S62中的处理。换言之,在步骤S62中,终端装置12-1接收显示文本串候选。
在步骤S63中,终端装置12-1选择显示文本串。换言之,终端装置12-1在显示器51上显示在步骤S62中的处理中接收的多个显示文本串候选,并且根据用户操作从中选择显示文本串。
[对显示文本串的选择]
图11是图示了用于用户从多个显示文本串候选中选择显示文本串的操作屏幕的示例的图。
在图11中所示的示例中,要从终端装置12-1上传到服务器11的照片P1显示在终端装置12-1自身的显示器71上。
如图11中所示,“您的照片已上传!请输入标题和描述”的指示性消息D显示在显示器71的上部。根据指示性消息D,用户通过操作终端装置12-1来输入照片P1的标题和描述。
具体地,显示有“请选择标题”的指示性消息的选择框SL1布置在照片P1上方。在用户使用终端装置12-1的指示设备的光标来选择选择框SL1中的倒三角标记时,显示可以选择为照片P1的标题的显示文本串候选(未示出)。因此,用户从所显示的显示文本串候选中选择要作为照片P1的标题显示在另一终端装置12上的显示文本串。如稍后将描述的,所选择的显示文本串作为照片P1的标题记录在服务器11上。
类似地,显示有“请选择”的指示性消息的选择框SL2布置在照片P1上显示沙拉拍摄内容S的区域中。在选择选择框SL2中的倒三角标记时,显示可以选择为沙拉拍摄内容S的描述的显示文本串候选(未示出)。因此,用户从所显示的显示文本串候选中选择要作为沙拉拍摄内容S的描述显示在另一终端装置12上的显示文本串。如稍后将描述的,所选择的显示文本串作为沙拉拍摄内容S的描述记录在服务器11上。
类似地,显示有“请选择”的指示性消息的选择框SL3布置在照片P1上显示咖喱拍摄内容C的区域中。在选择选择框SL3中的倒三角标记时,显示可以选择为沙拉拍摄内容C的描述的显示文本串候选,如图11中所示。具体地,在选择框SL3中显示“常去的店的咖喱米饭”的显示文本串候选DW3和“低热量夏季蔬菜咖喱”的显示文本串候选DW4作为咖喱拍摄内容C的描述。因此,用户从所显示的显示文本串候选中选择要作为咖喱拍摄内容C的描述显示在另一终端装置12上的显示文本串。如稍后将描述的,所选择的显示文本串作为咖喱拍摄内容C的描述记录在服务器11上。
注意,照片P1的显示文本串可以取决于照片P1的观看者是否认识终端装置12-1的用户来改变,所以至少一部分要作为选择候选的显示文本串候选可以适当地改变。
而且,在通过步骤S82至S84中的处理生成许多显示文本串候选的情况下,用户可能难于从选择框SL1至SL3中显示的显示文本串候选中选择文本串。在该情况下,如借助于第一实施例所描述的,所显示的显示文本串候选的数量可以通过借助显示文本串选择单元34选择显示文本串来减少特定量。而且,使用显示文本串选择单元34的显示文本串选择,例如,具有最高得分的显示文本串候选可以设置为预先显示在选择框SL1至SL3中。在该情况下,用户可以容易地将预先显示的显示文本串候选改变为另一显示文本串候选。例如,可以做出如下设置:用户可以通过选择选择框SL1至SL3中每个中的倒三角标记,将预先显示的显示文本串候选改变为另一显示文本串候选。
而且,用户可以校正显示文本串候选中的字符,并且可以创建新的显示文本串候选。
回到图9中的描述,在步骤S63中的处理中选择显示文本串时,在步骤S64中,终端装置12-1向服务器11发送所选择的显示文本串。在该情况下,将在选择框SL1至SL3中选择的显示文本串发送到服务器11。
在发送显示文本串时,服务器11在步骤S86中接收显示文本串。
在步骤S87中,服务器11记录在步骤S86中接收的显示文本串。换言之,在该情况下,分别记录在选择框SL1中选择为照片P1的标题的显示文本串、在选择框SL2中选择为沙拉拍摄内容S的描述的显示文本串、以及在选择框SL3中选择为咖喱拍摄内容C的描述的显示文本串。
此时,服务器11和终端装置12的处理结束。
因此,在另一终端装置12的用户观看照片P1的情况下,在选择框SL1中选择为照片P1的标题的显示文本串、在选择框SL2中选择为沙拉拍摄内容S的描述的显示文本串、以及在选择框SL3中选择为咖喱拍摄内容C的描述的显示文本串与照片P1一起分别显示在另一终端装置12上。
因而,根据文本串自动生成系统1,在终端装置12上传照片P1的情况下,用户仅需要执行简单的操作,诸如从终端装置12自身上显示的多个显示文本串候选中选择与照片P1一起显示的显示文本串。因此,用户可以省略花时间的操作,诸如创建照片P1的原始描述性短语。
第三实施例
根据第三实施例,终端装置12是用户可以自由携带的便携式终端,诸如蜂窝电话等。终端装置12使用应用来使用文本串自动生成系统1,从而可以接收诸如下述的服务。
如果观看外国餐厅的菜单,则书写用的是当地语言,所以特定语言内容可能难于理解。在该情况下,终端装置12的用户操作终端装置12来使用应用,从而可以找出菜单的内容。以下,这样的应用被称为菜单翻译应用。然而,重要的是要注意此处的“翻译”不是总体上执行语言翻译处理,而是借助于服务器11和终端装置12一起工作来通过图像分析执行的翻译。
图12是图示了外国餐厅的菜单MN的示例的图。
如图12中所示,菜单MN具有饮食照片M1至M3,并且饮食照片M1至M3的描述性陈述是用当地语言写的。因而,让我们说,在针对饮食照片M1至M3中的每个写描述性陈述时,这些陈述是用当地语言写的,所以终端装置12的用户不理解饮食的具体内容。
在该情况下,终端装置12根据用户的操作对菜单MN进行拍照,并且将所拍照片的数据上传到服务器11。服务器11随后分析菜单MN中包括的饮食照片M1至M3的数据,并且以用户的母语生成饮食照片M1至M3的名称和描述作为显示文本串。服务器11将所生成的显示文本串发送到终端装置12。终端装置12显示所接收的显示文本串作为饮食照片M1至M3的名称和描述。终端装置12显示所接收的显示文本串作为饮食照片M1至M3的名称和描述。因而,终端装置12的用户可以用他的母语来理解饮食的具体名称和描述。
注意,第三实施例的服务器11的配置类似于图2中所示的第一实施例。因此,对其的描述将是重复的,所以将被省略。
[显示文本串的自动生成]
首先,将参照图13来描述在通过预定的终端装置12的用户使用菜单翻译应用的情况下服务器11和终端装置12之间的处理的关系。
图13是描述了服务器11和终端装置12之间的处理的关系的流程图。
在图13的示例中,通过使用菜单翻译应用由终端装置12-1将菜单MN的照片数据上传到服务器11。在服务器11上,自动生成一个或更多个显示文本串候选并且将其发送到终端装置12-1。现在,由终端装置12-1执行的处理被称为照片上传处理。而且,由服务器11执行的处理被称为对显示文本串的自动生成处理。
在步骤S101中,终端装置12-1将菜单MN的照片数据上传到服务器11。
换言之,从服务器11来看,在步骤S121中服务器11的通信单元21接收来自终端装置12-1的菜单MN的照片数据。
在步骤S122中,服务器11的照片相关信息获得单元31获得借助于步骤S121中的处理接收的与菜单MN的照片数据相关的照片相关信息。换言之,照片相关信息获得单元31获得与菜单MN中包括的饮食图片M1至M3的数据修改的照片相关信息。
在该情况下,借助于终端装置12-1来观看由终端装置12-1上传到服务器11的菜单MN的照片数据。换言之,菜单MN的照片的投稿者(注意,照片的投稿者可能与拍摄者不是同一个人)和菜单MN的照片的观看者是同一个人。因此,没有由观看者/观看环境信息获得单元45获得与观看者和观看环境相关的观看者/观看环境信息IDR。
此外,在上传菜单MN的照片数据的情况下,由于照片不属于社区,所以没有附加标签、评论等。因此,没有由照片附属信息获得单元43获得照片附属信息IC。
因而,根据第三实施例,类似于第二实施例,观看者/观看环境信息IDR和照片附属信息IC不包括在由照片相关信息获得单元31获得的照片相关信息中。
换言之,仅仅照片分析信息IAA、IAS和IAC、照片附加信息IB和拍摄者/投稿者信息IDS包括在由照片相关信息获得单元31在步骤S122中的处理中获得的照片相关信息中。对其的描述将是重复的,所以将被省略。
在步骤S123中,服务器11的关键词生成单元32基于在步骤S122中的处理中获得的照片相关信息来生成关键词。
在该情况下,在步骤S122中的处理中没有获得观看者/观看环境信息IDR和照片附属信息IC。因此,没有由关键词生成单元32执行使用观看者/观看环境信息IDR和照片附属信息IC生成关键词。
换言之,在步骤S123中的处理中生成的关键词不包括使用观看者/观看环境信息IDR和照片附属信息IC生成的关键词。
在步骤S124中,服务器11的显示文本串候选生成单元33使用在步骤S123中的处理中生成的关键词来生成显示文本串候选。
在该情况下,在步骤S123中的处理中没有执行使用观看者/观看环境信息IDR和照片附属信息IC生成关键词。因此,没有由显示文本串候选生成单元33执行使用基于观看者/观看环境信息IDR和照片附属信息IC生成的关键词生成显示文本串候选。
在步骤S125中,服务器11的显示文本串选择单元34从在步骤S124中的处理中生成的显示文本串候选中选择显示文本串。
在该情况下,显示文本串选择单元34根据预定规则来选择显示文本串。作为这样的规则,有利的是利用如下规则:基于使用上述第三计算方法计算的得分来选择显示文本串。这是因为借助于本实施例,终端装置12-1是例如蜂窝电话,从而显示面积小,并且用于显示文本串的显示区域是有限的。因此,有利的是使用如下第一计算方法:根据显示文本串候选的文本串长度来计算得分。换言之,从在步骤S124中的处理中生成的显示文本串候选中选择具有最短文本串的显示文本串候选。
在步骤S126中,服务器11的通信单元21向终端装置12-1发送在步骤S125中的处理中选择的显示文本串的数据。
在发送显示文本串数据时,终端装置12-1执行步骤S102中的处理。换言之,在步骤S102中终端装置12-1接收显示文本串数据。
在步骤S103中,终端装置12-1对显示文本串进行显示。将参照图14来描述在终端装置12-1上显示的显示文本串。
[叠加到菜单MN的照片上的显示文本串]
图14是图示了叠加到菜单MN的照片P11上的显示文本串的示例的图。
如图14中所示,描述饮食照片M1至M3中的每个饮食的描述性文本串(即,用户的母语,在本实施例中这是中文的文本串)叠加并显示在菜单MN的照片P11上。具体地,针对菜单照片M1用中文显示“辣炸土豆”的描述性文本串DA21。而且,针对菜单照片M2用中文显示“带塔塔酱的炸土豆”的描述性文本串DA22。而且,针对菜单照片M3用中文显示“鲑鱼刺身”的描述性文本串DA23。
在终端装置12-1的处理能力低并且难于将描述性文本串DA21至DA23叠加到菜单MN的照片P11上用于显示的情况下,可以在服务器11上执行处理。换言之,在步骤S126中的处理中通信单元21可以向终端装置12-1发送数据,其中将描述性文本串DA21至DA23叠加到菜单MN的照片P11上。在该情况下,终端装置12-1显示所接收的菜单MN的照片P11的数据,从而也可以同时显示描述性文本串DA21至DA23。
因而,根据本实施例,由终端装置12-01向服务器11发送用第一语言(例如针对用户的外语)描述的菜单MN的照片P11。在服务器为11上,通过针对照片P11中包括的拍摄内容的图像分析,生成菜单MN上包括的饮食的名称和描述等作为第二语言(例如用户的母语)的显示文本串。因而,即使没有安装从第一语言到第二语言的(语言)翻译软件,终端装置12-1也可以针对用第一语言描述的菜单MN的照片P11,用第二语言叠加地显示菜单MN中包括的饮食的名称和描述等。
换言之,即使在用户没有安装针对终端装置12-1耗费高负载(并且在一些情况下耗费高成本)的高能力翻译软件的情况下,并且在即使没有携带诸如电子词典的其他电子设备的情况下,也可以只使用针对终端装置12-1的简单操作来用第二语言(母语)识别菜单MN中包括的饮食的名称和描述等。
注意,在上述示例中,将由显示文本串选择单元34选择的显示文本串的数据发送到预定的终端装置12,并且在预定的终端装置12上显示该显示文本串。然而,由显示文本串选择单元34选择的显示文本串借助于预定的终端装置12的呈现状态不特别地限于显示,并且例如可以是音频输出。因此,即使在例如没有显示功能的情况下,终端装置12也可以适当地向用户呈现由显示文本串选择单元34选择的显示文本串。
具体地,例如,存在如下情况:利用没有显示功能并可以附属到一副眼镜的带有相机的便携式设备作为预定的终端装置12。在该情况下,将由预定的终端装置12拍的照片的数据上传到服务器11。服务器11分析所接收的照片数据,并且生成照片中包括的拍摄内容的名称和描述的显示文本串数据。服务器11随后将所生成的显示文本串数据发送到预定的终端装置12。在接收显示文本串数据时,没有显示功能的预定的终端装置12通过音频输出显示文本串。因而,佩戴附属有预定的终端装置12的眼镜的用户可以经由音频理解由视觉识别的物品(通过预定的终端装置12得到的物品照片)的名称和描述。
而且,在以上示例中已经按照照片(即,静止图像)数据来描述了要从预定的终端装置12上传到服务器11的目标,但是可以使用任何图像数据,并且例如可以使用运动图像数据。具体地,例如,在预定的终端装置12具有拍运动图像的功能的情况下,该设备经常会具有在拍照期间实时地显示运动图像的功能(特别是在没有记录运动图像的前提下),被称为直通图像(through image)或者实时取景(live-view)图像。具有这样的功能的预定的终端装置12可以向服务器11上传图像数据。
服务器11分析所接收的直通图像(运动图像)数据,并且生成直通图像中包括的拍摄内容的名称和描述的显示文本串数据。服务器11随后将所生成的显示文本串发送到预定的终端装置12。在接收显示文本串时,预定的终端装置12显示使显示文本串叠加到拍摄内容上并显示的直通图像。因而,用户可以在拍运动图像期间适当地识别拍摄内容的名称和描述。
[本技术的程序的应用]
上述一系列处理可以使用硬件来执行,或者可以使用软件来执行。在使用软件来执行这一系列处理的情况下,将组成其软件的程序安装到计算机上。此处的计算机包括具有内置的专用硬件的计算机、以及可以通过在其中安装各种类型的程序来执行各种类型的功能的通用个人计算机。
例如,在作为计算机的示例的图2的服务器11上,控制单元23内的CPU将存储单元22中存储的程序载入控制单元23中的RAM,从而执行上述系列处理。
例如,由计算机执行的程序可以记录到用作封装介质的可移除介质25上并且由可移除介质25来提供。而且,程序可以经由线缆或者无线发送介质(诸如局域网、因特网和数字卫星广播)来提供。
程序可以通过将可移除介质25附属到驱动器24来安装在计算机的记录单元22中。而且,程序可以由通信单元21经由有限或无线发送介质来接收,并安装在记录单元22中。而且,程序可以预先安装在控制单元23中的ROM或者记录单元22中。
注意,由计算机执行的程序可以是遵循本说明书中描述的顺序以时间序列方式执行处理的程序,或者可以是并行地或在执行调用时适当的定时处执行处理的程序。
本技术可以应用于例如使用SNS的信息处理装置。
根据本技术的实施例不限于上述实施例,并且可以在本技术的意图和范围内做出各种类型的修改。
例如,本技术可以采取借助于多个设备经由网络来划分、共享和处理一个功能的云计算的配置。
而且,流程图中的上述步骤可以由一个设备来执行,或者可以被划分并且由多个设备来执行。
此外,在一个步骤中包括多个处理的情况下,一个步骤中包括的多个处理可以由一个设备来执行,或者可以被划分并且由多个设备来执行。
注意,本技术也可以假定如下配置:
(1)一种信息处理装置,其包括:
图像相关信息获得单元,其获得与预定图像相关的信息作为图像相关信息;
关键词生成单元,其基于由图像相关信息获得单元获得的图像相关信息来生成关键词;以及
显示文本串候选生成单元,其使用由关键词生成单元生成的关键词中的一个或更多个来生成用作用于显示的候选的文本串,以作为显示文本串候选。
(2)根据(1)所述的信息处理装置,其还包括:
显示文本串选择单元,其从由显示文本串候选生成单元生成的显示文本串候选中选择要显示的文本串作为显示文本串。
(3)根据(1)或(2)所述的信息处理装置,其还包括:
通信单元,其将由显示文本串选择单元选择的显示文本串与预定图像的数据相关联,并且发送到其他信息处理装置。
(4)根据(1)至(3)中任一项所述的信息处理装置,其中,显示文本串选择单元还针对每个显示文本串候选计算得分,并且基于针对每个显示文本串候选计算的得分来选择显示文本串。
(5)根据(1)至(4)中任一项所述的信息处理装置,其还包括:
通信单元,其接收从其他信息处理装置发送的预定图像的数据;
其中,基于由通信单元接收的预定图像的数据,图像相关信息获得单元、关键词生成单元和显示文本串候选生成单元各自执行处理;并且
其中,通信单元将由显示文本串候选生成单元生成的显示文本串候选发送到其他信息处理装置。
(6)根据(1)至(5)中任一项所述的信息处理装置,其中
图像相关信息获得单元使用对预定图像的数据的分析结果来以预定语言生成图像相关信息;
并且其中,关键词生成单元以预定语言生成关键词;
并且其中,显示文本串候选生成单元以预定语言生成显示文本串候选。
(7)根据(1)至(6)中任一项所述的信息处理装置,图像相关信息获得单元还包括:
图像分析信息获得单元,其获得表明对预定图像的数据的分析结果的信息来作为图像分析信息,图像分析信息是一种类型的图像相关信息;
图像附加信息获得单元,其获得附加到预定图像的数据的信息来作为图像附加信息,图像附加信息是一种类型的图像相关信息;以及
拍摄者投稿者信息获得单元,其获得关于预定图像的拍摄者、或者针对预定图像所属社区的投稿者的信息来作为拍摄者投稿者信息,拍摄者投稿者信息是一种类型的图像相关信息。
(8)根据(1)至(7)中任一项所述的信息处理装置,图像相关信息获得单元还包括:
图像附属信息获得单元,其获得附属于预定图像的信息来作为图像附属信息,图像附属信息是一种类型的图像相关信息;以及
观看者观看环境信息获得单元,其获得与在预定图像所属社区中预定图像的观看者相关的信息、或者与预定图像的观看环境相关的信息来作为观看者观看环境信息,观看者观看环境信息是一种类型的图像相关信息。
(9)根据(1)至(8)中任一项所述的信息处理装置,其中,关键词生成单元生成图像相关信息自身或者使用预定规则或数据库转换的图像相关信息来作为关键词。
(10)根据(1)至(9)中任一项所述的信息处理装置,其中,显示文本串候选生成单元生成关键词自身、链接了多个关键词的文本串、或者使用预定规则或数据库转换过的关键词来作为显示文本串候选。
本技术可以应用于编辑内容的编辑装置。
本公开包括与2011年11月8日提交日本专利局的日本在先专利申请JP2011-244162中公开的主题内容相关的主题内容,该在先申请的全部内容通过引用合并于此。
本领域技术人员应该理解,取决于设计需要和其他因素,可以出现各种修改、组合、子组合和替换,只要它们在所附权利要求或其等同物的范围内即可。

Claims (12)

1.一种信息处理装置,其包括:
图像相关信息获得单元,其获得与预定图像相关的信息作为图像相关信息;
关键词生成单元,其基于由所述图像相关信息获得单元获得的所述图像相关信息来生成关键词;以及
显示文本串候选生成单元,其使用由所述关键词生成单元生成的所述关键词中的一个或更多个来生成用作用于显示的候选的文本串,以作为显示文本串候选。
2.根据权利要求1所述的信息处理装置,其还包括:
显示文本串选择单元,其从由所述显示文本串候选生成单元生成的所述显示文本串候选中选择要显示的文本串作为显示文本串。
3.根据权利要求2所述的信息处理装置,其还包括:
通信单元,其将由所述显示文本串选择单元选择的所述显示文本串与所述预定图像的数据相关联,并且发送到其他信息处理装置。
4.根据权利要求2所述的信息处理装置,其中,所述显示文本串选择单元还针对每个所述显示文本串候选计算得分,并且基于针对每个所述显示文本串候选计算的所述得分来选择所述显示文本串。
5.根据权利要求1所述的信息处理装置,其还包括:
通信单元,其接收从其他信息处理装置发送的所述预定图像的数据;
其中,基于由所述通信单元接收的所述预定图像的数据,所述图像相关信息获得单元、所述关键词生成单元和所述显示文本串候选生成单元各自执行处理;
并且其中,所述通信单元将由所述显示文本串候选生成单元生成的所述显示文本串候选发送到所述其他信息处理装置。
6.根据权利要求1所述的信息处理装置,其中
所述图像相关信息获得单元使用对所述预定图像的数据的分析结果来以预定语言生成所述图像相关信息;
并且其中,所述关键词生成单元以所述预定语言生成所述关键词;
并且其中,所述显示文本串候选生成单元以所述预定语言生成所述显示文本串候选。
7.根据权利要求1所述的信息处理装置,所述图像相关信息获得单元还包括:
图像分析信息获得单元,其获得表明对所述预定图像的数据的分析结果的信息来作为图像分析信息,所述图像分析信息是一种类型的所述图像相关信息;
图像附加信息获得单元,其获得附加到所述预定图像的数据的信息来作为图像附加信息,所述图像附加信息是一种类型的所述图像相关信息;以及
拍摄者投稿者信息获得单元,其获得关于所述预定图像的拍摄者、或者针对所述预定图像所属社区的投稿者的信息来作为拍摄者投稿者信息,所述拍摄者投稿者信息是一种类型的所述图像相关信息。
8.根据权利要求7所述的信息处理装置,所述图像相关信息获得单元还包括:
图像附属信息获得单元,其获得附属于所述预定图像的信息来作为图像附属信息,所述图像附属信息是一种类型的所述图像相关信息;以及
观看者观看环境信息获得单元,其获得与在所述预定图像所属社区中所述预定图像的观看者相关的信息、或者与所述预定图像的观看环境相关的信息来作为观看者观看环境信息,所述观看者观看环境信息是一种类型的所述图像相关信息。
9.根据权利要求1所述的信息处理装置,其中,所述关键词生成单元生成所述图像相关信息自身或者使用预定规则或数据库转换的所述图像相关信息来作为所述关键词。
10.根据权利要求1所述的信息处理装置,其中,所述显示文本串候选生成单元生成所述关键词自身、链接了多个所述关键词的文本串、或者使用预定规则或数据库转换过的所述关键词来作为所述显示文本串候选。
11.一种信息处理装置的信息处理方法,所述方法包括:
获得与预定图像相关的信息作为图像相关信息;
基于所获得的图像相关信息来生成关键词;以及
使用所生成的关键词中的一个或更多个来生成用作用于显示的候选的文本串,以作为显示文本串候选。
12.一种程序,其使得计算机用作:
图像相关信息获得单元,其获得与预定图像相关的信息作为图像相关信息;
关键词生成单元,其基于由所述图像相关信息获得单元获得的所述图像相关信息来生成关键词;以及
显示文本串候选生成单元,其使用由所述关键词生成单元生成的所述关键词中的一个或更多个来生成用作用于显示的候选的文本串,以作为显示文本串候选。
CN2012104317134A 2011-11-08 2012-11-01 信息处理装置和方法以及程序 Pending CN103218382A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-244162 2011-11-08
JP2011244162A JP2013101450A (ja) 2011-11-08 2011-11-08 情報処理装置及び方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN103218382A true CN103218382A (zh) 2013-07-24

Family

ID=48622026

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012104317134A Pending CN103218382A (zh) 2011-11-08 2012-11-01 信息处理装置和方法以及程序

Country Status (3)

Country Link
US (1) US20130300748A1 (zh)
JP (1) JP2013101450A (zh)
CN (1) CN103218382A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463114A (zh) * 2015-03-31 2017-02-22 索尼公司 信息处理设备、控制方法及程序

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8935259B2 (en) 2011-06-20 2015-01-13 Google Inc Text suggestions for images
US9659225B2 (en) * 2014-02-12 2017-05-23 Microsoft Technology Licensing, Llc Restaurant-specific food logging from images
JP5663705B1 (ja) * 2014-02-14 2015-02-04 楽天株式会社 表示制御装置、表示制御装置の制御方法、プログラム、及び情報記憶媒体
JP5839764B1 (ja) * 2014-02-14 2016-01-06 楽天株式会社 表示制御装置、表示制御装置の制御方法、プログラム、及び情報記憶媒体
JP2015184798A (ja) * 2014-03-20 2015-10-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
CN106462598A (zh) * 2014-05-22 2017-02-22 索尼公司 信息处理设备、信息处理方法与程序
US10049477B1 (en) * 2014-06-27 2018-08-14 Google Llc Computer-assisted text and visual styling for images
TWI718997B (zh) * 2014-09-30 2021-02-21 日商咕嘟媽咪股份有限公司 菜單生成系統
JP5952479B1 (ja) * 2014-09-30 2016-07-13 株式会社ぐるなび メニュー生成システム
JP6529118B2 (ja) * 2015-03-23 2019-06-12 株式会社フィール 画像記録装置、および情報提供システム
US10022744B2 (en) 2015-05-22 2018-07-17 Nordson Corporation Piezoelectric jetting system with quick release jetting valve
JP5981616B1 (ja) * 2015-07-28 2016-08-31 株式会社富士通ビー・エス・シー 料理内容提供方法、情報処理装置および料理内容提供プログラム
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
JP6836147B2 (ja) * 2017-01-10 2021-02-24 大日本印刷株式会社 画像関連付け装置、画像検索装置、画像検索システム及びプログラム
JP7013750B2 (ja) * 2017-09-15 2022-02-01 大日本印刷株式会社 考査処理装置及び印画物作製システム
JP7135785B2 (ja) * 2018-11-28 2022-09-13 株式会社リコー データ生成装置、データ生成方法及びプログラム
JP6593559B1 (ja) * 2019-01-23 2019-10-23 大日本印刷株式会社 画像処理装置、プログラム及びデータ構造
JP6830514B2 (ja) * 2019-07-26 2021-02-17 zro株式会社 視覚的な意味属性および非視覚的な意味属性がビジュアルに関連付けられる方法ならびにコンピューティングデバイス

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7274822B2 (en) * 2003-06-30 2007-09-25 Microsoft Corporation Face annotation for photo management
JP4457358B2 (ja) * 2006-05-12 2010-04-28 富士フイルム株式会社 顔検出枠の表示方法、文字情報の表示方法及び撮像装置
US20090288019A1 (en) * 2008-05-15 2009-11-19 Microsoft Corporation Dynamic image map and graphics for rendering mobile web application interfaces
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
JP5238418B2 (ja) * 2008-09-09 2013-07-17 株式会社東芝 情報推薦装置および情報推薦方法
JP5289151B2 (ja) * 2009-04-09 2013-09-11 キヤノン株式会社 データ管理装置、その制御方法及びプログラム
US8489515B2 (en) * 2009-05-08 2013-07-16 Comcast Interactive Media, LLC. Social network based recommendation method and system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106463114A (zh) * 2015-03-31 2017-02-22 索尼公司 信息处理设备、控制方法及程序
CN106463114B (zh) * 2015-03-31 2020-10-27 索尼公司 信息处理设备、控制方法及程序存储单元

Also Published As

Publication number Publication date
US20130300748A1 (en) 2013-11-14
JP2013101450A (ja) 2013-05-23

Similar Documents

Publication Publication Date Title
CN103218382A (zh) 信息处理装置和方法以及程序
US10628680B2 (en) Event-based image classification and scoring
US10540575B1 (en) Ephemeral content management
AU2016264965B2 (en) Systems and methods for creating user-managed online pages (mappages) linked to locations on an interactive digital map
US10114898B2 (en) Providing additional functionality with search results
KR101611388B1 (ko) 태그를 활용한 검색 서비스 제공 방법 및 시스템
US11334768B1 (en) Ephemeral content management
CN104866501A (zh) 电子旅行相册生成方法和系统
US9411839B2 (en) Index configuration for searchable data in network
CN106233282A (zh) 使用设备能力的应用搜索
KR102594094B1 (ko) 추천 컨텐츠 제공 방법 및 이를 위한 장치
US20190340210A1 (en) SYSTEMS AND METHODS FOR CREATING USER-MANAGED ONLINE PAGES (MAPpages) LINKED TO LOCATIONS ON AN INTERACTIVE DIGITAL MAP
WO2016202214A2 (zh) 一种关键词的展示方法和装置
US11669566B2 (en) Multi-resolution color-based image search
US20160179760A1 (en) Photo narrative essay application
US20220303608A1 (en) Interfacing a television with a second device
US10282736B2 (en) Dynamic modification of a parameter of an image based on user interest
CN108122125A (zh) 一种在电子书中植入广告的方法
CN110036356A (zh) Vr系统中的图像处理
US20160110427A1 (en) Apparatus, system, and method for organizing and embedding applications
US11429884B1 (en) Non-textual topic modeling
US20220391463A1 (en) Contact information distribution
US11609918B2 (en) User augmented indexing and ranking of data
US11080319B2 (en) System and method for providing image search result online using device information
CN107704470B (zh) 媒体文件的处理方法及服务器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130724