CN102439630B - 图像评价装置、图像评价方法、程序、集成电路 - Google Patents

图像评价装置、图像评价方法、程序、集成电路 Download PDF

Info

Publication number
CN102439630B
CN102439630B CN201080014545.8A CN201080014545A CN102439630B CN 102439630 B CN102439630 B CN 102439630B CN 201080014545 A CN201080014545 A CN 201080014545A CN 102439630 B CN102439630 B CN 102439630B
Authority
CN
China
Prior art keywords
image
value
mentioned
node
importance degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080014545.8A
Other languages
English (en)
Other versions
CN102439630A (zh
Inventor
薮博史
前田和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102439630A publication Critical patent/CN102439630A/zh
Application granted granted Critical
Publication of CN102439630B publication Critical patent/CN102439630B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种图像评价装置，计算第1值及第2值，该第1值基于在一个图像中出现的物体所属的簇(例如，该物体在全部图像的全部物体中出现的频度)，该第2值表示在上述一个图像中出现的物体在该一个图像中呈现的特征(例如占有度)。并且，基于该计算出的第1值及第2值，计算在上述一个图像中出现的1个以上的物体的重要度、和上述一个图像的重要度。

Description

图像评价装置、图像评价方法、程序、集成电路
技术领域
本发明涉及分别评价庞大的数量的图像的技术。
背景技术
近年来，由于数字摄像机的普及、记录介质的容量增加，用户个人拥有的图像的张数有增加的趋势。
为了支持从这样的大量的图像之中简单地搜索用户想要看到的图像，已知有评价各个图像而进行等级评定(ranking)的方法。
例如，有根据利用图像而进行的作业(打印、幻灯片放映等)的次数等来计算各图像的评价值的方法(参照专利文献1)。
此外，有基于图像来计算特征量、利用计算出的特征量来统计性地求出表示图像是否被选择的概率的方法(参照专利文献2)。
进而，有判断包含在图像中的脸的朝向、朝向正面的程度越大则越将该图像的评价值计算为较高的值的方法(参照专利文献3)。
现有技术文献
专利文献
专利文献1：日本特开2007-135065公报
专利文献2：日本特开2007-80014公报
专利文献3：日本特开2004-361989公报
发明概要
发明要解决的技术问题
但是，在专利文献1的方法中，用户操作是必须的，在完全没有进行用户操作的情况下或操作次数较少时，有无法计算反映出用户意图的评价值的问题。
此外，在专利文献3的方法中，主要依赖于人物的脸的朝向而评价图像，但脸的朝向并不一定与对于用户而言的重要性直接联系。
可以考虑，被用户期待高评价的图像，不是拍摄的人物的脸的朝向较好的图像、而是拍摄了对于该用户而言重要的人物的图像。
发明内容
本发明是在这样的背景下做出的，目的在于提供一种能够基于在各图像中出现的人物等物体(object)来评价图像的图像评价装置等。
解决技术问题所采用的手段
有关本发明的图像评价装置，以包含物体的多个图像为对象来评价各图像，其特征在于，
将簇信息分别与上述物体建立关联，该簇信息分别表示物体所属的簇；
该图像评价装置具备：
第1值计算机构，对于包含在一个图像中的物体，基于该物体所属的簇来计算第1值；
第2值计算机构，对于包含在上述一个图像中的物体，计算第2值，该第2值表示该物体在该一个图像中呈现的特征；以及
评价机构，基于计算出的第1值及第2值，计算在上述一个图像中出现的1个以上的物体的重要度、和上述一个图像的重要度。
发明效果
根据有关本发明的图像评价装置，能够基于在各图像中出现的人物等物体来评价图像。
此外，也可以是，上述评价机构包含：物体重要度计算机构，基于计算出的第1值及第2值，计算在上述一个图像中出现的物体的重要度；以及图像重要度计算机构，基于计算出的物体的重要度，计算表示上述一个图像的评价的重要度。
此外，也可以是，上述第1值计算机构，计算在包含在上述多个图像中的全部物体之中、包含在一个图像中的物体所属的簇的物体出现的频度；上述第2值计算机构，对于包含在上述一个图像中的物体，计算占有度，该占有度表示该物体在上述一个图像中所占的面积；上述物体重要度计算机构，基于计算出的频度及占有度，计算上述物体的重要度。
根据该结构，利用基于包含在一个图像中的物体而计算出的频度、和表示该物体所占的面积的占有度这两者计算重要度，所以能够有利于符合用户的期待的重要度的计算。
此外，也可以是，在上述一个图像中包含第1物体和第2物体的情况下，上述频度计算机构计算第1频度和第2频度，该第1频度表示在上述第1物体所属的簇中包含的物体的频度，该第2频度表示在上述第2物体所属的簇中包含的物体的频度；上述占有度计算机构计算第1占有度和第2占有度，该第1占有度表示第1物体在上述一个图像中所占的面积，该第2占有度表示第2物体在上述一个图像中所占的面积；上述物体重要度计算机构，基于上述第1频度及上述第1占有度，计算作为第1物体的重要度的第1重要度，基于上述第2频度及上述第2占有度，计算作为第2物体的重要度的第2重要度；上述图像重要度计算机构，基于上述第1重要度及第2重要度，计算表示上述一个图像的评价的重要度。
根据该结构，在一个图像中出现第1物体和第2物体的情况下，基于两物体的重要度来计算图像的重要度，所以例如能够将出现多个人物的图像的评价计算为较高的值。
此外，也可以是，上述物体是从上述一个图像中切取的人的脸。
根据该结构，例如特别适合于将家庭的合影作为评价对象。
此外，也可以是，在上述一个图像中出现了第1物体和第2物体的情况下，上述评价机构在两物体间传播重要度并计算两物体的重要度。
由于在物体间传播重要度，所以能够有利于符合用户期待的物体的重要度的计算。
此外，也可以是，包含上述物体的多个图像是P个，其中P是自然数；上述第1值计算机构，计算出包含在P个图像中的物体所属的簇的个数是Q个，其中Q是自然数；上述第2值计算机构，对于在上述P个图像中出现的物体，分别计算第2值，该第2值表示该物体在该各图像中呈现的特征；该图像评价装置具备：节点制作机构，制作节点，该节点包括：分别表示上述P个图像的P个节点，和分别表示包含在上述P个图像中的物体所属的簇的Q个节点；链路设定机构，对于表示某个图像A的节点A、和表示包含在该图像A中的物体所属的簇a的节点a，使用属于簇a的物体的图像A中的第2值，设定该节点A-a间的链路的值；以及邻接矩阵生成机构，生成表现图形的邻接矩阵，该图形由通过上述节点制作机构制作的节点和通过链路设定机构设定的链路的值而构成；上述评价机构包含：特征向量计算机构，计算所生成的邻接矩阵的主特征向量；以及重要度计算机构，基于计算出的主特征向量的要素，计算表示N个图像各自的评价的重要度。
根据该结构，能够在构成图形的节点间传播权重。例如，能够基于图像的节点A与物体的节点a间的链路，在图像与物体间传递重要度。
此外，也可以是，上述链路设定机构，在上述节点A-a间的链路的值中，使用上述第2值来设定从节点A向节点a的链路的值，不使用上述第2值来设定从节点a向节点A的链路的值。
根据该结构，由于使用图像A中的特征值来设定从节点A(图像A的节点)向节点a(包含在图像A中的对象所属的簇a的节点)的链路的值，所以，例如在图像A中上述物体被较大地拍摄的情况下，通过增大链路的值的权重等，能够进行符合图像A的内容的权重的传递。
此外，也可以是，上述第2值计算机构计算的第2值，是表示上述物体在该各图像中所占的面积的占有度。
此外，也可以是，上述第2值计算机构计算背景的占有度，该背景是在各图像中没有出现物体的区域；上述节点制作机构制作表示伪的1个节点；上述链路设定机构，对于表示某个图像A的节点A和表示伪的1个节点Z，使用图像A中的背景的占有度，设定该节点A-Z间的链路的值中的从节点A向节点Z的链路的值。
此外，也可以是，上述链路设定机构，对于上述节点A-a间的链路的值，使用上述第2值，设定从节点A向节点a的链路的值以及从节点a向节点A的链路的值。
根据该结构，通过使用表示物体在图像中呈现的特征的第2值来设定链路的值，能够优化重要度的传递。
此外，也可以是，将摄影日期时间分别与上述多个图像建立关联；该图像评价装置还具备受理机构，该受理机构受理日期时间的范围的指定；上述第1值计算机构及第2值计算机构，使用包含在指定范围中的图像进行计算，但不使用不包含在指定范围中的图像进行计算。
根据该结构，上述评价机构能够计算对应于指定范围的物体及图像的重要度。
此外，有关本发明的图像评价方法，，以分别包含物体的多个图像为对象来评价各图像，其特征在于，包含以下步骤：取得步骤，对于各物体，取得表示所属的簇的簇信息；第1值计算步骤，对于包含在一个图像中的物体，基于该物体所属的簇来计算第1值；第2值计算步骤，对于包含在上述一个图像中的物体，计算第2值，该第2值表示该物体在该一个图像中呈现的特征；以及评价步骤，基于计算出的第1值及第2值，计算在上述一个图像中出现的1个以上的物体的重要度、和上述一个图像的重要度。
此外，有关本发明的程序，使计算机执行图像评价处理，该图像评价处理以分别包含物体的多个图像为对象来评价各图像，其特征在于，上述图像评价处理包括以下步骤：取得步骤，对于各物体，取得表示所属的簇的簇信息；第1值计算步骤，对于包含在一个图像中的物体，基于该物体所属的簇来计算第1值；第2值计算步骤，对于包含在上述一个图像中的物体，计算第2值，该第2值表示该物体在该一个图像中呈现的特征；以及评价步骤，基于计算出的第1值及第2值，计算在上述一个图像中出现的1个以上的物体的重要度、和上述一个图像的重要度。
此外，有关本发明的集成电路，是以包含物体的多个图像为对象来评价各图像的图像评价装置，其特征在于，将簇信息分别与上述物体建立关联，该簇信息分别表示物体所属的簇；该集成电路具备：第1值计算机构，对于包含在一个图像中的物体，基于该物体所属的簇来计算第1值；第2值计算机构，对于包含在上述一个图像中的物体，计算第2值，该第2值表示该物体在该一个图像中呈现的特征；以及评价机构，基于计算出的第1值及第2值，计算在上述一个图像中出现的1个以上的物体的重要度、和上述一个图像的重要度。
附图说明
图1是图像评价系统1的功能框图。
图2是表示图像评价处理的概况的流程图。
图3是表示图像取得及聚类处理的详细情况的流程图。
图4是表示从物体特征量的提取到聚类的流程的形象图。
图5是表示簇信息的数据结构的图。
图6是表示物体出现特征量的计算处理的详细情况的流程图。
图7是表示频度信息的数据结构的图。
图8是表示占有度信息的数据结构的图。
图9是表示图像的评价处理的详细情况的流程图。
图10是用来说明图像A～图像C中的物体重要度及图像重要度的图。
图11是表示图像重要度信息的数据结构的图。
图12是用来说明图像X、图像Y中的物体重要度及图像重要度的图。
图13是图像评价系统101的功能框图。
图14是表示图像评价处理的概况的流程图。
图15是表示占有度计算及图形的生成处理的详细情况的流程图。
图16是用来说明在图像A、人物a、伪Z间设定链路的例子的图。
图17是用来说明图像A、B、人物a、b、伪Z这5个节点的链路设定的图。
图18是表示图形的表结构的图。
图19是表示邻接矩阵生成及图像的评价的流程图。
图20是表示邻接矩阵M的图。
图21是说明根据主特征向量P的成分求出图像重要度及物体重要度的流程的图。
图22是用来说明物体间的重要度的传递的图。
图23是说明使用笑脸的程度的物体重要度的计算的图。
图24是图像评价系统111的功能框图。
图25是用来说明图像(图像T、图像U)与标签(标签a、标签b)间的关系性的图。
图26是用来说明图像T、标签a、伪Z之间的关系性的图。
图27是表示所指定的日期时间范围中的人物及图像的等级评定的显示例的图。
图28是用来说明在图像A、人物a、伪Z间设定链路的例子的图。
图29是用来说明图像A、B、人物a、b、伪Z这5个节点的链路设定的图。
具体实施方式
(实施方式1)
以下，参照附图对本实施方式进行说明。
<结构>
图1所示，图像评价系统1构成为，包括图像评价装置2和SD存储卡4。
图像评价装置2具备：图像取得部10、物体提取部11(包括物体特征量提取部12、聚类部(clustering unit)14)、存储部15(包括簇(cluster)信息存储部16、频度存储部26、占有度存储部28、物体重要度信息存储部34a、图像重要度信息存储部34b)、物体出现特征量计算部18(包括频度计算部20、占有度计算部22)、评价部29(包括物体重要度计算部30、图像重要度计算部32)、显示控制部36。
图像取得部10由SD读卡器构成，从插入在SD卡插槽内的SD存储卡4取得图像数据。
物体特征量提取部12以图像取得部10取得的图像数据为对象，提取拍摄在图像中的物体的图像特征量，作为物体特征量输出。
以下，作为物体，以人的脸为例进行说明。
此外，作为从图像中提取与脸有关的图像特征量的方法，也可以用基于Gabor滤波器的提取方法来进行计算。关于Gabor法，请参照后述的参考文献1。
聚类部14基于物体特征量提取部12输出的物体特征量来进行聚类，使表示其结果的簇信息存储到簇信息存储部16中。关于聚类方法，可以使用作为非阶层性的方法(对固定的簇分别赋予代表而进行聚类的方法)之一的k-means法(参照参考文献1)。
存储部15包括簇信息存储部16、频度存储部26、占有度存储部28、物体重要度信息存储部34a、图像重要度信息存储部34b。存储部15例如可以由RAM构成。
物体出现特征量计算部18基于存储在簇信息存储部16中的簇信息来计算物体出现特征量。“物体出现特征量”是表示属于相同的簇的物体在图像中怎样出现的量。具体而言，由(1)表示属于相同的簇的物体在全部图像张数中出现了几张的“频度”、(2)表示属于某个簇的物体在各图像中所占的比例的“占有度”这两种构成。并且，频度、占有度由包含在物体出现特征量计算部18中的频度计算部20、占有度计算部22分别计算。并且，将计算出的频度存储到频度存储部26中、将计算出的占有度存储到占有度存储部28中。
物体重要度计算部30基于存储在上述物体出现特征量存储部中的物体出现特征量(频度和占有度)，计算物体重要度，该物体重要度表示在全部的图像数据中出现在各图像中的物体各自的重要度。
物体重要度信息存储部34a例如由RAM构成，存储包括由物体重要度计算部30计算出的物体重要度的物体重要度信息。
图像重要度计算部32基于物体重要度来计算各个图像的重要度(图像重要度)。
图像重要度信息存储部34b例如由RAM构成，存储包括由图像重要度计算部32计算出的图像重要度的图像重要度信息。
显示控制部36使计算出的图像重要度显示在显示器6的画面上。
<动作>
接着，对到评价图像为止的流程进行说明。
如图2所示，以图像取得及聚类(S11)、物体出现特征量的计算(S12)、图像的评价(S13)的顺序进行处理。
如图3所示，在图像取得及聚类的处理中，图像取得部10从SD存储卡4取得存储在SD存储卡4内的图像数据(S21)。这里，作为一例，假设在SD存储卡4内存储有图像A～图像C这3张的图像数据、图像取得部10取得该图像A～图像C的图像数据。
接着，物体特征量提取部12以所取得的图像数据为对象，从图像中切取脸的区域，提取该脸的特征量作为物体特征量(S22)。并且，聚类部14使用所提取的物体特征量进行聚类，使作为聚类的结果的簇信息存储到簇信息存储部16中(S23)。
如果使用图4具体地说明步骤S22、S23的动作，则物体特征量提取部12从3张图像A～图像C(图4(a))切取4个脸F1～F4，提取脸F1～F4各自的特征量(图4(b))
并且，聚类部14将4个脸F1～F4中的类似的脸彼此的脸F1、F2聚类为人物a，此外将脸F3、F4聚类为人物b。
图5是表示簇信息的数据结构的图，该簇信息表示聚类的结果。簇信息是表示出现在图像中的脸分别属于哪个簇的信息，包括“簇名”17a、“脸”17b、“图像”17c的项目。
接着，使用图6说明物体出现特征量的计算处理(S12)的详细情况。物体出现特征量计算部18从簇信息存储部16中取得簇信息(S31)。
频度计算部20基于所取得的簇信息，将属于相同的簇(“簇名”17a相同)的脸的数量计数，从而计算频度(S32)。并且，将包括计算出的频度的频度信息存储到频度存储部26中。
图7表示频度信息的数据结构。频度信息包括“簇名”27a、“图像”27b、“频度”27c的项目。“频度”27c的值是将“图像”27b的图像的张数计数而得到的值。
在图7的例子中，人物a的频度为2，人物b的频度为2。另外，如上所述，由于频度是将属于相同的簇的脸的数量计数而得到的值，所以也称作簇的成员数。
回到图5继续说明。占有度计算部22通过将物体特征量提取部12提取的脸的区域的大小用出现该脸的图像整体的大小来进行除法运算，从而计算各脸在各图像中所占的比例、和背景所占的比例。例如，如果脸的区域的大小占30万像素、图像的大小是100万像素，则30/100＝0.3为脸所占的比例，1-0.3＝0.7为背景所占的比例。并且，占有度计算部22参照簇信息来判别各个脸属于哪个簇，从而计算出表示在各图像中哪个人物占怎样的程度的占有度(S33)。并且，将包括计算出的占有度的占有度信息存储到占有度存储部28中。
在图8中表示占有度信息的数据结构。占有度信息包括“图像”29a、“属于人物a的脸的占有度”29b、“属于人物b的脸的占有度”29c、“背景的占有度”29d的项目。“属于人物a的脸的占有度”29b是在各图像中所属的簇是人物a的脸(物体)的占有度。例如，在图像A中，脸F1属于人物a的簇(参照图5)，脸的区域的大小是30％，所以“属于人物a的脸的占有度”为0.3。
接着，使用图9说明图像的评价处理(S13)的详细情况。
物体重要度计算部30设定评价对象的一个图像(S41)。然后，物体重要度计算部30从频度存储部26取得表示拍摄在设定的图像中的物体的频度的频度信息，从占有度存储部28取得表示该物体的占有度的占有度信息(S42)。
物体重要度计算部30通过将所取得的频度与占有度相乘，计算物体重要度。
如果没有计算出在设定的图像中拍摄的全部物体的物体重要度(S44：否)，则回到步骤S43，对未计算的物体计算物体重要度。
总之，步骤S42～S44是对在评价对象的图像中出现的全部物体计算物体重要度的步骤。例如，如果在评价对象的图像中出现的物体是3个，则分别对3个物体计算物体重要度。将计算出的物体重要度存储到物体重要度信息存储部34a中。
如果对全部物体计算完物体重要度(S44：是)，则图像重要度计算部32通过将评价对象的全部物体的物体重要度相加而计算图像重要度，将图像重要度作为图像重要度信息而存储到图像重要度信息存储部34b中(S45)。
如果有未计算图像重要度的图像(S46：否)，则回到步骤S41，将未计算的图像设定为评价对象，求出图像重要度。
如果计算了全部图像的图像重要度(S46：是)，则显示控制部36利用存储在图像重要度信息存储部34b中的评价信息，在显示器6的画面上显示图像重要度(S47)。作为图像重要度的显示方法，能够使用一般的方法，可以显示各个图像的得分(分数)、或显示分数的位次。此外，除了将分数、位次直接显示以外，优先显示分数大的图像(将尺寸较大地显示、或通过幻灯片放映来更频繁地显示等)。
接着，作为具体例，关于图像A～C，对得出物体重要度及图像重要度的流程，使用图10进行说明。
(1)图像A
图像A是拍摄有脸F1(属于人物a的簇)的物体的图像(参照图5)，脸F1所属的人物a的频度是2(参照图7)，脸F1的占有度是0.3(参照图8)。
在此情况下，物体重要度计算部30将脸F1的占有度0.3与频度2相乘，计算0.3×2＝0.6作为脸F1的物体重要度。
并且，由于图像A的物体只是脸F1，所以图像重要度计算部32将脸F1的重要度0.6原样作为图像A的图像重要度。
(2)图像B
图像B是拍摄有脸F2(属于人物a的簇)的物体、和脸F3(属于人物b的簇)的物体的图像(参照图5)。脸F2所属的人物a的频度是2，脸F3所属的人物b的频度也是2(参照图7)。此外，脸F2的占有度是0.4，脸F3的占有度是0.3(参照图8)。
物体重要度计算部30计算出脸F2的物体重要度0.8(＝2×0.4)、脸F3的物体重要度0.6(＝2×0.3)。
并且，由于图像B的物体是脸F2和脸F3这两个，所以图像重要度计算部32将两者相加而计算图像重要度(1.4＝0.8+0.6)。
(3)图像C
图像C是拍摄有脸F4(属于人物b的簇)的物体的图像。物体重要度计算部30根据脸F4的频度和占有度来计算出物体重要度0.6(＝2×0.3)，图像重要度计算部32将重要度0.6原样作为图像C的图像重要度。
另外，在图11中表示对应于图像A～图像C的图像重要度信息。
如以上说明，根据本实施方式，将拍摄在图像中的物体聚类，利用属于相同的簇(人物a、人物b)的物体的频度、和在各个图像中包含的物体的占有度，计算图像重要度，能够计算与频度或占有度成比例地变高的图像重要度。
因此，能够将在各个图像中较大地拍摄到的人物及更频繁地拍摄的人物评价得较高。此外，不需要用户进行特别的操作，而能够进行图像的等级评定。
例如，如果如图12(a)所示的图像X那样较大地拍摄了人物，则也能够计算出较高的图像重要度。
此外，如果如图12(b)所示的图像Y那样拍摄了3个人物，则能够使3个物体的物体重要度反映为较高的图像重要度。例如，在将某个家庭拥有的图像作为评价对象的情况下，构成家庭的人物被评价为重要的物体，能够对该重要的物体集中而拍摄的照片(家庭的合影)进行特别高的评价。因而，能够有利于符合用户的意向的图像的评价。
例如，在将由家庭摄影的照片作为对象的情况下，带来如下效果：能够将反映出构成家庭的人物及用户经常摄影的宠物等物体的图像评价为对于用户而言重要的照片，使这些图像的选择变得容易。
另外，在上述例子中，物体重要度通过将频度与占有度相乘而求出(图9：S43)，但并不限定于此。
例如，也可以将重要度FI根据
FI＝Log(FR*100+1)/log(FN+1)*FF…(式1)
的式子求出。这里，FN是拍摄在图像中的物体(人物)的数量，FR是物体的占有度。
此外，在物体有多个的情况下，评价部30通过将各物体的物体重要度相加而求出图像重要度，但并不限定于此，关键的是，只要是物体的数量越多越出现高分数那样的方法就可以。
例如，也可以将各物体的物体重要度相乘。此时，使得不会有各项为不到1、通过相乘而值减少的情况。例如，将占有度代替比例而使用百分率。在此情况下，在图像B(参照图10(b))中，由于脸F2的占有度是40、脸F3的占有度是30，所以F2的物体重要度为80(＝40×2)、F3的物体重要度为60(＝30×2)。并且，评价部30计算80×60＝4800作为图像B的图像重要度。
(实施方式2)
在实施方式2中，基于在图像中拍摄的物体和该物体所属的簇的联系来评价图像。此外，在处于同现关系的物体(在一个图像中共同拍摄的多个物体)彼此间传递重要度。由此，即使是频度较少或没有被较大地拍摄的物体，只要与其他重要的物体同现，就能够提升其重要度。
<结构>
图13是有关实施方式2的图像评价系统101的功能框图。
对于与图1相同的构成单元赋予相同的标号而省略说明。
图像评价装置102的图形生成部40具备：生成节点的图像及被摄体节点生成部44a1以及伪节点生成部44a2，和对表示节点间连结关系的链路(link)值进行设定的被摄体链路设定部44b1以及伪链路设定部44b2。
图像及被摄体节点生成部44a1基于从簇信息存储部16取得的簇信息(参照图5)，生成表示图像的节点和表示物体的节点。伪节点生成部44a2生成伪节点(背景节点)。
被摄体链路设定部44b1基于从占有度存储部28取得的占有度、和从簇信息存储部16取得的簇信息，设定图像节点与物体节点间的链路。在该链路中有朝向，所以图形是被称作有向图形的类型。
伪链路设定部44b2同样设定图像节点与伪节点间的链路。
图形存储部46存储由图形生成部40生成的图形。
评价部48包含邻接矩阵生成部50、特征向量计算部52和重要度计算部53。
邻接矩阵生成部50生成用于表现存储在图形存储部46中的图形的邻接矩阵。
特征向量计算部52计算生成的邻接矩阵的特征向量。
并且，重要度计算部53基于计算出的特征向量的成分，计算各物体的物体重要度及各图像的图像重要度。
将计算出的物体重要度存储在物体重要度信息存储部34a中。此外，将计算出的图像重要度通过图像重要度信息存储部34b存储。
<动作>
接着，对到评价图像为止的流程进行说明。
如图14所示，以图像取得及聚类(S11)、占有度计算及图形的生成(S51)、邻接矩阵生成及特征向量计算(S52)的顺序进行处理。
图像取得及聚类处理的详细情况与使用图3进行的说明是同样的，所以省略说明。
如图15所示，在占有度计算及图形的生成处理中，占有度计算部22从簇信息存储部16取得簇信息(S31)，计算表示在各图像中哪个人物占有怎样的程度的占有度(S33)。关于计算方法，与在实施方式1(参照图6)中说明的方法是同样的，所以赋予相同的步骤号而省略说明。
图形生成部40的图像及被摄体节点生成部44a1、以及伪节点生成部44a2取得簇信息存储部16的簇信息和占有度存储部28的占有度(S61)。
然后，图像及被摄体节点生成部44a1生成与包含在簇信息中的图像(设其数量为P个)对应的P个节点、以及与簇的种类数(将该数量设为Q个)对应的Q个节点。此外，伪节点生成部44a2生成与背景(设定相对于全部图像的抽象的1个伪Z)对应的1个节点。生成的节点的数量为(1+P+Q)个(S62)。
在图5所示的簇信息的情况下，图像是图像A～图像C这3个，所以P＝3，簇的数量是人物a、人物b这两个，所以Q＝2，制作(1+3+2)＝6个节点。
另外，关于图像的个数及簇的数量，能够利用频度计算部20(图7)计算出的“图像”27b中的图像的个数及“簇名”27a中的簇的种类。
另外，以下为了说明的简单，假设仅将除了图像C以外的图像A和图像B这两个作为评价对象的图像。在此情况下，图像的个数减少一个，所以制作5个节点。
接着，图形生成部40的被摄体链路设定部44b1及伪链路设定部44b2在制作出的节点间设定链路(S63)。设定链路的基本规则如下。
(1)从各图像向各簇的链路的值为属于该簇的物体的占有度。
(2)从各簇向各图像的链路的值是任意的固定值。
(3)从各图像向伪Z的链路的值为背景的占有度。
(4)从各簇向伪的链路为“1-(2)的固定值”。
(5)从伪Z向各簇及各图像的链路的值为用1除以链路目标的节点数而得到的值(将1均等分配)。
(6)关于其他节点间，将链路的值设为零。
在图16中表示在图像A、人物a、伪Z间设定链路的例子。
如果按照上述(1)～(6)的规则设定链路，则从图像A向人物a的链路的值(F(A→a))为图像A中的人物a的占有度α(a)。相反，从人物a向图像A的链路的值(F(a→A))为固定值β。
接着，从图像A向伪Z的链路的值(F(A→Z))为图像A中的背景的占有度(1-α(a))。此外，从人物a向伪Z的链路的值(F(a→Z))为1-β。
从伪Z向图像A的链路的值(F(Z→A))及从伪Z向人物a的链路的值(F(Z→a))为用1除以节点数2而得到的0.5。
在图17中表示说明按照这样的链路的规则而得到的链路设定的图。
如图17所示，从图像A向人物a的链路为作为人物a的占有度的0.3。相反，从人物a向图像A的链路是固定值β，但这里由于设为β＝0.1，所以为0.1。
从图像A向伪Z的链路为图像A中的背景的占有度0.7。从伪Z向其他4个节点的链路的值为用1除以链路目标的节点数4而得到的0.25。同样，按照上述规则设定了其他节点间的链路的值。
如果结束了这样的链路的设定，则图形生成部40输出通过节点与节点间的链路的确定而完成的图形(S64)，图形存储部46将输出的图形变换为表结构后存储。例如，图17的图形作为图18所示那样的表结构而存储。
接着，使用图19对邻接矩阵生成及图像的评价处理进行说明。
关于基于邻接矩阵来评价矩阵的各要素的方法，可以使用后述的参考文献2的方法。
首先，邻接矩阵生成部50使用在图形存储部46中存储的表结构来生成邻接矩阵(adjacency matrix)M(S71)。如果使用图18的表结构，则生成图20所示那样的作为5次(5行5列)的正方矩阵的邻接矩阵M。
接着，特征向量计算部52计算邻接矩阵M的特征向量。步骤S72～S74是作为同时求出主特征值(dominant eigenvalue)和属于它的主特征向量(dominant eigenvector)的方法的一种的“幂乘法”(power method)的运算。
即，通过
MP＝λP…(式2)
的式子，求出在邻接矩阵M中以λ为特征值而成立的特征向量P(S72)。在该特征向量P不收敛的情况下(S73)，对计算出的特征向量P乘以原来的矩阵(S74)，递归地进行计算处理，直到矩阵的特征向量P收敛(convergent)(S73：是)。
然后，特征向量计算部52将收敛的特征向量P决定为主特征向量P(S75)，重要度计算部53从主特征向量的成分中取出图像的成分和物体的成分(S76)。
最后，重要度计算部53将两成分分别标准化(normalize)(使合计为1)，向图像重要度信息存储部34b输出(S77)。
对步骤S76和S77详细地说明。图21是说明根据主特征向量P的成分求出图像的图像重要度及物体重要度的流程的图。
如图21所示，从主特征向量P＝(0.25，0.19，0.25，0.22，0.08)中取出图像A、B的成分及人物a、b的成分，通过标准化，能够计算图像A、B的图像重要度及人物a、b的重要度作为相对的评价。
如以上说明，根据本实施方式2，与实施方式1同样，能够将在全部图像中被较大地频繁地拍摄的物体评价为重要，能够将拍摄了该物体的图像评价为较高的分数。
此外，除此以外，通过表示链路关系的邻接矩阵M的递归的特征向量的计算处理，能够在物体间传播重要度，即使是频度较少或没有被较大地拍摄的物体，通过与重要的物体同现，也能够提升重要度。
使用图22，举出具体的例子进行说明，假设人物a(儿子)、人物d(儿子的朋友)、人物e(祖母)这3种簇的频度是人物a＞人物e＞人物d的顺序，特别是人物a的频度非常高(意味着人物a的重要度高)(图22(a))。
并且，在评价对象的图像中，如果如图像D那样、分别属于人物a和人物d的两个物体(脸)同现，则由于人物a的高重要度而能够提升人物e的重要度。因此，尽管人物e比人物d频度低，也能够使得拍摄了人物e一个人的图像E的图像重要度超过拍摄了人物d一个人的图像F的图像重要度。
这样，在图22的例子中，能够利用同现关系使照片较少的祖母的重要度提高。
(实施方式3)
在实施方式2中，利用图像与包含(拍摄)在图像中的物体之间的数据结构，计算图像及物体的重要度，但关键的是，作为数据结构，只要是对图像的集合、与图像有关的集合和两集合间的关系进行规定那样的结构就可以。
作为与图像有关的集合，也可以如实施方式2那样是包含在图像中的物体，但也可以是例如如Exif(Exchangeable image file format)的规格那样埋入在图像中的各种信息。进而，也可以是对图像赋予的标签。
在实施方式3中，作为这样的数据结构的一例，对图像和对图像赋予的标签之间的数据结构进行说明。
在图25中，表示图像(图像T、图像U)与标签(标签a、标签b)的关系性。
对于图像T赋予“高尔夫”的标签a，对于图像U赋予了“高尔夫”的标签a和“小鸟球”的标签b。
另外，标签的赋予例如是由用户通过手动设定的。
在图25中，表示在图像T、U与标签a、b之间表示关系性的链路。
首先，对从图像向标签的链路的值进行说明。
从该图像向标签的链路的值通过对图像的新鲜度乘以1/10来求出。
这里，图像的新鲜度根据当前的日期时间(评价时的日期和时间)与图像的追加日期时间之间的差求出。
例如，如果图像T是在30天前追加的图像、图像U是在360天前追加的图像，则使图像T与各标签a、b之间的加权变大。
所谓图像的新鲜度，是将各图像的追加日期时间标准化了的值(0～1)，作为具体的计算式，通过求出
图像T的新鲜度＝(图像T的追加日期时间-图像中最旧的追加日期时间)/(当前的日期时间-图像中最旧的追加日期时间)
的式子来计算。另外，日期时间的差通过以分为单位进行换算来求出。
例如，如果图像T的新鲜度是0.994，则从图像T向“高尔夫”的标签a的链路的值为0.994×0.1＝0.0994。
接着，对从标签向图像的链路进行说明。
该链路例如分配固定值0.01。
例如，从“高尔夫”的标签a向图像T的链路的值为0.01。
如以上那样，求出各图像T、U和标签a、b，此外求出图像T、U与标签a、b之间的关系性，通过例如与实施方式2同样地利用邻接矩阵，能够计算出各图像T、U的图像重要度及标签a、b的标签重要度。
并且，根据本实施方式，例如在Web服务器上的图像中，能够用于基于趋势(trend)的图像的等级评定。
另外，如图26所示，也可以对伪节点返回加权。
<补充>
以上，对本发明的实施方式进行了说明，但本发明并不限定于上述内容，在用来达到本发明的目的和与其关联或附属的目的的各种形态中也能够实施，例如也可以是以下这样。
(1)关于聚类
在各实施方式中，作为聚类14进行的聚类的方法，举出了作为非阶层性的方法的k-means法为例，但并不限定于此，也可以使用沃德法(Ward′smethod)等阶层性的方法。
(2)关于物体
在各实施方式中，作为物体而举人的脸为例进行了说明，但并不限定于人，也可以以狗或猫等动物的脸为物体作为图像特征量的提取对象。此外，作为拍摄在图像中的物体，并不限定于脸，可以考虑汽车或植物、建筑物等各种物体等。
(3)关于特征向量计算方法
在实施方式2中，特征向量计算部52使用幂乘法计算特征向量，但并不限定于此。例如也可以使用逆迭代法(inverse iteration method)。
(4)关于固定值β
在实施方式2中，设朝向图像A、B的链路使用固定值β(＝0.1)而进行了说明(参照图17)，但固定值β的值并不限定于0.1，而是能够适当进行设定。此外，也可以是，以从人物a向图像A的链路为固定值β1、从伪Z向图像A的链路为固定值β2的方式，分别设定朝向图像的链路的固定值。
此外，如在下述参考文献2中那样，也可以是，利用针对于没有朝外的链路而吸入重要度的节点的问题(problem of rank sinks)的应对方法，决定朝向图像A、B的链路的值。
(5)关于背景的节点
在实施方式2中，说明了将全部图像的背景作为1个节点(伪Z)而生成图形的例子，但并不限定于此，也可以制作多个背景节点、或者制作不具有背景的节点的图形。
(6)关于物体的重要度
在各实施方式中，举出了基于(A)物体所属的簇的频度和(B)物体的占有度而求出物体的重要度的例子进行了说明。
但是，关于前者(A)，只要是对物体所属的簇赋予特征的量就可以，并不限定于频度(簇的成员数)。
此外，关于后者(B)，例如也可以是，除了占有度以外，还将人物的笑脸的程度或脸的朝向的程度、还有人物的焦点的程度作为权重。
作为笑脸的程度的具体例，如图23所示，也可以使用表示笑脸的程度的系数来计算各物体(F1、F6)的重要度。此时，笑脸的程度更大的图像S为比图像A更高的图像重要度。
此外，在脸的朝向的程度的情况下，能够设为越朝向正面为越高的图像重要度那样的计算式。
关于人物的焦点的程度，例如人物的焦点(focus)越鲜明(sharp)则评价得越高，焦点越模糊则评价得越低。关于这样的焦点评价，可以使用下述参考文献3的技术。
进而，也可以完全不使用占有度、而基于笑脸的程度、脸的朝向的程度、人物的焦点的程度等来计算各物体的重要度。
总之，只要是表示在各图像中摄入物体的特征的值就足够，并不限定于占有度、笑脸的程度、脸的朝向的程度等，能够使用各种值。
(7)关于物体提取及聚类
在各实施方式中，假设在图像评价装置2的内部中具备物体特征量提取部12及聚类部14而进行了说明，但这些也可以存在于图像评价装置2的外部装置中。
图24所示的图像评价系统111具备图像评价装置112、SD存储卡4、聚类装置114。聚类装置114具备：物体特征量提取部12，基于从SD存储卡4取得的图像数据，提取物体特征量；聚类部14；簇存储部16。图像评价装置112具备取得簇存储部16的簇信息的簇信息取得部60。
(8)关于存储图像的主体
在各实施方式中，假设在SD存储卡4内存储评价对象的图像而进行了说明，但只要是记录介质就可以，并不限定于此，也可以使用SmartMedia、Compact Flash(注册商标)、Memory Stick(注册商标)、SD存储卡、多媒体卡、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-ray Disc)等记录介质。
此外，也可以考虑，通过将图像评价装置与存储图像的数字摄像机、便携电话的摄影设备连接来取得图像。作为两者的连接形态，不限制是有线(LAN电缆、USB电缆等)、无线(红外线、Bluetooth(蓝牙)等)，可以采取各种形态。
(9)集成电路
各实施方式的图像评价装置，典型地可以实现为作为集成电路的LSI(Large Scale Integration)。既可以将各电路单独地作为1个芯片，也可以以包括全部电路或部分电路的方式进行1芯片化。这里，虽记载为LSI，但根据集成度的差异，也有称作IC(Integrated Circuit)、系统LSI、超级(super)LSI、超大(ultra)LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器来实现。也可以利用在LSI制造后可编程的FPGA(Field Programmable Gate Array)、能够对LSI内部的电路单元的连接及设定进行重构的可重构处理器。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能块的集成化。有可能是生物技术的应用等。
(10)程序
也可以将用来使计算机等各种设备的处理器、以及连接在该处理器上的各种电路执行与由各实施方式示出的图像评价有关的处理(参照图2、3、6、9、14、15、19等)的由程序代码构成的控制程序记录到记录介质中，或者经由各种通信路径而流通发布。
在这样的记录介质中，有Smart Media、Compact Flash(注册商标)、Memory Stick(注册商标)、SD存储卡、多媒体卡、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-ray Disc)等。
被流通、发布的控制程序，通过保存在能够由处理器读出的存储器等中而供使用，通过该处理器执行该控制程序，能够实现实施方式所示那样的各种功能。
(11)关于日期时间范围的指定
在图9下部的显示器6中，显示图像重要度高的图像的等级评定，但并不限定于此，也可以显示物体重要度高的人物的等级评定。
进而，也可以是，受理日期时间范围的指定并缩小以重要度作为计算材料的图像的对象，从而使得通过计算出的重要度而无法得知的要素从全部图像中显现。即，能够期待仅限于某个特定时期为重要的图像的显示、反映了某个特定时期的人的关系的等级评定的显示。
将该例表示在图27的画面270中。画面270是一般的触摸屏的画面，箭头或图标能够通过手指272的触摸来选择。
在画面270右下有标度条(scale bar)274。在该标度条274上，带有“year”(年)、“month”(月)、“week”(周)、“day”(日)的刻度。用户将圆形按钮276向左右拖拽来设定刻度，通过轻击左右的箭头278L、278R来进行日期时间范围的指定。
在图27的例子中，指定2010年作为日期时间范围。在此情况下，物体提取部11从被图像取得部10取得的图像之中仅将其摄影日期时间为2010年(例如，2010/01/01/00:00～2010/12/31/23:59)者作为提取对象，由此评价部48计算对应于摄影日期时间为2010年的图像的重要度。并且，图27的“2010年年度等级评定”是显示控制部36将计算出的重要度显示的结果。
也可以是，每次在这样受理日期时间范围的指定后计算对应的重要度的方法，但也可以代替它而是按每个能够预先指定的日期时间范围来计算重要度并存储的方法。
此外，日期时间范围的指定的受理并不限定于图27那样的触摸输入，也可以通过来自键盘的数值输入来受理。
(12)关于从簇向图像的链路
在实施方式2中，从人物等的簇朝向拍摄了该人物的图像的链路的值为固定值，但也可以根据占有度来设定。
例如，也可以是，如图28那样，将从人物a向图像A的链路的值(F(a→A))设为F(a→A)＝β×α(a)、设定为使得与图像A中的人物a的占有度α(a)成比例。在图29中，示出了说明按照这样的链路规则的链路设定的图。
<参考文献>
(1)参考文献1
「Gabor特徴の情報量による重みづけマッチングを用いた顔認識」
(用基于Gabor特征的信息量的加权匹配进行的脸识别)
堀田一弘(埼玉大学(日本学术振兴会特别研究员))
电子信息通信学会技术研究报告.HIP，
人类信息处理100(34)pp.31-3820000504
(2)参考文献2
The PageRank citation ranking：Bringing order to the Web.
Page，Lawrence；Brin，Sergey；Motwani，Rajeev and Winograd，Terry(1999).
(3)参考文献3
日本特开2006-172417号公报
工业实用性
根据有关本发明的图像评价装置，能够从家庭等的多个用户所拥有的数量庞大的图像内容之中高效率地检索对用户重要的图像，与以往的基于用户操作的图像的评价方法相比，用户能够更没有负担而容易地进行内容的阅览检索。
例如，在从家庭拍摄存留的数量庞大的照片内容之中、因贺年卡的制作而搜索代表家庭的照片的情况下，用户能够根据基于图像的等级评定的检索结果容易地选择想要的图像，在个人计算机或服务器终端等固定型终端等中具有实用性。此外，作为数字摄像机或便携电话等移动型终端等也具有实用性。
标号说明
1、101、111图像评价系统
2、102、112图像评价装置
4SD存储卡
10图像取得部
11物体提取部
12物体特征量提取部
14聚类部
16簇信息存储部
18物体出现特征量计算部
20频度计算部
22占有度计算部
24物体出现特征量存储部
26频度存储部
28占有度存储部
30物体重要度计算部
32图像重要度计算部
34a物体重要度信息存储部
34b图像重要度信息存储部
36显示控制部
40图形生成部
44a1图像及被摄体节点生成部
44a2伪节点生成部
44b1被摄体链路设定部
44b2伪链路设定部
46图形存储部
48评价部
50邻接矩阵生成部
52特征向量计算部
53重要度计算部

Claims (10)

1.一种图像评价装置，以包含物体的多个图像为对象来评价各图像，其特征在于，
将簇信息分别与上述物体建立关联，该簇信息分别表示物体所属的簇；
该图像评价装置具备：
第1值计算机构，对于包含在一个图像中的物体，基于该物体所属的簇来计算第1值；
第2值计算机构，对于包含在上述一个图像中的物体，计算第2值，该第2值表示该物体在该一个图像中呈现的特征；以及
评价机构，基于计算出的第1值及第2值，生成包含上述一个图像与该一个图像所含的物体之间的链路关系的图形，通过使用该图形，在该一个图像所含的物体彼此间传播重要度来计算上述一个图像的重要度。
2.如权利要求1所述的图像评价装置，其特征在于，
上述物体是从上述一个图像中切取的人的脸。
3.如权利要求1所述的图像评价装置，其特征在于，
包含上述物体的多个图像是P个，其中P是自然数；
上述第1值计算机构，计算出包含在P个图像中的物体所属的簇的个数Q，其中Q是自然数；
上述第2值计算机构，对于在上述P个图像中出现的物体，分别计算第2值，该第2值表示该物体在该各图像中呈现的特征；
该图像评价装置具备：
节点制作机构，制作节点，该节点包括：分别表示上述P个图像的P个节点，和分别表示包含在上述P个图像中的物体所属的簇的Q个节点；
链路设定机构，对于表示某个图像A的节点A’、和表示包含在该图像A中的物体所属的簇a的节点a’，使用包含属于簇a的物体的图像A中的第2值，设定该节点A’－a’间的链路的值；以及
邻接矩阵生成机构，生成表现图形的邻接矩阵，该图形由通过上述节点制作机构制作的节点和通过链路设定机构设定的链路的值而构成；
上述评价机构包含：
特征向量计算机构，计算所生成的邻接矩阵的主特征向量；以及
重要度计算机构，基于计算出的主特征向量的要素，计算表示N个图像各自的评价的重要度。
4.如权利要求3所述的图像评价装置，其特征在于，
上述链路设定机构，在上述节点A’－a’间的链路的值之中，使用上述第2值来设定从节点A’向节点a’的链路的值，不使用上述第2值来设定从节点a’向节点A’的链路的值。
5.如权利要求4所述的图像评价装置，其特征在于，
上述第2值计算机构计算的第2值，是表示上述物体在该各图像中所占的面积的占有度。
6.如权利要求4所述的图像评价装置，其特征在于，
上述第2值计算机构计算背景的占有度，该背景是在各图像中没有出现物体的区域；
上述节点制作机构制作表示背景的1个节点；
上述链路设定机构，对于表示某个图像A的节点A’和表示背景的1个节点Z，使用图像A中的背景的占有度，设定该节点A’－Z间的链路的值中的从节点A’向节点Z的链路的值。
7.如权利要求3所述的图像评价装置，其特征在于，
上述链路设定机构，对于上述节点A’－a’间的链路的值，使用上述第2值，设定从节点A’向节点a’的链路的值以及从节点a’向节点A’的链路的值。
8.如权利要求1所述的图像评价装置，其特征在于，
将摄影日期时间分别与上述多个图像建立关联；
该图像评价装置还具备受理机构，该受理机构受理日期时间的范围的指定；
上述第1值计算机构及第2值计算机构，使用包含在指定范围中的图像进行计算，但不使用不包含在指定范围中的图像进行计算。
9.一种图像评价方法，以包含物体的多个图像为对象来评价各图像，其特征在于，包含以下步骤：
取得步骤，对于各物体，取得表示所属的簇的簇信息；
第1值计算步骤，对于包含在一个图像中的物体，基于该物体所属的簇来计算第1值；
第2值计算步骤，对于包含在上述一个图像中的物体，计算第2值，该第2值表示该物体在该一个图像中呈现的特征；以及
评价步骤，基于计算出的第1值及第2值，生成包含上述一个图像与该一个图像所含的物体之间的链路关系的图形，通过使用该图形，在该一个图像所含的物体彼此间传播重要度来计算上述一个图像的重要度。
10.一种集成电路，是以包含物体的多个图像为对象来评价各图像的图像评价装置，其特征在于，
将簇信息分别与上述物体建立关联，该簇信息分别表示物体所属的簇；
该集成电路具备：
第1值计算机构，对于包含在一个图像中的物体，基于该物体所属的簇来计算第1值；
第2值计算机构，对于包含在上述一个图像中的物体，计算第2值，该第2值表示该物体在该一个图像中呈现的特征；以及
评价机构，基于计算出的第1值及第2值，生成包含上述一个图像与该一个图像所含的物体之间的链路关系的图形，通过使用该图形，在该一个图像所含的物体彼此间传播重要度来计算上述一个图像的重要度。
CN201080014545.8A 2010-02-10 2010-12-16 图像评价装置、图像评价方法、程序、集成电路 Active CN102439630B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-027756 2010-02-10
JP2010027756 2010-02-10
PCT/JP2010/007300 WO2011099108A1 (ja) 2010-02-10 2010-12-16 画像評価装置、画像評価方法、プログラム、集積回路

Publications (2)

Publication Number Publication Date
CN102439630A CN102439630A (zh) 2012-05-02
CN102439630B true CN102439630B (zh) 2015-05-20

Family

ID=44367419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080014545.8A Active CN102439630B (zh) 2010-02-10 2010-12-16 图像评价装置、图像评价方法、程序、集成电路

Country Status (5)

Country Link
US (1) US8660378B2 (zh)
EP (1) EP2535865A4 (zh)
JP (2) JP4846071B2 (zh)
CN (1) CN102439630B (zh)
WO (1) WO2011099108A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8606776B2 (en) * 2011-02-18 2013-12-10 Google Inc. Affinity based ranked for search and display
KR20120118383A (ko) * 2011-04-18 2012-10-26 삼성전자주식회사 이미지 보정 장치 및 이를 이용하는 이미지 처리 장치와 그 방법들
US8832080B2 (en) 2011-05-25 2014-09-09 Hewlett-Packard Development Company, L.P. System and method for determining dynamic relations from images
JP5621757B2 (ja) * 2011-11-24 2014-11-12 キヤノンマーケティングジャパン株式会社 撮影装置、その制御方法、及びプログラム
JP6041217B2 (ja) * 2012-05-29 2016-12-07 パナソニックＩｐマネジメント株式会社 画像評価装置、画像評価方法、プログラム、集積回路
US8861804B1 (en) * 2012-06-15 2014-10-14 Shutterfly, Inc. Assisted photo-tagging with facial recognition models
JPWO2014091667A1 (ja) * 2012-12-10 2017-01-05 日本電気株式会社 解析制御システム
JP2014139734A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
WO2014122879A1 (ja) * 2013-02-05 2014-08-14 日本電気株式会社 解析処理システム
JP5802255B2 (ja) * 2013-03-13 2015-10-28 富士フイルム株式会社 レイアウト編集装置、レイアウト編集方法およびプログラム
JP6468725B2 (ja) * 2013-08-05 2019-02-13 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6334697B2 (ja) * 2013-11-08 2018-05-30 グーグル エルエルシー ディスプレイコンテンツのイメージを抽出し、生成するシステムおよび方法
US10013639B1 (en) * 2013-12-16 2018-07-03 Amazon Technologies, Inc. Analyzing digital images based on criteria
US9177194B2 (en) 2014-01-29 2015-11-03 Sony Corporation System and method for visually distinguishing faces in a digital image
JP6367168B2 (ja) * 2015-09-18 2018-08-01 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6440604B2 (ja) 2015-09-29 2018-12-19 富士フイルム株式会社 被写体評価システム，被写体評価方法，被写体評価プログラムおよびそのプログラムを格納した記録媒体
JP6742186B2 (ja) * 2016-07-28 2020-08-19 ヤフー株式会社 決定装置、決定方法、及び決定プログラム
JP2018170001A (ja) * 2017-03-29 2018-11-01 西日本電信電話株式会社 映像データ処理装置、映像データ処理方法、及びコンピュータプログラム
JP7000200B2 (ja) * 2018-02-22 2022-01-19 株式会社野村総合研究所 広告効果予測システム、方法およびプログラム
US11144998B2 (en) * 2018-09-20 2021-10-12 The Toronto-Dominion Bank Dynamic provisioning of data exchanges based on detected relationships within processed image data
KR102179590B1 (ko) * 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 등장인물 갈등정보 추출 장치
KR102179591B1 (ko) * 2018-12-12 2020-11-17 인하대학교 산학협력단 동영상 내 인물 영역 추출 장치
CN112527858B (zh) * 2020-11-26 2024-06-25 微梦创科网络科技（中国）有限公司 基于社交内容的营销账号识别方法、装置、介质和设备
US11822596B2 (en) * 2021-04-30 2023-11-21 Hewlett-Packard Development Company, L.P. Digital image file metadata characteristics

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523412A (zh) * 2006-10-11 2009-09-02 惠普开发有限公司 基于人脸的图像聚类

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6748097B1 (en) * 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
JP4367010B2 (ja) 2003-05-30 2009-11-18 セイコーエプソン株式会社 システム、プログラムおよび方法
US7293007B2 (en) * 2004-04-29 2007-11-06 Microsoft Corporation Method and system for identifying image relatedness using link and page layout analysis
JP4487805B2 (ja) 2004-11-16 2010-06-23 セイコーエプソン株式会社 画像評価方法、画像評価装置、及び印刷装置
JP4510718B2 (ja) * 2005-08-09 2010-07-28 キヤノン株式会社 画像出力装置及びその制御方法
JP4767635B2 (ja) 2005-09-15 2011-09-07 富士フイルム株式会社 画像評価装置および方法並びにプログラム
JP2007135065A (ja) 2005-11-11 2007-05-31 Konica Minolta Photo Imaging Inc 表示プログラム及び画像データの表示方法
US7668405B2 (en) 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
JP4680161B2 (ja) * 2006-09-28 2011-05-11 富士フイルム株式会社 画像評価装置および方法並びにプログラム
JP5403727B2 (ja) * 2007-10-24 2014-01-29 インターナショナル・ビジネス・マシーンズ・コーポレーション 教材選択システムの方法とプログラム
FR2923307B1 (fr) * 2007-11-02 2012-11-16 Eastman Kodak Co Procede d'organisation de donnees multimedia
JP2009217724A (ja) * 2008-03-12 2009-09-24 Panasonic Corp 関連文書推定装置、関連文書推定方法及びプログラム、並びに記録媒体
US9015597B2 (en) * 2009-07-31 2015-04-21 At&T Intellectual Property I, L.P. Generation and implementation of a social utility grid
US8208696B2 (en) * 2009-12-15 2012-06-26 Hewlett-Packard Development Company, L.P. Relation tree
US20120050789A1 (en) * 2010-08-31 2012-03-01 Apple Inc. Dynamically Generated Digital Photo Collections

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523412A (zh) * 2006-10-11 2009-09-02 惠普开发有限公司 基于人脸的图像聚类

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Statistical Evaluation of Recent Full Reference Image Quality Assessment Algorithms;Sheikh, H.R.等;《Image Processing, IEEE Transactions on》;20061130;第15卷(第11期);3440-3451 *
基于特征评价的模式识别算法研究;王丽娟;《中国博士学位论文全文数据库 信息科技辑》;20081215(第12期);正文第1-124页 *

Also Published As

Publication number Publication date
EP2535865A1 (en) 2012-12-19
JP2012053889A (ja) 2012-03-15
JP5307873B2 (ja) 2013-10-02
JP4846071B2 (ja) 2011-12-28
CN102439630A (zh) 2012-05-02
US20110317928A1 (en) 2011-12-29
US8660378B2 (en) 2014-02-25
EP2535865A4 (en) 2017-12-06
JPWO2011099108A1 (ja) 2013-06-13
WO2011099108A1 (ja) 2011-08-18

Similar Documents

Publication Publication Date Title
CN102439630B (zh) 图像评价装置、图像评价方法、程序、集成电路
CN102483841B (zh) 图像评价装置、图像评价方法、程序、集成电路
US11095594B2 (en) Location resolution of social media posts
CN107273454B (zh) 用户数据分类方法、装置、服务器和计算机可读存储介质
CN107016026B (zh) 一种用户标签确定、信息推送方法和设备
US10187344B2 (en) Social media influence of geographic locations
TW201939400A (zh) 目標用戶群體的確定方法和裝置
CN104917954A (zh) 图像处理装置、重要人物判定方法、图像布局方法、以及程序和记录介质
CN106649681B (zh) 一种数据处理方法、装置及设备
US20070219994A1 (en) Methods and systems for displaying media utilizing user-generated data
TW201606537A (zh) 視覺交互搜尋
JP6041217B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
CN102511054B (zh) 图像管理装置、图像管理方法
WO2012169112A1 (ja) コンテンツ処理装置、コンテンツ処理方法、プログラム、及び集積回路
CN111553729A (zh) 一种电商用户画像数据生成方法、装置和计算设备
CN106354867A (zh) 多媒体资源的推荐方法及装置
CN115885272A (zh) 知识图谱的更新方法、装置、电子设备、存储介质及程序
CN114048379A (zh) 服务推荐方法及装置、存储介质和电子设备
KR20140015653A (ko) 컨텐츠 추천 시스템 및 방법
CN117235586A (zh) 酒店客户画像构建方法、系统、电子设备及存储介质
CN117390140B (zh) 基于机器阅读理解的中文方面级情感分析方法及系统
JP6079479B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2012058926A (ja) キーワード付与装置及びプログラム
CN114510613A (zh) 一种基于app软件操作数据的用户行为模式分析方法及系统
JP6998914B2 (ja) 情報処理システム、プログラム、及び情報処理方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
C56 Change in the name or address of the patentee
CP02 Change in the address of a patent holder

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA