CN102483841B - 图像评价装置、图像评价方法、程序、集成电路 - Google Patents

图像评价装置、图像评价方法、程序、集成电路 Download PDF

Info

Publication number
CN102483841B
CN102483841B CN201180003483.5A CN201180003483A CN102483841B CN 102483841 B CN102483841 B CN 102483841B CN 201180003483 A CN201180003483 A CN 201180003483A CN 102483841 B CN102483841 B CN 102483841B
Authority
CN
China
Prior art keywords
image
cameraman
personage
calculates
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180003483.5A
Other languages
English (en)
Other versions
CN102483841A (zh
Inventor
薮博史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102483841A publication Critical patent/CN102483841A/zh
Application granted granted Critical
Publication of CN102483841B publication Critical patent/CN102483841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2323Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Discrete Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

图像评价装置计算表示包含于图像A中的人物a、b的对象、包含于图像B中的人物b的对象的摄入状况的特征值。并且,图像评价装置将图像B的摄影者确定为人物b’,并计算其似然值。然后,图像评价装置使用包含于图像A、B中的人物a、b的特征值和图像B的摄影者的似然值,计算图像A、B的重要度。

Description

图像评价装置、图像评价方法、程序、集成电路
技术领域
本发明涉及为了支持用户从其保有的数量庞大的图像中选择对用户重要的图像,而对各个图像进行评价的技术。
背景技术
近年来,随着数字照相机的普及和记录介质的容量增加,用户能够保有数量庞大的图像。
已经公知这样的方法,为了支持用户容易地从这种大量的图像中找出想要欣赏的图像,对各个图像进行评价并排名(ranking)。
例如,一种方法是根据使用图像进行的作业(打印或幻灯片放映等)的次数等计算各个图像的评价值(参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2007-135065号公报
专利文献2:日本特开2007-80014号公报
发明概要
发明要解决的问题
但是,专利文献1的方法存在以下问题,用户必须进行操作,在用户完全不进行操作的情况下或者操作次数较少的时候,将不能计算出反映了用户的意图的评价值。
并且,过去有利用被摄入到图像中的人物来计算图像的评价值的技术,但尚没有以拍摄了该图像的人物(摄影者)为线索来计算图像的评价值的技术。
根据本申请发明者们的研究,认为如果能够以图像的摄影者为线索来计算图像的评价值,则对于用户而言能够得到恰当的结果。
发明内容
本发明正是鉴于基于这种观点而提出的,其目的在于,提供能够以图像的摄影者为线索来评价图像的图像评价装置。
用于解决问题的手段
本发明的图像评价装置,分别计算多个图像的重要度,其特征在于,该图像评价装置具有:特征值计算单元,针对各个图像中所包含的对象,计算表示该对象的拍摄状况的特征值;摄影者抽取单元,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及评价单元,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
发明效果
根据本发明的图像评价装置,能够以图像的摄影者为线索来评价图像。
附图说明
图1是图像评价系统1的功能框图。
图2是表示图像评价处理的概况的流程图。
图3是表示图像取得/聚类处理的流程图。
图4是说明对象聚类的流程的图。
图5是表示人物聚类信息存储部41的存储内容的图。
图6是说明事件聚类的流程的图。
图7是表示事件聚类信息存储部42的存储内容的图。
图8是表示占有率计算处理的流程图。
图9是说明占有率计算的流程的图。
图10是表示占有率存储部43的存储内容的图。
图11是表示摄影者抽取处理的流程图。
图12是表示摄影者的选定处理的流程图。
图13是表示摄影者A的选定处理的流程图。
图14是说明摄影者A的选定的流程的图。
图15是表示摄影者B的选定处理的流程图。
图16是说明摄影者B的选定的流程的图。
图17是表示摄影者似然值的计算处理的概况的流程图。
图18是表示摄影者A的摄影者似然值的计算处理的流程图。
图19是说明计算摄影者密度的流程的图。
图20是说明计算摄影者A的摄影者似然值的流程的图。
图21是表示摄影者B的摄影者似然值的计算处理的流程图。
图22是表示摄影者似然值存储部44的存储内容的图。
图23是表示图表生成(被摄体链接设定)处理的流程图。
图24是说明图像节点与被摄体节点之间的链接设定的图。
图25是表示图表生成(摄影者链接设定)处理的流程图。
图26是说明图像节点与摄影者节点之间的链接设定的图。
图27是说明摄影者节点与被摄体节点之间的链接设定的图。
图28是表示图表生成(虚拟链接设定)处理的流程图。
图29是说明图像节点与虚拟节点之间的链接设定的图。
图30是表示图表的具体示例的图。
图31是表示图表存储部45的存储内容的图。
图32是表示邻接矩阵生成/特征向量计算处理的流程图。
图33是表示邻接矩阵M的具体示例的图。
图34是说明根据主特征向量P的成分求出各个图像的评价值和各个对象的重要度的流程的图。
图35(a)是表示对象重要度存储部46的存储内容的图,图35(b)是表示图像评价值存储部47的存储内容的图。
图36是说明主体人物对图像的评价值产生的影响的图。
图37是说明在节点之间传递重要度的状态的图。
图38(a)是表示对象出现特征量计算部50的变形例的图,图38(b)是表示笑脸计算部52计算出较高的笑脸度的人脸的示例的图,图38(c)是表示笑脸计算部52计算出较低的笑脸度的人脸的示例的图。
图39是说明从图像中抽取各种对象的流程的图。
图40是表示与特定的期间对应的人物的重要度的图。
具体实施方式
(实施方式1)
下面,参照附图说明本实施方式。
<结构>
如图1所示,图像评价系统1构成为包括SD存储卡2、图像评价装置3和显示器4。
图像评价装置3具有图像取得部10、对象抽取部20(包括对象特征量抽取部21、对象聚类部22)、事件抽取部30(包括摄影时间日期抽取部31、事件聚类部32)、存储部40(包括人物聚类信息存储部41、事件聚类信息存储部42、占有率存储部43、摄影者似然值存储部44、图表存储部45、对象重要度存储部46、图像评价值存储部47)、对象出现特征量计算部50(包括占有率计算部51)、摄影者抽取部60(包括摄影者取得部61、摄影者选定部62、摄影者似然值计算部63)、图表生成部70(包括图像被摄体节点生成部71、摄影者节点生成部72、虚拟节点生成部73、被摄体链接设定部74、摄影者链接设定部75、虚拟链接设定部76)、评价部80(包括邻接矩阵生成部81、特征向量计算部82、重要度计算部83)、显示控制部90。
图像取得部10例如由SD读卡器构成,从被插入到SD卡槽内的SD存储卡4取得图像数据。
对象抽取部20从由图像取得部10取得的图像数据中抽取被摄入到图像中的人物的对象(object)(下面只要没有特别说明,对象指人物的对象)的对象特征量,并根据所抽取的对象特征量进行聚类(clustering)。
具体地讲,对象特征量抽取部21进行对象特征量的抽取。
其抽取方法能够采用通常的方法,例如可以采用基于Gabor滤波器的抽取方法(参照后面叙述的参考文献1)。
在进行抽取后,对象聚类部22根据所抽取的对象特征量,进行人物的对象的聚类。
并且,将表示聚类的结果的人物聚类信息(对象聚类信息)存储在人物聚类信息存储部41中。
关于这种聚类的方法,能够采用非分层式方法(对固定的各个聚类赋予代表进行聚类的方法)中的一种即k-means法(参照参考文献2)。
事件抽取部30从由图像取得部10取得的图像中抽取摄影日期时间信息,根据所抽取的摄影日期时间信息将图像分类为多个事件(聚类),将表示其结果的事件聚类信息存储在事件聚类信息存储部42中。
摄影时间日期抽取部31从图像的元数据中抽取摄影日期时间信息。该元数据例如指用Exif(Exchangeableimagefileformat:可交换图像文件)格式记述的Exif信息。
在抽取出摄影日期时间信息后,事件聚类部32进行将多个图像分类为不同的事件的聚类。
关于这种事件的聚类的方法,能够采用通常的方法。例如,能够采用将任意的时间设定为阈值,将图像彼此之间的摄影日期时间的差超过阈值者作为事件的划分的方法(参照参考文献2)。
存储部40具有存储各种信息的功能。存储部40的硬件能够用例如RAM(RandomAccessMemory:随机存取存储器)或HDD(HardDiskDrive:硬盘驱动)构成。
对象出现特征量计算部50参照人物聚类信息存储部41,计算有关图像中的对象的“对象出现特征量”。
“对象出现特征量”指表示被摄入到图像中的对象是何种摄入状况的量。
在本实施方式中,作为对象出现特征量的一例,列举由占有率计算部51计算的占有率。“占有率”用于表示属于人物聚类的对象在图像中所占的比例。
由占有率计算部51计算出的占有率被存储在占有率存储部43中。
摄影者抽取部60具有:摄影者取得部61,将由图像取得部10取得的图像作为对象(下面称为“对象图像”)来取得摄影者信息;摄影者选定部62,选定对象图像的摄影者;摄影者似然值计算部63,计算所选定的摄影者的似然值(表示可靠的程度)。
这种选定对象图像的摄影者的方法有以下三种方法。
关于这三种方法的定位顺序如下,首先尝试基于方法Z的选定,如果用方法Z未能选定摄影者,则执行方法A,如果用方法A未能选定摄影者,则执行方法B。
(1)方法Z
·尝试取得对象图像中所包含的摄影者信息
·根据取得的摄影者信息来选定摄影者
关于上述摄影者信息,例如采用图像的Exif信息。
另外,在采用方法Z的情况下,如果是Exif所包含的摄影者信息,摄影者似然值计算部63视为可靠性较高,将似然值计算为较高的值(例如似然值1)。
(2)方法A(将利用该方法A选定的摄影者称为“摄影者A”)
·抽取在与对象图像相同的事件中出现的人物
·从所抽取的人物中进一步抽取没有摄入到对象图像中的人物
·将进一步抽取的人物全部选定为摄影者(被选定的摄影者有可能是多名摄影者)
(3)方法B(将利用该方法B选定的摄影者称为“摄影者B”)
·抽取在与对象图像相同的事件中未出现的人物
·对所抽取的各个人物计算摄影者选定度
·将摄影者选定度为最高的人物选定为摄影者(被选定的摄影者一定是1名)
图表生成部70生成表示图像节点、被摄体节点、摄影者节点、虚拟节点、以及这些节点间的链接的图表(graph),将所生成的图表存储在图表存储部45中。另外,该链接具有朝向,因而图表指被称为有向图(directedgraph)的类型。
图像被摄体节点生成部71生成图像节点和被摄体节点,摄影者节点生成部(主体人物设定部)72生成摄影者节点,虚拟节点生成部73生成虚拟节点。
其中,摄影者节点指与成为图像的评价主体(评价基准)的主体人物对应的节点。在进行图像的评价时,即使是相同的图像,如果评价主体不同,也需要考虑针对该图像的评价不同的情况,例如对于人物a,认为将拍摄了人物a自身(或者与人物a亲近的人物)的图像或由人物a亲自拍摄到的图像评价为较高的值。在本实施方式中,通过采用这种与主体人物对应的摄影者节点,能够计算出对该主体人物比较恰当的图像的评价。
并且,虚拟节点指用于对节点间的链接调整加权的节点。例如,没有向外的链接而累积重要度的节点的问题(problemofranksinks:等级沉没问题)得以消除。
被摄体链接设定部74设定被摄体节点-图像节点间的链接。
摄影者链接设定部75设定摄影者节点-图像节点间的链接、以及摄影者节点-被摄体节点间的链接。
虚拟链接设定部76设定虚拟节点-图像节点间的链接、以及虚拟节点-被摄体节点间的链接。
评价部80具有计算图像及对象各自的重要度的功能,包括邻接矩阵生成部81、特征向量计算部82、重要度计算部83。
邻接矩阵生成部81生成用于表述在图表存储部45中存储的图表的邻接矩阵。
特征向量计算部82计算所生成的邻接矩阵的特征向量。
重要度计算部83根据计算出的特征向量的成分,计算各个对象的对象重要度和各个图像的图像评价值。并且,将计算出的重要度存储在对象重要度存储部46中,将评价值存储在图像评价值存储部47中。
另外,对象抽取部20、事件抽取部30、对象出现特征量计算部50、摄影者抽取部60、图表生成部70、评价部80等,例如能够利用在ROM(ReadOnlyMemory:只读存储器)中存储的控制程序、和执行该控制程序的(CentralProcessingUnit)等构成。
显示控制部90控制显示器4的画面显示。该显示控制部90例如用显示器控制器构成,使在显示器4的画面上显示被存储于图像评价值存储部47中的图像评价值。
<动作>
下面,说明截止到对图像进行评价的流程。
图2是表示图像评价处理的概况的流程图。
如图2所示,在图像信息处理装置3中依次进行以下处理:由对象抽取部20和事件抽取部30进行的图像取得/聚类(S21),由占有率计算部51进行的占有率计算(S22),由摄影者抽取部60进行的摄影者抽取(S23)。
然后,摄影者节点生成部72将从人物聚类信息存储部41取得的人物聚类信息所示出的多个对象中的一个对象设定为主体人物(S24)。
然后,进行由图表生成部70进行的图表生成(被摄体链接设定)(S25)、图表生成(摄影者链接设定)(S26)、图表生成(虚拟链接设定)(S27)、邻接矩阵生成/特征向量计算(S28)。
并且,在图像信息处理装置3中,如果没有将人物聚类信息中包含的全部人物设定为主体人物(S29:否),则返回步骤S24,反复S25~S28的处理。
并且,在图像信息处理装置3中,如果已将人物聚类信息中包含的全部人物设定为主体人物(S29:是),则视为能够计算以各个人物为主体的图像评价值,并结束处理。
如图3所示,在图像取得/聚类处理中,图像取得部10从SD存储卡2取得在SD存储卡2中存储的图像数据(S31)。
对象特征量抽取部21将所取得的图像数据作为对象,从图像中切取人脸的区域,并抽取该人脸的特征量作为对象特征量(S32)。
对象聚类部22使用所抽取的对象特征量进行聚类,将聚类的结果即人物聚类信息存储在人物聚类信息存储部41中(S33)。
然后,摄影时间日期抽取部31从所取得的各个图像的Exif信息中抽取摄影日期时间(S34)。
事件聚类部32根据所抽取的摄影日期时间进行聚类,将聚类的结果即事件聚类信息存储在事件聚类信息存储部42中(S35)。
使用图4具体说明步骤S32、S33,对象特征量抽取部21从3张图像A~图像C(图4(a))中切取4个人脸F1~F4,并抽取各个人脸F1~F4的特征量(图4(b))。
并且,对象聚类部22将4个人脸F1~F4中相似的各个人脸的人脸F2、F3聚类为人物a,将人脸F1、F4聚类为人物b(图4(c))。
图5是表示用于示出对象聚类的结果的人物聚类信息的数据构造的图。
人物聚类信息指表示出现于图像中的各个人脸属于哪个人物聚类的信息,包括项目“人物聚类名称”、“人脸”、“图像”。
然后,使用图6具体说明步骤S34、S35,摄影时间日期抽取部31从4张图像A~图像D(图6(a))中分别抽取摄影日期时间(图6(b))。
并且,事件聚类部32将4个摄影日期时间中日期时间接近的各个图像的图像A、B聚类为事件f,将图像C、D聚类事件g(图6(c))。
图7是表示用于示出事件聚类的结果的事件聚类信息的数据构造的图。事件聚类信息指表示图像属于哪个事件聚类的信息,包括项目“事件聚类名称”、“图像”、“摄影日期时间”。
下面,使用图8说明有关占有率计算(图2:S22)的处理。
占有率计算部51从人物聚类信息存储部41取得人物聚类信息(S81)。
占有率计算部51根据所取得的人物聚类信息,将由对象出现特征量计算部50抽取的对象的区域的面积除以该对象出现的图像整体的面积,由此计算各个对象在各个图像中所占的比例(占有率)。并且,将1减去对象的占有率,由此计算背景(非对象区域)的占有率。并且,将计算出的对象的占有率和背景的占有率存储在占有率存储部43中(S82)。
使用图9说明步骤S82的具体示例。
如图9所示,在图像B中包含人脸F3的对象。
占有率计算部51求出人脸F3的区域的面积S2和人脸F3出现的图像B整体的面积S1。并且,根据S2/S1来计算占有率。
例如,如果人脸F3的区域的面积S2是50万像素量、图像B的面积S1是100万像素量,则50/100=0.5就是人脸f3在图像B中的占有率。并且,根据1-0.5=0.5,图像B的背景的占有率为0.5。
图10是表示用于示出占有率计算的结果的被摄体信息的数据构造的图。被摄体信息包括项目“图像”、“人物a的占有率”、“人物b的占有率”、“背景的占有率”。
下面,使用图11说明摄影者抽取处理(图2:S23)的详细情况。
首先,摄影者抽取部60从人物聚类信息存储部41取得人物聚类信息(S111)。
之后的步骤S112对应于上述的选定摄影者的方法之一的方法Z。
即,摄影者取得部61尝试取得图像的Exif信息所包含的摄影者信息(S112)。如果取得成功,摄影者取得部61参照在步骤S111已经取得的人物聚类信息,确定与所取得的摄影者对应的人物聚类名称。
另外,在步骤S112,也可以显示催促用户确定摄影者的菜单等,以根据用户操作而设定的信息为线索来取得摄影者。
如果能够取得摄影者,则进入步骤S117(S113:是)。
如果不能取得摄影者(S113:否),摄影者选定部62从人物聚类信息存储部41取得人物聚类信息、从事件聚类信息存储部42取得事件聚类信息,并进行后续处理的准备(S114)。
然后,摄影者选定部62根据所取得的人物聚类信息和事件聚类信息,选定被估计为拍摄了图像的摄影者的人物(S115)。在该步骤S115依次执行上述的方法A、方法B。
另外,摄影者似然值计算部63根据所取得的人物聚类信息和事件聚类信息,计算被选定为摄影者的人物的摄影者似然值(S116)。并且,将在步骤S115选定的摄影者和计算出的摄影者似然值存储在摄影者似然值存储部44中(S117)。
另外,当在S113为是的情况下,针对由摄影者取得部61取得的摄影者,摄影者似然值计算部63计算摄影者似然值,将摄影者和计算出的摄影者似然值相对应地存储在摄影者似然值存储部44中(S117)。
使用图12说明摄影者选定(图11:S115)的处理。
摄影者选定部62根据在步骤S114取得的人物聚类信息和事件聚类信息,进行摄影者A的选定(S121),然后进行摄影者B的选定(S122)。
另外,在步骤S122选定摄影者B时的对象图像局限于虽然进行了摄影者A的选定(S121)但是未选定摄影者A的图像。对于在选定摄影者A时(S121)已经选定摄影者A的图像,从摄影者B的对象图像中去除。
使用图13详细说明摄影者A的选定方法。摄影者选定部62根据所取得的事件聚类信息和人物聚类信息,抽取在属于包括用于选定摄影者的对象的图像(以下称为“对象图像”)的事件的图像中出现的人物(S131)。然后,从所抽取的人物中进一步抽取除被摄入到对象图像中的人物之外的人物(S132),将抽取出的全部人物选定为摄影者A(S133)。
使用图14说明选定摄影者A的示例。
摄影者选定部62抽取在事件f所包含的两张图像A、B中出现的人物a、b(图14(a)、图14(b))。
在图像A中不存在是出现于事件f中的人物且没有摄入到图像A中的人物,因而视为没有图像A的摄影者A。
在图像B中,将没有摄入到图像B中的人物b选定为摄影者A(图14(c))。
然后,使用图15说明摄影者B的选定方法。摄影者选定部62根据所取得的事件聚类信息和人物聚类信息,抽取虽然没有在属于包括对象图像的事件的图像中出现、但是在其它事件中出现的所有人物(S151)。
然后,摄影者选定部62对所抽取的各个人物,计算与在包括对象图像的事件中出现的人物的亲密度(S152)。
然后,摄影者选定部62计算稀少度(S153)。
并且,摄影者选定部62将计算出的亲密度和稀少度相乘,计算在包括对象图像的事件中没有出现的各个人物的摄影者选定度(S144)。
然后,摄影者选定部62在计算出的摄影者选定度中,将摄影者选定度为最大的人物选定为摄影者B(S155)。
依次说明步骤S152的亲密度计算处理和步骤S153的稀少度计算处理的详细情况。
(1)亲密度的计算(S152)
“亲密度”指在对象图像中出现的人物、与在该对象图像中没有出现的(被选定为摄影者B的候选者)人物之间的亲密程度的评价尺度。
将两个人物一起出现在相同事件中的事件的数量、和两个人物一起作为被摄体出现在相同图像中的图像的数量相乘,由此计算该亲密度。
下面,说明具体的亲密度的计算方法。
例如,说明包括拍摄了人物a、b的对象图像A的事件f。
并且,作为在该事件f中没有出现的人物c的亲密度,将在其它事件中人物c和人物a(或者人物b)出现于相同事件中的数量(EventCo(c,a)、EventCo(c,b))、与人物c和人物a(或者人物b)一起出现于相同图像中的数量(PhotoCo(c,a)、PhotoCo(c,b))分别相乘,将相乘得到的值相加,由此计算人物c与出现于对象图像A中的人物的亲密度Familiarity(A,c)。
将该亲密度用算式表示如下(式1)。
[数式1]
Familiarity(A,c)
=(PhotoCo(c,a)+1)×((EventCo(c,a)+1)+(PhotoCo(c,b)+1)×(EventCo(c,b)+1)
…(式1)
(2)稀少度的计算(S153)
“稀少度”表示没有出现于对象图像中的各个人物在事件中的出现频度稀少的程度。
说明稀少度的计算方法。
将对象人物出现的事件的图像数量设为N,将对象人物出现于事件中的图像数量设为N(m)。
针对每个该图像,将该N除以N(m)并相加,由此求出稀少度Scarcity。
将该稀少度用算式表示如下(式2)。
[数式2]
N:对象人物出现的事件的图像数量
N(m):对象人物出现于事件中的图像数量
这种稀少度的求出方法依据于如下思考,即虽然出现的事件数量较多、但是在出现的事件中出现的图像数量越少时该人物拍摄了对象图像的可能性越大。
使用图16具体说明选定摄影者B的流程。
假设有被聚类为事件f、g、h中任意一个事件的7张图像A~图像G(图16(a))。
在将被选定为摄影者B的对象图像设为图像C时,摄影者选定部62抽取在包括图像C的事件g中没有出现、而在其它事件f、h中出现的人物e、人物a(图16(b))。
如图16(c)所示,
关于人物e的亲密度
·人物e与人物b一起出现的事件的数量是事件h这一个事件((EventCo(b,e)=1)
·人物e与人物b一起出现的图像的数量是0张(PhotoCo(b,e)=0),因而人物e的亲密度是(1+1)×(0+1)=2。
关于人物a的亲密度
·人物a与人物b一起出现的事件的数量是事件f和h这两个事件((EventCo(b,a)=2)
·人物a与人物b一起出现的图像的数量是图像A这一张图像(PhotoCo(b,a)=1),因而人物a的亲密度是(2+1)×(1+1)=6。
关于人物e的稀少度
·包括人物e出场的图像F在内的事件h的图像有3张,该事件h中的人物e的出现图像是图像F这1张,因而人物e的稀少度是3/1=3。
关于人物a的稀少度
·包括人物a出场的图像B在内的事件f的图像有2张,该事件f中的人物a的出现图像是图像B这1张,
·包括人物a出场的图像G在内的事件h的图像有3张,该事件h中的人物a的出现图像是图像G这1张,因而人物a的稀少度是2/2+3/1=4。
并且,人物e的摄影者选定度是向亲密度“2”乘以稀少度“3”而得的6,人物a的摄影者密度是向亲密度“6”乘以稀少度“4”而得的24。最后,摄影者选定部62将摄影者选定度为最大的人物a选定为摄影者B(图16(d))。
如果摄影者的选定处理(图11:S115)结束,则移至摄影者似然值的计算处理(S116)
图17表示摄影者似然值的计算处理的详细情况。
如图17所示,摄影者似然值计算部63按照摄影者A的摄影者似然值的计算处理(S171)、摄影者B的摄影者似然值的计算处理(S172)的顺序,计算摄影者似然值。
首先,使用图18说明摄影者A的摄影者似然值的计算(图17:S171)。
摄影者似然值计算部63根据所取得的人物聚类信息和事件聚类信息,计算所选定的摄影者A的稀少度(S181)。关于稀少度的计算方法,与上面说明的摄影者B的稀少度的计算方法相同,因而省略说明。
然后,摄影者似然值计算部63计算摄影者A的摄影者密度(S182)。
“摄影者密度”指在对象图像中被选定为摄影者A的人物,在对象图像的周围附近被选定为摄影者A的程度的值。
在通常的数字摄像机的使用方式中,具有相同摄影者持续拍摄多张图像的趋势。因此,可以认为是该摄影者密度越高的人物越应该拍摄了对象图像。
使用图19说明摄影者密度的计算方法。
例如,假设在事件Y中包含图像L~P这5张图像,从被摄入到这些图像中的人物中选定各个图像的摄影者A(图19(a))。
此时的图像N的人物f的摄影者密度,是利用作为摄入了人物f的图像N和图像M在摄影顺序中的张数的距离(d(N,M))、以及图像N和图像O在摄影顺序中的距离(d(N,O))而求出的。
将该摄影者密度表示为普通的算式如下式(3)所示。
[数式3]
d:对象图像i与将同一人物选定为摄影者A的图像j在摄影顺序中的距离(张数)
在图19(b)的示例中,进一步说明图像N中的人物f的摄影者密度的计算方法,人物f在图像M和图像O中被选定为摄影者A。并且,从图像N到图像M的距离为1,从图像N到图像O的距离也为1。
因此,图像N中的人物f的摄影者密度是1/1+1/1=2。
返回到图18的流程继续进行说明。
摄影者似然值计算部63将计算出的稀少度和摄影者密度相乘,并计算针对对象图像而选定的摄影者A在各个人物中的摄影者似然值(S183),将计算出的摄影者似然值归一化(S184)。
最后,摄影者似然值计算部63向被归一化的摄影者A的摄影者似然值乘以固定值α(S185),以便使在各个图像中被选定的摄影者A及摄影者B的摄影者似然值的合计值为1。
使用图20具体说明求出被选定了摄影者A的图像E的摄影者似然值的流程。
假设有被聚类为事件f、g、h的图像A~图像G(图20(a))。
摄影者选定部62分别选定事件h所包含的图像E、图像F、图像G的摄影者A。
选定的结果如下:
·图像E的摄影者A为人物e、人物a,
·图像F的摄影者A为人物a、人物b,
·图像G的摄影者A为人物b、人物e(图20(b))。
然后,摄影者似然值计算部63计算各个人物e、a的稀少度、摄影者亲密度,将计算出的稀少度和摄影者密度相乘,由此计算图像E的摄影者A的人物e和人物a的摄影者似然值,将计算出的摄影者似然值归一化(图20(c))。
下面,使用图21说明计算摄影者B的摄影者似然值(图17:S172)的处理。
关于对象图像的摄影者B的摄影者似然值,摄影者似然值计算部63计算将1减去固定值α得到的值,作为摄影者似然值(S211)。
通过以上说明的处理,计算对象图像的摄影者A的摄影者似然值和摄影者B的摄影者似然值。
图22表示摄影者似然值的数据构造。作为摄影者似然值的数据,包括项目“图像”、“人物a的摄影者似然值”、“人物b的摄影者似然值”、“图像的摄影者似然值的合计值”、“人物的摄影者似然值的合计值”。“图像的摄影者似然值的合计值”指将各个图像中的人物的摄影者似然值相加得到的值。并且,“人物的摄影者似然值的合计值”指将各个人物的图像的摄影者似然值相加得到的值。
下面,使用图23说明图表生成(被摄体链接设定)处理(图2:S25)。
图像被摄体节点生成部71从人物聚类信息存储部41取得人物聚类信息、从占有率存储部43取得占有率(S231)。
然后,图像被摄体节点生成部71根据所取得的人物聚类信息和占有率,将与人物聚类信息所包含的图像(将其数量设为P个)对应的P个图像节点、以及与用于表示图像和被摄体的关系的人物聚类的种类数量(将其数量设为Q个)对应的Q个被摄体节点相加,生成(P+Q)个节点(S232)。
然后,图表生成部70的被摄体链接设定部74根据所取得的人物聚类信息和占有率,设定所生成的图像节点与被摄体节点间的链接(S233)。
用于设定图像节点与被摄体节点间的链接的规则如下所述。
(1)从各个图像节点向各个被摄体节点的链接的值,是将属于该被摄体的人物聚类的人物的占有率和任意的固定值β相乘得到的值。
(2)从各个被摄体节点向各个图像节点的链接的值,是将任意的固定值γ除以各个被摄体节点对应的人物出现的图像数量得到的值。
图24表示设定图像A、B与对应于被摄体节点的人物a、b的链接的示例。
按照上述(1)~(2)的规则来设定链接如下:
从图像A向人物a的链接的值(W(A→a)),是将图像A中的人物a的占有率(S(A(a)))和固定值β相乘得到的值(β×S(A(a)))。
从图像A向人物b的链接的值(W(A→b)),是将图像A中的人物b的占有率(S(A(b)))和固定值β相乘得到的值(β×S(A(b)))。
从图像B向人物b的链接的值(W(B→b)),是将图像B中的人物b的占有率(S(B(b)))和固定值β相乘得到的值(β×S(B(b)))。
相反,从人物a向图像A的链接的值(W(a→A)),是将固定值γ除以拍摄了人物a的图像数量(N(a))得到的值(γ÷N(a))。
并且,从人物b向图像A的链接的值(W(b→A))、从人物b向图像B的链接的值(W(b→B)),是将固定值γ除以拍摄了人物b的图像数量(N(b))得到的值(γ÷N(b))。
然后,使用图25说明图表生成(摄影者链接设定)处理(图2:S26)。
摄影者节点生成部72从人物聚类信息存储部41取得人物聚类信息、从摄影者似然值存储部44取得摄影者似然值(S251)。
然后,图表生成部70的摄影者节点生成部72根据所取得的人物聚类信息和摄影者似然值,生成与在图2的步骤S24设定的主体人物对应的1个摄影者节点(S252)。
然后,图表生成部70的摄影者链接设定部75根据所取得的人物聚类信息和摄影者似然值,设定所生成的摄影者节点与在图23的步骤S232生成的图像节点间的链接(S253)。
然后,摄影者链接设定部75设定摄影者节点与被摄体节点间的链接(S254)。
另外,图像节点与摄影者节点间的链接,仅在摄影者节点所属的人物聚类和在各个图像中被选定为摄影者的人物聚类相同的节点之间生成。
并且,被摄体节点与摄影者节点间的链接,仅在被摄体节点节点所属的人物聚类和摄影者节点所属的人物聚类相同的节点之间生成。
用于设定链接的规则如下所述。
(3)从各个图像节点向摄影者节点的链接的值,是将在各个图像中被选定的摄影者所属的人物聚类的、有关图像的摄影者似然值和固定值(1-β)相乘得到的值。
(4)从摄影者节点向各个图像节点的链接的值,是将在各个图像中被选定的摄影者所属的人物聚类的、有关图像的摄影者似然值和固定值δ相乘得到的值。
(5)从摄影者节点向被摄体节点的链接的值,是将1减去固定值δ得到的值。
(6)从被摄体节点向摄影者节点的链接的值,是将1减去固定值γ得到的值。
图26表示设定图像节点与摄影者节点间的链接的示例。
按照上述(3)~(4)的规则来设定链接,从图像A向人物c’的链接的值(Y(A→c’)),是将1减固定值β得到的值(1-β)、和有关图像A中的人物c的图像的摄影者似然值(LP(A(c)))相乘得到的值((1-β)×LP(A(c)))。
相反,从人物c向图像A的链接的值(Y(c’→A)),是固定值δ和有关图像A中的人物c的人物的摄影者似然值(LM(A(c)))相乘得到的值(δ×LM(A(c)))。
然后,使用图27说明用于设定被摄体节点与摄影者节点间的链接的示例。
按照上述(5)~(6)的规则来设定链接,从人物c’向人物c的链接的值(X(c’→c)),是将1减去固定值δ得到的值(1-δ)。相反,从人物c向人物c’的链接的值(X(c→c’)),是将1减去固定值γ得到的值(1-γ)。
下面,使用图28说明图表生成(虚拟链接设定)处理(图2:S27)。
虚拟节点生成部73生成一个虚拟(dummy)节点(S281)。
然后,图表生成部70的虚拟链接设定部76设定在图23的步骤S232生成的图像节点与虚拟节点间的链接(S282),并设定被摄体节点与虚拟节点间的链接(S283)。
用于设定图像节点以及被摄体节点与虚拟节点间的链接的规则如下所述。另外,在下面的规则中,对于虚拟节点与被摄体或者摄影者节点间的链接,在链接的值为0的节点之间不设定链接。
(7)从各个图像节点向虚拟节点的链接的值,是将1减去通过(1)~(4)而设定的从各个图像节点向被摄体节点及摄影者节点的全部链接的值而得到的值。
(8)从各个被摄体节点向虚拟节点的链接的值,是将1减去通过(1)~(6)而设定的从各个图像节点向被摄体节点及摄影者节点的全部链接的值而得到的值。
(9)从虚拟节点向各个图像节点及被摄体节点的链接的值为固定值ε。
使用图29说明图像节点与虚拟节点间的链接设定、以及被摄体节点与虚拟节点间的链接设定的示例。
按照上述(7)~(9)的规则来设定链接,从图像B向虚拟节点z的链接的值(Z(B→z)),是将1减去向被摄入到图像B中的被摄体节点的链接(W(B→a))和向图像B的摄影者即人物c的摄影者节点的链接(Y(B→c’))而得到的值(1-W(B→c’)-Y(B→a))。
然后,从人物a向虚拟节点z的链接的值(Z(a→z)),是将1减去从人物a向图像B的被摄体链接(W(a→B))得到的值(1-W(a→B))。并且,从虚拟节点向图像B的图像节点及人物a的被摄体节点的链接的值(Z(z→B)、Z(z→a))为任意的固定值ε。
最后,节点生成部70生成节点,并将对所生成的节点之间设定了链接的图表输出给图表存储部45(S284)。
图30表示该图表的示例。
图30的图表是按照(1)~(9)的规则,对图像A、B的图像节点、人物a、b的被摄体节点、人物b’的摄影者节点、虚拟节点z进行了链接设定的图表。在该图表中,与摄影者节点对应的人物b是主体人物。
另外,图表存储部45将所输出的图表转换为表构造之后进行存储。图31表示与图30的图表对应的表构造。
下面,使用图32说明邻接矩阵生成/特征向量计算处理(图2:S28)。
关于根据邻接矩阵来评价矩阵的各个元素的方法,能够采用后面叙述的参考文献3的方法。
首先,邻接矩阵生成部81使用在图表存储部45中存储的表构造生成邻接矩阵(adjacencymatrix)M(S321)。如果使用图31的表构造,能够生成图33所示的作为6次(6行6列)正方矩阵的邻接矩阵M。
然后,特征向量计算部82计算邻接矩阵M的特征向量。步骤S322~S324表示同时求出主特征值(dominanteigenvalue)及其属下的主特征向量(dominanteigenvector)的方法的一种即“幂乘法”(powermethod)的运算。
即,
MP=λP……(式4)
利用上式求出在邻接矩阵M中作为固定值λ成立的特征向量P(S322)。在该特征向量P未收敛的情况下(S323:否),向计算出的特征向量P乘以原来的矩阵(S324),递归进行计算处理直到矩阵的特征向量P收敛(convergent)(S323:是)。
并且,特征向量计算部82将已收敛的特征向量P确定为主特征向量P(S325),重要度计算部83从主特征向量的成分中提取图像的成分和对象的成分(S326)。
最后,重要度计算部83将两个成分分别归一化(使合计值为1),并存储在对象重要度存储部46和图像评价值存储部47中(S327)。
使用图32详细说明步骤S326和S327。
如图32所示,从主特征向量P=(0.80,0.62,0.09,0.09,0.18,0.18)(图34(a))提取图像A、B的成分及人物a、b的成分(图32(b)),并使其归一化(图32(c)),由此能够计算人物a、b的对象重要度和图像A、B的图像评价值,并作为相对评价。
该评价的计算是根据以人物b为主体人物的图表(参照图30)而进行的,因而能够计算以人物b为基准时的对象重要度和图像评价值。
图35是表示用于示出重要度计算的结果的对象重要度和图像评价值的数据构造的图。在对象重要度和图像评价值的数据构造中,包括“主体人物”、“人物”、“分数”、“顺位”等项目。“主体人物”指在整体图像中出现的各个人物,以各个人物为主体,根据该人物拍摄的对象及一起摄入的对象,计算对象重要度和图像评价值,因而按照每个人物来存储对象重要度和图像评价值。“分数”在对象重要度的数据构造中表示对象重要度,在图像评价值的数据构造中表示图像评价值。
如以上说明的那样,根据本实施方式,能够以在全部图像中出现的各个人物为主体,对被频繁拍摄的对象和频繁地一起摄入的对象评价为重要,将摄入了该对象的图像评价为较高的分数。
并且,除此之外,通过表示链接关系的邻接矩阵M的递归的特征向量的计算处理,能够在对象之间传递重要度,即使是与摄影者拍摄到的重要对象相关的其它对象,也能够作为重要的对象来提升重要度。
使用图36并列举具体示例进行说明,假设人物a(儿子)、人物c(父亲)、人物d(祖母)、人物e(儿子的朋友)这4种聚类的频度是人物a>人物c>人物d>人物e的顺序,尤其是人物a的频度非常高(意味着人物a的重要度高)(图36(a))。
并且,假设在评价对象的图像中包括诸如图像H那样人物a拍摄的人物e的图像、诸如图像I那样人物c拍摄的人物d的图像、诸如图像J那样人物a与人物e一起被摄入的图像、诸如图像K那样人物c与人物d一起被摄入的图像(图36(b))。
在以人物a为主体的图像的评价中,人物e由于人物a而提升了其重要度,即使是图像评价值,也是摄入了人物e的图像的图像评价值比摄入了人物c或人物d的图像高。
并且,在以人物c为主体的图像的评价中,人物d由于人物c而提升了其重要度,即使是图像评价值,也是摄入了人物d的图像的图像评价值比摄入了人物a或人物e的图像高(图36(c))。
这样,根据作为主体的人物,尽管人物的频度较低,但是与作为主体的人物相关的人物一个人拍摄的图像的图像评价值,超过摄入了其它频度较高的人物的图像的图像评价值。
并且,根据本实施方式,通过摄影者节点和图像节点的链接设定,能够以基于摄影的关系为线索来传递重要度。
例如,如图37(a)所示,能够从作为摄影者节点的人物c’向作为图像节点的图像I来传递重要度。
并且,根据本实施方式,能够以不同的人物一起被摄入一个图像(处于并发关系)为线索来传递重要度。
例如,如图37(b)所示,通过从人物节点即人物c向图像节点K传递重要度,能够将重要度比较高的图像K的重要度传递给人物d,或进而通过人物d传递给图像I。
<补充1>
以上对本实施方式进行了说明,但本发明不限于上述内容,也能够以用于实现本发明的目的和与其相关联或者附带的目的的各种方式进行实施,例如也可以是以下的方式。
(1)在实施方式中,关于对象出现特征量,以占有率计算部51计算的占有率为例进行了说明,但不限于此。
例如,图38(a)所示的对象出现特征量计算部50除占有率计算部51之外,还具有计算人物的笑脸的程度即笑脸度的笑脸度计算部52、计算人物的距焦(focus)的程度的景深计算部53、计算人物的人脸朝向的人脸朝向计算部54。
笑脸度计算部52计算的笑脸度在人物越是笑脸时(图38(b)),其值越高,在人物越不是笑脸时(图38(c)),其值越低。
景深计算部53计算的景深在人物越聚焦时,其值越高,在人物越不聚焦时,其值越低。
人脸朝向计算部54计算的人脸朝向程度在人物越朝向正面时,其值越高,在人物越不朝向正面时,其值越低。
除占有率之外(或者取代占有率),也可以将这些笑脸度/景深/人脸朝向程度应用于被摄体节点与图像节点间的链接设定(参照图24)。
(2)在实施方式中,为了使图30的人物b的摄影者节点对应于人物b的被摄体节点,必须使摄影者节点对应于多个被摄体节点中的一个节点,但不限于此。
即,也有可能是不作为被摄体节点出场的人物(在所有图像中完全没有出场的人物)成为摄影者节点。
(3)在实施方式中,说明了对象是人物的情况,但不限于人物,也可以将动物或物体作为对象进行抽取及聚类,并评价重要度。
在图39的示例中,抽取汽车01、狗02、婴儿03作为对象。
另外,由于认为将非人的对象选定为摄影者不怎么现实,因而在摄影者的选定处理(图12)中,也可以将汽车01和狗02的对象设为选定的对象之外。或者,也可以进行使摄影者似然值变低的校正。
并且,认为婴儿03作为摄影者的可能性也较小,因而也可以采取与汽车01和狗02相同的处理。
另外,关于婴儿03,也可以采用对人脸的骨骼、皱纹和皮肤的松弛等要素进行分析来估计年龄的常规技术(人脸属性估计技术(FacialFeatureExtraction)),例如如果估计的年龄是小于3岁,则视为婴儿对象进行处理。
(4)在实施方式中,关于确定摄影者的方法B的对象图像,说明了限定为即使经过方法Z、方法A之后也未选定为摄影者的图像,但不限于此。
例如,也可以并行进行摄影者A的选定(图12:S121)和摄影者B的选定(图12:S122),将摄影者A、B双方选定为对象图像的摄影者。
并且,方法Z、方法A、方法B三者的顺序不限于在实施方式中说明的顺序,或者也可以采用其它方法。
(5)在实施方式中,说明了在SD存储卡2内存储评价对象的图像的情况,但只要是记录介质就不限于此,也可以采用SmartMedia(SM)卡、CompactFlash(CF)卡(注册商标)、存储棒(memorystick)(注册商标)、SD存储卡、多媒体卡、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-rayDisc)等记录介质。
并且,通过将图像评价装置与存储图像的数字照相机或手机等摄影设备连接,也能够取得图像。两者的连接方式可以采用各种方式,不论是有线方式(LAN线缆、USB线缆等)还是无线方式(红外线或Bluetooth等)。
(6)实施方式的图像评价装置可以典型地实现为集成电路即LSI(LargeScaleIntegration:大规模集成电路)。可以将各个电路形成为独立的一个芯片,也可以形成为包含全部电路或者一部分电路的单片。此处是记述为LSI,但根据集成度的不同,有时也被称为IC(IntegrationCircuit:集成电路)、系统LSI、超级(super)LSI、特级(ultra)LSI。并且,集成电路化的方法不限于LSI,也可以利用专用电路或通用处理器实现。也可以采用在制作LSI后能够编程的现场可编程门阵列(FPGA:FieldProgrammableGateArray)、能够重构架LSI内部的电路单元的连接和设定的可重构处理器(reconfigurableprocessor)。
另外,如果伴随半导体技术的发展或利用派生的其他技术替换LSI的集成电路化的技术问世,当然也可以使用该技术进行功能单元的集成化。还存在适用生物技术等的可能性。
(7)程序
也可以在记录介质中记录控制程序、或者使控制程序通过各种通信路径而流通来进行发布,该控制程序由用于使计算机等各种设备的处理器以及与该处理器连接的各种电路执行在实施方式中示出的图像评价的相关处理(图2等)的程序代码构成。
这种记录介质包括SM卡、CF卡(注册商标)、存储棒(注册商标)、SD存储卡、多媒体卡、CD-R/RW、DVD±R/RW、DVD-RAM、HD-DVD、BD(Blu-rayDisc)等。
经流通而发布的控制程序被存储在处理器能够读取的存储器等中,由此能够应用,该处理器通过执行该控制程序,能够实现诸如在实施方式中示出的各种功能。
(8)也可以是,不采用由图像取得部10取得的全部图像组进行评价,而是预先缩小范围为对应于特定期间的图像组来进行评价。
这种缩小范围可以通过将图像取得部10的取得对象限定为特定期间的图像组、将图表生成部70的图表生成(参照图2:S25~S27)的对象限定为特定期间的图像组来实现。
这样,能够获得反映了特定期间中的状况的评价结果。并且,通过改变主体人物对评价进行反复计算(参照图2:S24、S29),能够获得反映了每个用户的人际关系的评价结果。
使用图40来说明示例。图40是2011年1月以及2011年2月的每个主体人物的人物重要度的排名。
另外,在图40中,作为特定期间的示例是示出了月单位的期间,但也可以按照年单位、日单位或者事件单位来设定期间。并且,还可以设定从用户受理的任意期间。
<补充2>
本实施方式包括以下方式。
(1)本实施方式的图像评价装置,分别计算多个图像的重要度,其特征在于,该图像评价装置具有:特征值计算单元,针对各个图像中所包含的对象,计算表示该对象的拍摄状况的特征值;摄影者抽取单元,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及评价单元,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
(2)并且,也可以是,所述各个图像中所包含的对象分别属于多个对象聚类中的任意一个对象聚类,所述摄影者抽取单元将所述多个对象聚类中的一个以上的对象聚类确定为摄影者。
(3)也可以是,所述各个图像与表示该图像所属的事件的事件聚类相关联,所述摄影者抽取单元根据与成为确定对象的一个图像相关联的事件聚类,取得属于和所述一个图像相同的事件的其他图像,并抽取所取得的其他图像中所包含的对象,从所抽取的对象中,将不包含于所述一个图像中的一个以上的对象确定为摄影者,所述摄影者抽取单元计算与确定出的一个以上的对象分别对应的似然值。
(4)也可以是,所述摄影者抽取单元针对所述确定出的对象分别计算稀少度和摄影者密度,该稀少度表示在所述相同事件中的出现频度的稀少的程度,该摄影者密度表示在摄影日期时间与所述成为确定对象的一个图像接近的图像中,该对象被确定为摄影者的比例,所述摄影者抽取单元根据计算出的稀少度和摄影者密度计算所述似然值。
(5)也可以是,在尽管所述摄影者抽取单元尝试了确定摄影者,但是没有被确定为成为确定对象的图像的摄影者的对象的情况下,所述摄影者抽取单元还根据与所述成为确定对象的一个图像相关联的事件聚类,取得属于与所述一个图像不同的事件的其他图像,并抽取所取得的其他图像中所包含的对象,从所抽取的对象中,将不包含于所述成为确定对象的图像中的对象确定为摄影者。
(6)也可以是,所述多个图像分别与表示其所属的事件的事件聚类相关联,所述摄影者抽取单元根据与成为确定对象的一个图像相关联的事件聚类,取得属于与所述一个图像不同的事件的其他图像,并抽取所取得的其他图像中所包含的对象,将在所抽取的对象中且不包含于所述成为确定对象的图像中的对象确定为所述摄影者。
(7)也可以是,在所述摄影者抽取单元进行的确定摄影者的结果是被确定为摄影者的对象有多个的情况下,所述摄影者抽取单元对该多个对象的每个对象计算亲密度,该亲密度是表示该对象所属的对象聚类、与包含于所述成为确定对象的图像中的对象所属的对象聚类的亲密程度的评价尺度,所述摄影者抽取单元对所述多个对象的每个对象计算表示在事件中的出现频度的稀少的程度的稀少度,所述摄影者抽取单元对所述多个对象的每个对象计算基于所计算出的亲密度和稀少度的摄影者选定度,所述摄影者抽取单元将在所述多个对象中、计算出的摄影者选定度为最大的对象确定为所述摄影者。
(8)也可以是,所述摄影者抽取单元将所述成为确定对象的图像的元数据作为对象来尝试取得摄影者信息,根据所取得的摄影者信息来确定摄影者。
(9)也可以是,所述评价单元除计算各个图像的重要度之外,也计算摄影者的重要度,在进行该计算时,将摄影者的重要度传递至被确定出摄影者的图像的重要度。
(10)也可以是,所述各个图像中所包含的对象分别属于多个对象聚类中的任意一个对象聚类,所述评价单元也计算各个对象聚类的重要度,在进行该计算时,将图像的重要度传递至所述对象聚类的重要度。
(11)也可以是,所述图像评价装置还具有:生成数据构造的生成单元,该数据构造包括将所述各个图像分别作为要素的图像集合、将所述各个图像中所包含的对象所属的对象聚类作为要素的对象聚类集合、以及表示所述图像的摄影者的摄影者要素;第1链接设定单元,根据计算出的似然值来设定所述图像集合的要素即各个图像与所述摄影者要素之间的链接值;以及第2链接设定单元,根据计算出的特征值来设定所述图像集合的要素即各个图像与作为所述对象聚类集合的要素的各个对象聚类之间的链接值,所述评价单元根据对所述图像集合的要素即各个图像设定的链接值,计算该各个图像的重要度。
(12)也可以是,所述生成单元将所述对象聚类的要素中的一个要素设定为表示图像的评价主体的主体人物的要素,其中,所述数据构造中所包含的所述摄影者的要素指所述主体人物的要素,所述第1链接设定单元将所述主体人物的要素与该主体人物被确定为摄影者的图像之间的链接值作为设定的对象。
根据这种结构,能够有助于计算将主体人物作为评价主体的图像的重要度。
(13)也可以是,所述数据构造包括:作为所述图像集合的要素的图像节点;作为所述对象聚类集合的要素的对象聚类节点;以及作为所述摄影者要素的摄影者节点,所述第1链接设定单元将所述图像节点与所述摄影者节点之间的链接值作为设定的对象,所述第2链接设定单元将所述图像节点与所述对象聚类节点之间的链接值作为设定的对象,所述图像评价装置还具有用于生成邻接矩阵的邻接矩阵生成单元,该邻接矩阵表述利用由所述生成单元生成的各个节点和由链接设定单元设定的链接值构成的图表,所述评价单元包括:特征向量计算单元,计算所生成的邻接矩阵的主特征向量;以及重要度计算单元,根据计算出的主特征向量的元素,计算各个图像的重要度和各个对象聚类的重要度。
(14)本实施方式的图像评价方法,分别计算多个图像的重要度,其特征在于,该图像评价方法包括:特征值计算步骤,针对各个图像中所包含的对象,计算表示该对象的拍摄状况的特征值;摄影者抽取步骤,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及评价步骤,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
(15)本实施方式的程序是使计算机执行用于评价图像的图像评价处理的程序,其特征在于,所述图像评价处理包括:特征值计算步骤,针对各个图像中所包含的对象,计算表示该对象的拍摄状况的特征值;摄影者抽取步骤,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及评价步骤,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
(16)本实施方式的集成电路用于分别计算多个图像的重要度,其特征在于,该集成电路具有:特征值计算单元,针对各个图像中所包含的对象,计算表示该对象的拍摄状况的特征值;摄影者抽取单元,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及评价单元,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
<参考文献>
(1)参考文献1
“Gabor特徴の情報量による重みづけマツチングを用いた顔認識”
堀田一弘(埼玉大学(日本学術振興会特别研究員))電子情報通信学会技術研究報告.HIP,ヒユ一マン情報処理100(34)pp.31-3820000504
(2)参考文献2
AJohnC.Platt,MaryCzerwinski,BrentA.Field:PhotoTOC:AutomaticClusteringforBrowsingPersonalPhotographs,FourthIEEEPacificRimConferenceonMultimedia(2003)
(3)参考文献3
ThePageRankcitationranking:BringingordertotheWeb.
Page,Lawrence;Brin,Sergey;Motwani,RajeevandWinograd,Terry(1999).
产业上的可利用性
根据本发明的图像评价装置,能够从家人等多个用户保有的数量庞大的图像内容中高效地检索对用户重要的图像,与过去基于用户操作的图像的评价方法相比,用户能够更容易实现没有负担的内容的浏览检索。
并且,在个人计算机和服务器终端等台式终端等中比较有用。另外,也能够用作数字照相机和手机等移动型终端等。
标号说明
1图像评价系统;2SD存储卡;3图像评价装置;4显示器;10图像取得部;20对象抽取部;21对象特征量抽取部;22对象聚类部;30事件抽取部;31摄影时间日期抽取部;32事件聚类部;40存储部;41人物聚类信息存储部;42事件聚类信息存储部;43占有率存储部;44摄影者似然值存储部;45图表存储部;46对象重要度存储部;47图像评价值存储部;50对象出现特征量计算部;51占有率计算部;60摄影者抽取部;61摄影者取得部;62摄影者选定部;63摄影者似然值计算部;70图表生成部;71图像被摄体节点生成部;72摄影者节点生成部;73虚拟节点生成部;74被摄体链接设定部;75摄影者链接设定部;76虚拟链接设定部;80评价部;81邻接矩阵生成部;82特征向量计算部;83重要度计算部;90显示控制部。

Claims (15)

1.一种图像评价装置,分别计算多个图像的重要度,其特征在于,
该图像评价装置具有:
特征值计算单元,针对各个图像中所包含的对象,计算表示该对象在图像中是何种拍摄状况的特征值;
摄影者抽取单元,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及
评价单元,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
2.根据权利要求1所述的图像评价装置,其特征在于,
所述各个图像中所包含的对象分别属于多个对象聚类中的任意一个对象聚类,
所述摄影者抽取单元将所述多个对象聚类中的一个以上的对象聚类确定为摄影者。
3.根据权利要求2所述的图像评价装置,其特征在于,
所述各个图像与表示该图像所属的事件的事件聚类相关联,
所述摄影者抽取单元根据与成为确定对象的一个图像相关联的事件聚类,取得属于和所述一个图像相同的事件的其他图像,并抽取所取得的其他图像中所包含的对象,从所抽取的对象中,将不包含于所述一个图像中的一个以上的对象确定为摄影者,
所述摄影者抽取单元计算与确定出的一个以上的对象分别对应的似然值。
4.根据权利要求3所述的图像评价装置,其特征在于,
所述摄影者抽取单元针对所述确定出的对象分别计算稀少度和摄影者密度,该稀少度表示在所述相同事件中的出现频度的稀少的程度,该摄影者密度表示在摄影日期时间与所述成为确定对象的一个图像接近的图像中,该对象被确定为摄影者的比例,
所述摄影者抽取单元根据计算出的稀少度和摄影者密度计算所述似然值。
5.根据权利要求3所述的图像评价装置,其特征在于,
在尽管所述摄影者抽取单元尝试了确定摄影者,但是没有被确定为成为确定对象的图像的摄影者的对象的情况下,
所述摄影者抽取单元还根据与成为所述确定对象的一个图像相关联的事件聚类,取得属于与所述一个图像不同的事件的其他图像,并抽取所取得的其他图像中所包含的对象,从所抽取的对象中,将不包含于成为所述确定对象的图像中的对象确定为摄影者。
6.根据权利要求2所述的图像评价装置,其特征在于,
所述多个图像分别与表示其所属的事件的事件聚类相关联,
所述摄影者抽取单元根据与成为确定对象的一个图像相关联的事件聚类,取得属于与所述一个图像不同的事件的其他图像,并抽取所取得的其他图像中所包含的对象,将在所抽取的对象中且不包含于所述成为确定对象的图像中的对象确定为所述摄影者。
7.根据权利要求6所述的图像评价装置,其特征在于,
在所述摄影者抽取单元进行的确定摄影者的结果是被确定为摄影者的对象有多个的情况下,
所述摄影者抽取单元对该多个对象的每个对象计算亲密度,该亲密度是表示该对象所属的对象聚类、与包含于所述成为确定对象的图像中的对象所属的对象聚类的亲密程度的评价尺度,
所述摄影者抽取单元对所述多个对象的每个对象计算表示在事件中的出现频度的稀少的程度的稀少度,
所述摄影者抽取单元对所述多个对象的每个对象计算基于所计算出的亲密度和稀少度的摄影者选定度,
所述摄影者抽取单元将在所述多个对象中、计算出的摄影者选定度为最大的对象确定为所述摄影者。
8.根据权利要求3所述的图像评价装置,其特征在于,
所述摄影者抽取单元将成为所述确定对象的一个图像的元数据作为对象来尝试取得摄影者信息,根据所取得的摄影者信息来确定摄影者。
9.根据权利要求1所述的图像评价装置,其特征在于,
所述评价单元除计算各个图像的重要度之外,也计算摄影者的重要度,在进行该计算时,将摄影者的重要度传递至被确定出摄影者的图像的重要度。
10.根据权利要求9所述的图像评价装置,其特征在于,
所述各个图像中所包含的对象分别属于多个对象聚类中的任意一个对象聚类,
所述评价单元也计算各个对象聚类的重要度,在进行该计算时,将图像的重要度传递至所述对象聚类的重要度。
11.根据权利要求1所述的图像评价装置,其特征在于,
所述图像评价装置还具有:
生成数据构造的生成单元,该数据构造包括将所述各个图像分别作为要素的图像集合、将所述各个图像中所包含的对象所属的对象聚类作为要素的对象聚类集合、以及表示所述图像的摄影者的摄影者要素;
第1链接设定单元,根据计算出的似然值来设定所述图像集合的要素即各个图像与所述摄影者要素之间的链接值;以及
第2链接设定单元,根据计算出的特征值来设定所述图像集合的要素即各个图像与作为所述对象聚类集合的要素的各个对象聚类之间的链接值,
所述评价单元根据对所述图像集合的要素即各个图像设定的链接值,计算该各个图像的重要度。
12.根据权利要求11所述的图像评价装置,其特征在于,
所述生成单元将所述对象聚类的要素中的一个要素设定为表示图像的评价主体的主体人物的要素,
其中,所述数据构造中所包含的所述摄影者的要素指所述主体人物的要素,
所述第1链接设定单元将所述主体人物的要素与该主体人物被确定为摄影者的图像之间的链接值作为设定的对象。
13.根据权利要求11所述的图像评价装置,其特征在于,
所述数据构造包括:
作为所述图像集合的要素的图像节点;
作为所述对象聚类集合的要素的对象聚类节点;以及
作为所述摄影者要素的摄影者节点,
所述第1链接设定单元将所述图像节点与所述摄影者节点之间的链接值作为设定的对象,
所述第2链接设定单元将所述图像节点与所述对象聚类节点之间的链接值作为设定的对象,
所述图像评价装置还具有用于生成邻接矩阵的邻接矩阵生成单元,该邻接矩阵表述利用由所述生成单元生成的各个节点和由链接设定单元设定的链接值构成的图表,
所述评价单元包括:
特征向量计算单元,计算所生成的邻接矩阵的主特征向量;以及
重要度计算单元,根据计算出的主特征向量的元素,计算各个图像的重要度和各个对象聚类的重要度。
14.一种图像评价方法,分别计算多个图像的重要度,其特征在于,
该图像评价方法包括:
特征值计算步骤,针对各个图像中所包含的对象,计算表示该对象在图像中是何种拍摄状况的特征值;
摄影者抽取步骤,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及
评价步骤,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
15.一种集成电路,用于分别计算多个图像的重要度,其特征在于,
该集成电路具有:
特征值计算单元,针对各个图像中所包含的对象,计算表示该对象在图像中是何种拍摄状况的特征值;
摄影者抽取单元,确定各个图像的摄影者,并计算表示其可靠度的似然值;以及
评价单元,针对各个图像,根据对图像中所包含的对象计算的特征值和对该图像计算的似然值,计算各个图像的重要度。
CN201180003483.5A 2010-06-23 2011-06-08 图像评价装置、图像评价方法、程序、集成电路 Active CN102483841B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-142135 2010-06-23
JP2010142135 2010-06-23
PCT/JP2011/003250 WO2011161889A1 (ja) 2010-06-23 2011-06-08 画像評価装置、画像評価方法、プログラム、集積回路

Publications (2)

Publication Number Publication Date
CN102483841A CN102483841A (zh) 2012-05-30
CN102483841B true CN102483841B (zh) 2016-08-03

Family

ID=45371096

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180003483.5A Active CN102483841B (zh) 2010-06-23 2011-06-08 图像评价装置、图像评价方法、程序、集成电路

Country Status (4)

Country Link
US (1) US8929669B2 (zh)
JP (1) JP5727476B2 (zh)
CN (1) CN102483841B (zh)
WO (1) WO2011161889A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834950B2 (ja) * 2012-01-24 2015-12-24 富士通株式会社 写真系列の類似度算出装置、方法、及びプログラム
JP2013200715A (ja) * 2012-03-26 2013-10-03 Fujifilm Corp 画像評価装置、画像評価方法、画像評価システムおよびプログラム
JP6041217B2 (ja) * 2012-05-29 2016-12-07 パナソニックIpマネジメント株式会社 画像評価装置、画像評価方法、プログラム、集積回路
US8897485B2 (en) * 2012-06-29 2014-11-25 Intellectual Ventures Fund 83 Llc Determining an interest level for an image
JP5928248B2 (ja) * 2012-08-27 2016-06-01 富士通株式会社 評価方法、情報処理装置およびプログラム
JP6003541B2 (ja) * 2012-10-31 2016-10-05 株式会社バッファロー 画像処理装置及びプログラム
US20160006921A1 (en) * 2014-07-03 2016-01-07 Adience Ser Ltd. System and method of predicting whether a person in an image is an operator of an imager capturing the image
JP6149015B2 (ja) * 2014-09-10 2017-06-14 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20160125062A1 (en) * 2014-10-30 2016-05-05 Futurewei Technologies, Inc. Multi-scale timeling photograph album management with incremental spectral photograph clustering
US10931769B2 (en) 2014-11-12 2021-02-23 Stringr Inc. Location-based method and system for requesting and obtaining images
US11743402B2 (en) 2015-02-13 2023-08-29 Awes.Me, Inc. System and method for photo subject display optimization
JP2017010251A (ja) * 2015-06-22 2017-01-12 富士フイルム株式会社 画像抽出装置、画像抽出方法、プログラムおよび記録媒体
JP6667224B2 (ja) * 2015-08-07 2020-03-18 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
JP6660119B2 (ja) 2015-08-07 2020-03-04 キヤノン株式会社 情報処理装置、情報処理方法、並びにプログラム
JP6437902B2 (ja) 2015-09-18 2018-12-12 富士フイルム株式会社 画像抽出システム,画像抽出方法,画像抽出プログラムおよびそのプログラムを格納した記録媒体
JP6453194B2 (ja) 2015-09-28 2019-01-16 富士フイルム株式会社 画像評価システム,画像評価方法,画像評価プログラムおよびそのプログラムを格納した記録媒体
JP6440604B2 (ja) * 2015-09-29 2018-12-19 富士フイルム株式会社 被写体評価システム,被写体評価方法,被写体評価プログラムおよびそのプログラムを格納した記録媒体
US10841404B2 (en) * 2016-07-11 2020-11-17 Facebook, Inc. Events discovery context
US11044445B2 (en) * 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
US10742940B2 (en) * 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
CN107891806A (zh) * 2017-10-13 2018-04-10 信利光电股份有限公司 一种车辆安全系统及其使用方法
US10942816B1 (en) * 2018-09-06 2021-03-09 NortonLifeLock Inc. Systems and methods for dynamically adjusting a backup policy
JP7053422B2 (ja) * 2018-09-19 2022-04-12 富士フイルム株式会社 画像処理装置,画像処理方法および画像処理プログラム
TWI772627B (zh) * 2019-03-19 2022-08-01 財團法人工業技術研究院 人物重識別方法、人物重識別系統及影像篩選方法
JP7129383B2 (ja) * 2019-07-03 2022-09-01 富士フイルム株式会社 画像処理装置,画像処理方法,画像処理プログラムおよびそのプログラムを格納した記録媒体

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189621A (zh) * 2005-06-02 2008-05-28 伊斯曼柯达公司 利用摄影者身份来分类图像
CN101408888A (zh) * 2007-10-09 2009-04-15 奥林巴斯映像株式会社 图像处理装置、检索装置和照相机

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08315106A (ja) 1995-05-12 1996-11-29 Hitachi Ltd デジタルカメラ及び画像データ流通システム
JP2003087435A (ja) * 2001-09-11 2003-03-20 Mitsubishi Electric Corp 災害情報収集システム、防災センターおよび災害用システム
JP2003274320A (ja) 2002-03-15 2003-09-26 Konica Corp 画像撮像装置、画像情報処理装置及び画像情報処理方法
JP2005157961A (ja) 2003-11-28 2005-06-16 Konica Minolta Holdings Inc 画像撮像装置及び画像処理装置
JP4767635B2 (ja) 2005-09-15 2011-09-07 富士フイルム株式会社 画像評価装置および方法並びにプログラム
JP2007135065A (ja) 2005-11-11 2007-05-31 Konica Minolta Photo Imaging Inc 表示プログラム及び画像データの表示方法
WO2007060980A1 (ja) * 2005-11-25 2007-05-31 Nikon Corporation 電子カメラおよび画像処理装置
US7982909B2 (en) * 2006-04-21 2011-07-19 Eastman Kodak Company Method for automatically generating a dynamic digital metadata record from digitized hardcopy media
US8442268B2 (en) * 2007-07-31 2013-05-14 Panasonic Corporation Video analysis apparatus and method for calculating interpersonal relationship evaluation value using video analysis
US7953690B2 (en) * 2008-01-25 2011-05-31 Eastman Kodak Company Discovering social relationships from personal photo collections
US8036417B2 (en) * 2008-06-11 2011-10-11 Eastman Kodak Company Finding orientation and date of hardcopy medium
US20100302393A1 (en) * 2009-05-26 2010-12-02 Sony Ericsson Mobile Communications Ab Self-portrait assistance in image capturing devices
US9015597B2 (en) * 2009-07-31 2015-04-21 At&T Intellectual Property I, L.P. Generation and implementation of a social utility grid

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101189621A (zh) * 2005-06-02 2008-05-28 伊斯曼柯达公司 利用摄影者身份来分类图像
CN101408888A (zh) * 2007-10-09 2009-04-15 奥林巴斯映像株式会社 图像处理装置、检索装置和照相机

Also Published As

Publication number Publication date
CN102483841A (zh) 2012-05-30
JPWO2011161889A1 (ja) 2013-08-19
US20120148165A1 (en) 2012-06-14
US8929669B2 (en) 2015-01-06
JP5727476B2 (ja) 2015-06-03
WO2011161889A1 (ja) 2011-12-29

Similar Documents

Publication Publication Date Title
CN102483841B (zh) 图像评价装置、图像评价方法、程序、集成电路
Kristan et al. The eighth visual object tracking VOT2020 challenge results
US8660378B2 (en) Image evaluating device for calculating an importance degree of an object and an image, and an image evaluating method, program, and integrated circuit for performing the same
He et al. Vista: A visually, socially, and temporally-aware model for artistic recommendation
CN103201769B (zh) 图像处理装置、图像处理方法、集成电路
JP6323465B2 (ja) アルバム作成プログラム、アルバム作成方法およびアルバム作成装置
CN102483767B (zh) 对象关联装置、对象关联方法、程序及记录介质
CN102859985B (zh) 图像评价装置、图像评价方法及集成电路
US8774528B2 (en) Method of selecting important digital images
JP2006344215A (ja) デジタル画像のコレクションの組み立て方法
CN106462648B (zh) 针对数据捕获的动态控制
JP6041217B2 (ja) 画像評価装置、画像評価方法、プログラム、集積回路
Vonikakis et al. A probabilistic approach to people-centric photo selection and sequencing
JP2014093058A (ja) 画像管理装置、画像管理方法、プログラム及び集積回路
KR101924200B1 (ko) 감성 기반의 이미지 선택 장치 및 방법
KR101628054B1 (ko) 가상 공간 제공 장치 및 방법
JP5237724B2 (ja) 画像検索システム
Elahi et al. Visually-aware video recommendation in the cold start
JP2012058926A (ja) キーワード付与装置及びプログラム
JP6276375B2 (ja) 画像検索装置、画像表示装置、画像検索方法、および画像表示方法
CN105677696A (zh) 检索设备和检索方法
da Cruz Brito Deep Adversarial Frameworks for Visually Explainable Periocular Recognition
Wang et al. Facial aging simulation via tensor completion and metric learning
CN110866148A (zh) 信息处理系统、信息处理装置及存储介质
JP7470279B2 (ja) 情報処理装置、画像出力プログラム、及び画像出力方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance the American city of California, No. 20000, room 200, 90503

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200,

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant