CN102959551A - 图像处理装置 - Google Patents

图像处理装置 Download PDF

Info

Publication number
CN102959551A
CN102959551A CN2012800017957A CN201280001795A CN102959551A CN 102959551 A CN102959551 A CN 102959551A CN 2012800017957 A CN2012800017957 A CN 2012800017957A CN 201280001795 A CN201280001795 A CN 201280001795A CN 102959551 A CN102959551 A CN 102959551A
Authority
CN
China
Prior art keywords
mentioned
image
subject
photography
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012800017957A
Other languages
English (en)
Other versions
CN102959551B (zh
Inventor
川西亮一
上野山努
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102959551A publication Critical patent/CN102959551A/zh
Application granted granted Critical
Publication of CN102959551B publication Critical patent/CN102959551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

提供一种图像处理装置，在进行与被摄体的对应建立时减轻用户的负担。图像处理装置按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储，以及按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体存储，对于由摄影的多个图像构成的图像群，基于分别对应于上述多个图像的有关摄影的信息，提取在规定数的图像中共通的摄影属性，对于与所提取的摄影属性建立了对应的事件，确定建立了对应的被摄体，对包含在上述图像群中的上述多个图像，分别在包含确定了该图像的被摄体的情况下进行与该被摄体的对应建立。

Description

图像处理装置
技术领域
本发明涉及图像处理装置，对包含在用户拥有的图像群中的各图像进行标签添加。
背景技术
近年来，例如将被摄体像摄像的DSC（Digital Still Camera）及单反数字照相机、还有带有数字照相机的便携电话及数字摄像机广泛地普及，进而，图像数据保存用的记录介质的大规模化不断发展。因此，即使是个人用户，也能够拥有庞大的量的图像或运动图像等的AV（Audio Video）内容。但是，用户从庞大的量的图像群或运动图像群中寻找对于用户而言需要的图像或运动图像需要大量的时间和劳动。
所以，在用户拥有的图像群中将包含在每个图像中的被摄体自动分类并添加标签、以便高效率地寻找用户的希望图像的图像整理支持技术。
例如，为了简单且迅速地取得关于图像的信息，已知有以下的方法：按照多个主题准备图像识别引擎和模型辞典，通过用户指定主题，使用该指定的模型辞典和识别引擎对对象图像内的目标赋予适当的标签，并通过提取该目标的关联信息，能够有效地提取用户想要知道的目标的关联信息（参照专利文献1）。
现有技术文献
专利文献
专利文献1：日本特开2007－58532号公报
发明内容
发明要解决的课题
但是，在专利文献1所公开的技术中，在对多个图像进行标签添加（与目标的对应建立）的情况下，用户需要确定在作为处理对象的多个图像中使用的一个图像识别引擎和模型辞典。在这样的情况下，作为处理对象的图像的张数越是增加，越难确定在标签添加的处理中使用的图像识别引擎和模型辞典，只是用户的负担增加。
所以，本发明鉴于上述问题，目的是提供一种在进行与被摄体的对应建立时减轻向用户的负担的图像处理装置、处理方法、计算机程序及集成电路。
解决课题的手段
为了达到上述目的，本发明是一种图像处理装置，其特征在于，具备：属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体预先存储；提取机构，对于由摄影的多个图像构成的图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；对应建立机构，对于包含在上述图像群中的上述多个图像，分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立。
发明效果
根据上述结构，图像处理装置根据与图像群的摄影属性建立了对应的事件确定可能包含在以该事件摄影的图像中的被摄体，进行对应建立。由此，用户不需要指定在对应建立中使用的被摄体，所以图像与被摄体的对应建立处理时的用户的负担被减轻。
附图说明
图1是表示图像分类装置（图像处理装置）1的结构的框图。
图2是表示元数据信息表T1的数据结构的一例的图。
图3是表示由图像特征量计算机构12提取的图像特征量的一例的图。
图4是表示共通属性提取机构13的结构的框图。
图5是表示在摄影单元提取机构132中提取出的摄影单元的一例的图。
图6是表示从在摄影单元提取机构132中提取出的摄影单元取得的共通属性的一例的图。
图7是表示将作为每个物体类别的特征量的模型信息保存的表T10的数据结构的一例的图。
图8是表示基本事件目标表T20的数据结构的一例的图。
图9是表示属性信息表T30的数据结构的一例的图。
图10是表示事件信息表T40的数据结构的一例的图。
图11是表示更新后的基本事件目标表T21的数据结构的一例的图。
图12是表示分类结果信息表T50的数据结构的一例的图。
图13是表示分类处理的流程图。
图14是表示分类辞典制作处理的流程图。
图15是表示图像分类装置1000的结构的框图。
图16是表示递归地分类处理的流程图。
图17是表示图像分类装置1000A的结构的框图。
图18是表示通过轴目标进行的分类处理的流程图。
图19是表示图像分类装置2000的结构的框图。
图20是表示脸区域检测及人体区域检测结果的一例的图。
图21是表示分区域被摄体目标的分类处理的流程图。
图22是表示图像分类装置2000A的结构的框图。
图23是表示图像分类装置3000的结构的框图。
图24是表示共通属性的登录处理的流程图。
图25是表示图像分类系统4000的结构的图。
图26是表示图像分类装置4100的结构的框图。
图27是表示服务器装置4500的结构的框图。
图28是表示模型信息送信处理的流程图。
图29是表示图像分类系统4000A的结构的图。
图30是表示图像分类装置4100A的结构的框图。
图31是表示终端装置4600的结构的框图。
图32是表示包括多样性信息的表T100的数据结构的一例的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
1.实施方式1
以下，参照附图对本发明的实施方式进行说明。本实施方式1在将家族内等的用户的本地的由许多图像或运动图像数据构成的图像群整理的图像分类装置中，关于通过利用对于图像群为共通的属性、将包含在各图像内的被摄体目标（物体）高精度地自动分类的机制。
1.1结构
图1是表示图像分类装置（图像处理装置）1的结构的框图。在图1中，图像分类装置1由本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构14、分类辞典制作机构15、分类模型信息储存机构16、和图像属性信息储存机构17构成。
（1）本地数据储存机构11
本地数据储存机构11是将一定的有限的用户拥有的家族内等的文件数据储存的记录介质。例如，存储有家族内的照片图像或运动图像数据。本地数据储存机构是HDD或DVD等的大容量介质盘或半导体存储器等的存储设备等。
此外，本地数据储存机构11储存有与家族内等的文件数据（照片图像或运动图像数据）对应的、对每个图像在摄影时赋予的元数据信息。图像的元数据信息，例如是包含在EXIF（Exchangeable Image File Format）信息中的摄影日时信息、作为摄影场所信息的GPS（Global Positioning System）信息、作为摄影方法信息的摄影时的摄影模式信息、及各种摄影时的照相机参数等。
这里，将包括元数据信息的元数据信息表T1的一例表示在图2中。包含在元数据信息表T1中的元数据信息如图2所示，按照作为用来唯一地识别图像的识别码的图像数据号码建立了对应。元数据信息如图2所示，包括文件名、表示摄影的时间的摄影时间信息、作为摄影时的地理的位置信息而从GPS信息得到的经度及纬度信息、进行摄影时的明亮度的调整的ISO（International Organization for Standardization）感度信息、调整明亮度以便能够适当地视听的曝光信息、及调整摄影时的颜色平衡的白平衡信息（WB）等的照相机参数信息等。另外，也可以构成为，将由图像特征量计算机构12计算的通过图像解析能够计算的图像特征量信息也一起作为图像信息。
（2）图像特征量计算机构12
图像特征量计算机构12是作为图像特征而从边缘、颜色、纹理等的图像的基本的低次特征量计算物体所特有的高次特征量的机构。
高次特征量例如存在以特征性的点为中心表示局部区域的特征的SIFT（Scale-Invariant Feature Transform）等的局部特征量及表示物体的形状特征的HOG（Histogram of oriented Gradient）等的特征量。此外，也可以计算能够识别图像内的脸、人或物体等的被摄体目标（物体）的特异的特征量。关于具体的方法，例如有在专利文献（特开2008－250444号公报）中记载那样的实用化的脸检测装置，关于人体检测及一般物体检测，在藤吉弘亘著的“基于Gradient的特征提取－SIFT和HOG－”（信息处理学会研究报告CVIM160，pp.211－224，2007）中详细记载。
这里，将由图像特征量计算机构12提取的图像特征量的一例表示在图3中。在图像特征量中，可以考虑从作为图像的基本的特征量信息的颜色信息及纹理信息那样的低维度特征量向能够表现被摄体目标的特征的高维度特征量的计算。图像特征量按照图像数据号码建立对应，包括颜色1、2，边缘1、2、局部1、2、脸、脸数等。
颜色1、2是图像的颜色信息，是根据RGB值作为图像内统计值计算出的值。另外，图像的色信息也可以是作为向HSV或YUV颜色空间变换后的色相信息计算出的值、或者作为颜色直方图或颜色矩等的统计量信息等计算出的值。
边缘1、2是纹理信息，是将图像内的线段检测出的特征每一定角度作为图像内统计值计算出的值。
局部1、2表示高维特征，是以特征性的点为中心表现局部区域的特征、或表现物体的形状的特征。具体而言，存在SIFT、SURF、及HOG等的特征量。
此外，脸是基于根据脸检测技术等得到的脸信息、表示图像内的脸的有无的，脸数表示通过脸检测技术检测出的脸的数量。
进而，作为图像特征，可以考虑还包括脸的大小、服装的颜色及形状、以及根据人检测技术等与人关联的图像识别信息等。此外，还能够利用以车检测及狗或猫等的宠物检测为代表那样的图像识别技术的结果。
（3）共通属性提取机构13
共通属性提取机构13关于保存在本地数据储存机构11中的由多个图像构成的图像群，提取1个以上的共通的属性。
共通属性提取机构13在从图像群提取共通属性时，利用元数据信息或用户直接赋予的标签信息，取得共通的元数据信息、标签信息作为共通属性。进而，也可以使用通过脸检测或人体检测技术能够检测的人物信息或用户赋予的摄影理由信息等提取共通属性信息。
以下，对共通属性提取机构13的详细的结构进行说明。
共通属性提取机构13如图4所示，由图像信息提取机构131、摄影单元提取机构132、和共通属性判断机构133构成。
（3-1）图像信息提取机构131
图像信息提取机构131从包含在作为分类对象的图像群中的图像中分别取得作为图像信息的元数据信息及标签信息。
（3-2）摄影单元提取机构132
摄影单元提取机构132利用由图像信息提取机构131提取的图像信息，将图像群分割为认为是用户作为相同的摄影事件摄影的一系列的多个图像作为一单元的组。以下，将分割后的组称作摄影单元。
具体而言，摄影单元提取机构132以摄影间隔为一定时间幅度以下而单元化、或以图像摄影地的距离间隔是一定距离范围以下或一定的场地区域范围内而单元化。此外，还存在将时间信息与场所信息加在一起判断摄影事件单位的方法等。例如，在Mor Naaman etc著的“Automatic Organizationfor Digital Photographs with Geographic Coordinates”（he 4th ACM/IEEE-CSjoint conf.on Digital libraries，pp.53-62、2004）中详细地记载。
此外，摄影单元提取机构132也可以在摄影图像间的检测出的脸的类似度、作为人物信息的人数或服装等的类似度以一定值以上近似的情况下单元化。进而，摄影单元提取机构132也可以在摄影时的照相机的摄影模式信息或各种摄影时的照相机参数等的信息在摄影图像间以一定值以上近似的情况下单元化。
摄影单元提取机构132也可以使用标签信息，进行以由用户直接赋予摄影事件名而有意分组的单位的单元化。
另外，也可以是将这些单元化方法组合来判断摄影单元的结构。
（3-3）共通属性判断机构133
共通属性判断机构133按照由摄影单元提取机构132判断出的摄影单元单位，对于包含在该摄影单元中的图像分别使用由图像信息提取机构131提取出的图像信息，提取关于该摄影单元的共通属性。
这里，作为共通属性的种类，存在：季节、温度、摄影频度或摄影时间段等的时间信息；移动程度、室内外、地标等的场所信息；对于摄影事件的参加者、家族结构、年龄等的人物信息；摄影照相机的摄影模式、摄影参数等的摄影方法信息；用户对图像群赋予的摄影事件等的摄影理由信息。例如，季节能够根据摄影时间确定。此外，温度既可以基于摄影时间、摄影场所从外部的装置取得，也可以在图像分类装置1中装备温度计、如果摄影则测量此时的温度、将其测量结果包含在元数据信息中。
此外，共通属性也可以为使用作为种类表示的各信息中的至少1个信息计算出的统计量。例如，根据从包含在摄影单元中的1个以上的图像分别得到的时间信息确定摄影单元的期间，确定特定的期间所属的季节作为统计量。或者，根据从包含在摄影单元中的1个以上的图像分别得到的场所信息确定摄影单元中的摄影范围，判断所确定的范围是自宅内还是近处等，将其结果作为共通属性。
此外，也可以根据人物信息，作为统计量而计算表示家族的结构的家族构成信息。例如，在摄影单元中，可以根据人物信息计算摄影了儿童、父亲、母亲、兄弟等的图像的张数。在根据计算结果确定了构成家族的全部的人物包含在构成摄影单元的图像中的至少一个图像中的情况下，作为共通属性而生成由摄影出的各人物信息构成的家族构成信息。此外，也可以基于人物信息，不仅是家族构成信息，还生成有关朋友的信息或有关亲戚的信息等。
或者，也可以推测有关根据人物信息得到的人物的信息（被摄体人物信息），基于推测出的被摄体人物信息提取共通属性。例如可以考虑作为被摄体人物信息而推测年龄，基于推测出的年龄计算统计量。在此情况下，从包含在摄影单元中的1个以上的图像分别提取人物，推测提取出的人物各自的年龄，作为统计量而计算10岁以下、20岁，30岁等的各年岁的分布数。另外，推测对象不仅是年龄，也可以如男女、成人/儿童等那样，只要是根据人物信息推测的就可以。
（3-4）具体例
对按照由摄影单元提取机构132提取出的摄影单元提取共通属性的具体的处理内容进行说明。这里，将从在短期（1天）中摄影出的图像群在摄影单元提取机构132中提取出的摄影单元的一例表示在图5中。
摄影单元提取机构132提取以一定摄影间隔集中的摄影单元作为单元T1-T6。进而，摄影单元提取机构132提取以一定摄影范围（图像间的摄影场所的位置变化为100m以内）集中的单元P1-P3作为摄影单元。
共通属性判断机构133在提取共通属性时，例如，首先对最小的摄影单元单位（这里是单元T1至T6）判断各单元内的图像信息中的相同项目。进而，用共通的项目进行层级化，通过对上层的摄影单元（这里是单元P1至P3）判断相同项目而提取层级化的图像信息的相同项目信息，将其作为共通属性输出。
将从图5所示的例子中取得的共通属性的一例表示在图6中。在单元T1-T6的各自的摄影单元内，关于相同的项目，在层级4中存在该相同项目信息，在与场所也一致的单元P1-P3对应的摄影单元内，关于相同的项目，在层级3中存在该相同项目信息。进而，通过也利用脸检测等的图像特征量信息，取得人物信息，以存在于摄影单元内的出现人物取得相同项目的结果为层级2，在层级1中提取了全摄影单元所共通的相同项目。
另外，也可以是通过摄影时的摄影模式信息或各种摄影时的照相机参数等的信息提取更详细的摄影单元而提取相同项目信息、或以由用户直接赋予标签或单元化的单位进行层级化那样的结构。进而，也可以考虑提取根据旅行那样的跨越数日的摄影单元单位、用户的按照事件的摄影风格、或家族结构等的长期的图像信息判断的共通属性等。
（4）分类机构14
分类机构14对作为分类对象的图像，将根据该图像计算出的特征量、和由通过分类辞典制作机构15制作出的分类辞典表示的1个以上的模型信息进行使用分类器的判断处理，判断包含在该图像内的模型。
作为一般的分类器，存在GMM（Gaussian mixture model）及SVM（Support Vector Machine）等。模型信息例如是将能够判别脸及人体等的图像的特征量数据模型化的信息。分类器将包含在分类对象的图像中的模型的判别、以及作为该判别置信等级的似然度。这里，似然度一般而言值越大则意味着置信等级越高。
分类机构14将从分类器输出的模型的判别结果和其似然度与表示分类对象的图像的图像数据号码建立对应，向图像属性信息储存机构17储存。
（5）分类模型信息储存机构16
分类模型信息储存机构16是按照物体类别（目标）将与该目标对应的模型信息储存的存储介质。例如，可以考虑将进行了图像的特征量与各特征量的重要性等的加权的结果原样作为模型信息等。作为模型信息的图像的特征量的计算方法如上述那样有GMM及SVM。此外，作为其他方法，有ADABOOST。这些方法是已知的技术，所以这里的说明省略。这里，将保存作为按照物体类别的特征量的模型信息的表T10的一例表示在图7中。表T10具有用来存储多个由物体类别名和模型信息构成的组的区域。例如，如果物体类别名是“樱花”，则与关于樱花的图像的特征量建立了对应。
分类模型信息储存机构16存储有图8所示的基本事件目标表T20。基本事件目标表T20包括在分类辞典制作机构15中使用的基本事件目标信息。通常，在作为一系列的摄影事件而拥有的用户的本地数据中，越是在事件内容易被摄影的目标，分类优先级越高。因此，在基本事件目标表T20中，与在摄影事件中容易被摄影的被摄体目标一起记载有该种类的类似属性。此外，各个被摄体目标的分类优先级默认设定为1.0。
此外，分类模型信息储存机构16存储有由分类辞典制作机构15使用的由目标优先属性信息构成的属性信息表T30。这里，将属性信息表T30的一例表示在图9中。在属性信息表T30中，对于物体类别名，分别与季节、室内外、参加者、场所等的目标优先属性信息建立了对应。
进而，分类模型信息储存机构16存储有由与摄影事件建立联系的事件关联物体及其优先属性信息构成的事件信息表T40。这里，将事件信息表T40的一例表示在图10的一览表中。事件信息表T40如图10所示，按照摄影的事件，与事件关联物体、时间信息、场所信息、人物信息建立了对应。所谓事件关联物体，是将对应的事件建立特征的物体，例如，如果是“赏花”，则作为将其赋予特征的物体，可以举出“樱花”、“江米团”、“货摊”、“啤酒”等。所谓时间信息，是表示对对应的事件摄影的时期及摄影时间长的信息。此外，场所信息表示进行对应的事件的场所，人物信息表示向对应的事件参加的人物的信息。
（6）分类辞典制作机构15
分类辞典制作机构15基于由共通属性提取机构13提取的共通属性，确定多个事件中的1个候选事件，制作由与包含在特定的候选事件中的事件关联物体关联的1个以上的物体类别构成的分类辞典。
具体而言，分类辞典制作机构15按照由共通属性提取机构13提取出的1个以上的摄影单元，使用包含在该摄影单元中的多个共通属性和目标优先属性信息进行优先级的增减。例如，包含在单元T1中的共通属性如图6所示，是“春”、“近处”、“早晨”、“室内”、“清晨”等。分类辞典制作机构15根据这些共通属性和图9所示的属性信息表T30，确定一致的目标优先属性信息，根据所确定的目标优先属性信息，将对于对应的物体类别名的优先级更新。将更新后的基本事件目标表T21表示在图11中。这里，例如假设在与“季节”信息一致的情况下加上+1.0，在与“室内外”信息一致的情况下加上+0.2，在与“参加者”信息一致的情况下加上+0.2，在与“场所”信息一致的情况下加上+0.2，将优先级更新。“樱花”在仅与季节的共通属性一致的情况下，优先级为2.0，在与关于“女孩节人偶”全部的共通属性一致的情况下，优先级为2.6。另外，作为优先级的赋予方法，不仅是正的优先级，还可以是赋予负的优先级、或按照共通属性的种类改变加权而计算、或在与多个共通属性一致的情况下进行优先级的增减等，只要是能够将随着摄影事件被摄影的被摄体目标的种类缩减那样的优先级的赋予方法就可以，其种类没有限制。
分类辞典制作机构15如果将优先级更新，则计算与将事件分别赋予特征的关联事件物体对应的优先级的合计值，将事件信息表T40包含的事件中的、计算出的合计值最高的事件确定为候选事件。
分类辞典制作机构15制作由所确定的候选事件赋予特征的关联事件物体中的、优先级是规定的阈值以上、相互为不同的类似属性的1个以上的关联事件物体（物体类别）构成的分类辞典。例如，在“赏花”的事件优先级最高的情况下，分类辞典制作机构15作为关联物体而限定于樱花、江米团、货摊、啤酒等的事件关联物体中的优先级较高者，制作分类辞典。
（7）图像属性信息储存机构17
图像属性信息储存机构17是将作为由分类机构14分类判断的结果的信息的分类模型的判别结果及作为其判别置信等级的似然度等储存的存储介质。
这里，作为结果的一例而将分类结果信息表T50表示在图12中。
分类结果信息表T50具有用来将由图像数据号码、物体类别、置信度及似然度构成的组存储1个以上的区域。
图像数据号码是用来唯一地识别图像的识别码，物体类别表示在分类中使用的模型信息。
似然度是表示存在于由对应的图像数据号码表示的图像内的物体、与在分类中使用的模型信息一致的可能程度的值。
置信度表示分类结果是否表示能够置信。这里，在对应的似然度是规定值以上（例如0.7以上）的情况下使置信度的值为1，认为分类结果能够置信。此外，在对应的似然度比规定值（例如0.7）小的情况下，使置信度的值为0，认为分类结果不能置信。
1.2动作
这里，对图像分类装置1的动作进行说明。
（1）整体的动作
图像分类装置1在由用户选择了分类对象的图像群、或者达到了能够自动分类的全本地数据、一定的图像数、或运动图像数的情况下，开始对图像内的被摄体目标的分类处理。如果开始分类处理，则从分类对象的图像群中提取共通属性，基于提取出的共通属性制作分类辞典，进行包含在图像群中的各图像内的被摄体目标的分类。
以下，使用图2所示的流程图对该处理进行说明。
图像特征量计算机构12从本地数据储存机构11取得由作为分类对象的多个图像构成的图像群，对包含在所取得的图像群中的各图像进行图像特征量的计算处理（步骤S1）。
共通属性提取机构13的图像信息提取机构131从包含在图像群中的图像分别取得作为图像信息的元数据信息及标签信息，摄影单元提取机构132利用所提取的图像信息，将认为用户作为相同的摄影事件摄影的一系列的多个图像划分为一个摄影单元（步骤S2）。
共通属性判断机构133对于划分出的各摄影单元，使用与属于该摄影单元的图像对应的、由图像信息提取机构131提取出的图像信息，提取对于图像群的共通属性（步骤S3）。
分类辞典制作机构15使用由共通属性提取机构13提取出的1个以上的共通属性、和存储在分类模型信息储存机构16中的物体类别，制作由分类机构14利用的分类辞典（步骤S4）。
分类机构14对于分类对象图像群，判别是否在各图像中存在与对应于包含在由分类辞典制作机构15制作的分类辞典中的物体类别的模型信息一致的特征，作为图像属性信息，将该判别结果和似然度与表示分类对象的图像的图像数据号码建立对应，向图像属性信息储存机构17储存（步骤S5）。
图像分类装置1判断是否对全部的摄影单元结束了分类处理（步骤S6）。在判断为已结束的情况下（步骤S6中的“是”），结束分类处理，在判断为没有结束的情况下（步骤S6中的“否”），处理回到步骤S3。
（2）关于分类辞典制作处理
这里，对于图13所示的步骤S4中的制作分类辞典的处理，使用图14所示的流程图进行说明。
分类辞典制作机构15为了限定分类模型而取得基本事件目标表T20及属性信息表T30（步骤S11）。
分类辞典制作机构15将由通过共通属性提取机构13提取的共通属性表示的、关于包含在基本事件目标表T20中的1个以上的物体类别的优先级更新（步骤S12）。
分类辞典制作机构15判断是否对全部的共通属性进行了优先级的更新（步骤S13）。在判断为没有对全部的共通属性进行优先级的更新的情况下（步骤S13中的“否”），处理回到步骤S12。
在判断为对全部的共通属性进行了优先级的更新的情况下（步骤S13中的“是”），分类辞典制作机构15根据更新后的基本事件目标信息、和事件信息表T40，确定进行了分类对象的图像群的摄影的候选事件（步骤S14）。具体而言，分类辞典制作机构15使用更新后的优先级，对包含在事件信息表T40中的事件，分别计算与将该事件建立特征的关联事件物体（物体类别）对应的优先级的合计值，确定计算出的合计值最高的事件作为候选事件。由此，分类辞典制作机构15能够确定作为分类对象的图像群的被摄影的事件的候选。
分类辞典制作机构15制作由将特定的候选事件赋予特征的关联事件物体中的、优先级是规定的阈值以上的1个以上的关联事件物体（物体类别）构成的分类辞典（步骤S15）。
1.3实施方式1的效果
如以上那样，实施方式1的图像分类装置1不是如以往那样将一般的目标全部作为对象、以图像内特征量为中心利用而进行分类的，而是通过用户拥有的图像群内的共通属性限定用于分类的模型信息进行分类处理。因此，能够对用户拥有的图像或运动图像高精度地进行分类，能够对用户拥有的图像或运动图像自动地添加标签而自动整理、或高效率地寻找用户想要的图像。
2.实施方式2
以下，参照附图对有关本发明的实施方式2进行说明。本实施方式2是关于在将由家族内等的用户的本地的许多的图像或运动图像数据构成的图像群整理的图像分类装置中、通过利用共通属性并使用分类结果回归地进行分类处理、将包含在各图像内的被摄体目标高精度地自动分类的机制的。另外，在本实施方式2中，对于具有与实施方式1相同的功能的结构可以赋予相同的标号并采用其说明，所以将说明省略。
以下，对于通过考虑对图像群进行的分类结果、递归地将应分类的被摄体目标内容更新而进行分类处理、即使是包括各种各样的被摄体目标的图像也能够将用户摄影的图像或运动图像高精度地分类的方法具体地说明。
2.1结构
图15是表示有关本实施方式2的图像分类装置1000的结构的框图。在图15中，图像分类装置1000由本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构1400、分类辞典制作机构1500、分类模型信息储存机构16、和图像属性信息储存机构17构成。
关于本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类模型信息储存机构16及图像属性信息储存机构17，由于与实施方式1是同样的，所以这里的说明省略。
以下，对分类机构1400和分类辞典制作机构1500进行说明。
（1）分类机构1400
分类机构1400除了与在上述实施方式1中表示的分类机构14同样的功能以外，还具有以下的功能。
分类机构1400如果按照划分出的摄影单元的分类完成，则判断分类结果是否适当。具体而言，如果判断为包含有作为分类对象的物体类别的图像的合计数相对于构成摄影单元的总数的比例比规定值大，则判断为分类适当，在是规定值以下的情况下，判断为分类不适当。
分类机构1400在判断为分类不适当的情况下，将进行辞典的再制作的制作指示向分类辞典制作机构1500输出。
分类机构1400在判断为分类适当的情况下，将分类结果向图像属性信息储存机构17储存。
（2）分类辞典制作机构1500
分类辞典制作机构1500除了与在上述实施方式1中表示的分类辞典制作机构15同样的功能以外，还具有以下的功能。
分类辞典制作机构1500如果从分类机构1400受理了制作指示，则进行分类辞典的再制作。
具体而言，分类辞典制作机构1500使用更新后的基本事件目标表及事件信息表T40，根据除了已经进行了分类处理的物体类别以外的剩余的物体类别，确定与上次确定的候选事件不同的候选事件（以下，称作再候选事件）。分类辞典制作机构1500制作由将再次确定的再候选事件赋予特征的关联事件物体中的、优先级是规定的阈值以上、相互为不同的类似属性的1个以上的关联事件物体（物体类别）构成的分类辞典。
2.2动作
这里，对于图像分类装置1000的动作，使用图16所示的流程图进行说明。
如果开始分类处理，则进行从本地数据储存机构11取得分类对象图像、由分类机构1400提取作为分类对象的各图像的图像属性信息的分类处理（步骤S21）。步骤S21的处理与作为在图13中表示的处理的步骤S1～步骤S5是同样的。
如果分类处理完成，则分类机构1400判断分类结果是否适当（步骤S22）。具体而言，分类机构1400在作为分类对象的摄影单元内的图像张数有N张、判断为存在关联事件物体（物体类别）的图像张数是M张、将规定值设为T、满足条件式“M/N>T”的情况下判断为分类结果适当，在不满足的情况下判断为分类结果不适当。
在判断为分类结果不适当的情况下（步骤S22中的“否”），分类机构1400将制作指示向分类辞典制作机构1500通知。分类辞典制作机构1500进行分类辞典的再制作（步骤S23）。具体而言，分类辞典制作机构1500使用更新后的基本事件目标表及事件信息表T40，根据除了已经进行分类处理的物体类别以外的其余的物体类别，确定再候选事件，制作由将所确定的再候选事件赋予特征的关联事件物体中的优先级是规定的阈值以上、相互为不同的类似属性的1个以上的关联事件物体（物体类别）构成的分类辞典。
在判断为分类结果适当的情况下（步骤S22中的“是”），分类机构1400将分类结果向图像属性信息储存机构17储存（步骤S24）。
2.3变形例
这里，对回归地制作分类辞典的别的实施方式进行说明。
2.3.1结构
图17是表示有关本变形例的图像分类装置1000A的结构的框图。在图17中，图像分类装置1000A由本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构1400A、分类辞典制作机构1500A、分类模型信息储存机构16、图像属性信息储存机构17、和轴目标提取机构1800构成。
关于本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类模型信息储存机构16及图像属性信息储存机构17，与实施方式1是同样的，所以这里的说明省略。
以下，对分类机构1400A、分类辞典制作机构1500A及轴目标提取机构1800进行说明。
（1）轴目标提取机构1800
轴目标提取机构1800是提取作为由分类机构1400A分类的结果为置信等级较高的轴的物体类别的。
具体而言，轴目标提取机构1800使用由分类机构1400A分类的结果，判断分类张数是否向一个物体类别偏倚。
在判断为偏倚的情况下，轴目标提取机构1800将偏倚的一个物体类别确定为轴目标，将基于所确定的轴目标的分类辞典制作的指示向分类辞典制作机构1500A输出。
例如，分类机构1400A在判断为作为分类对象的多个物体类别中的某个物体类别存在的图像有20张、对其中的一个物体类别（例如“樱花”）检测到18张那样的情况下，判断为向一个物体类别偏倚，作为轴目标而确定偏倚的该一个物体类别（“樱花”）。
（2）分类辞典制作机构1500A
分类辞典制作机构1500A除了与上述分类辞典制作机构1500同样的功能以外，还具有以下的功能。
分类辞典制作机构1500A如果从轴目标提取机构1800受理了指示，则基于由轴目标提取机构1800确定的轴目标进行分类辞典的再制作。
具体而言，分类辞典制作机构1500使用更新后的基本事件目标表及事件信息表T40，将包括确定为轴目标的物体类别的事件全部提取。从提取出的事件分别提取1个以上作为分类对象的物体类别，制作分类辞典。
例如，分类辞典制作机构1500在“樱花”是轴目标的情况下，提取作为包含“樱花”的事件的“赏花”、“入学典礼”、“毕业典礼”等，生成包括包含在这些事件中的物体类别的分类辞典。
（3）分类机构1400A
分类机构1400A除了与上述分类机构1400同样的功能以外，还进行使用分类辞典制作机构1500基于轴目标制作的分类辞典的分类。
关于分类的方法，与上述实施方式1、2是同样的，所以这里的说明省略。
2.3.2动作
这里，对于图像分类装置1000A的动作、特别是使用轴目标的分类，使用图18所示的流程图进行说明。
轴目标提取机构1800使用由分类机构1400A分类的结果，判断分类张数是否向一个物体类别偏倚（步骤S31）。
在判断为偏倚的情况下（步骤S31中的“是”），轴目标提取机构1800将偏倚的一个物体类别确定为轴目标（步骤S32）。
分类辞典制作机构1500A将包括由轴目标提取机构1800确定为轴目标的物体类别的事件全部提取，从所提取的事件分别提取1个以上作为分类对象的物体类别，制作分类辞典（步骤S33）。
分类机构1400A进行使用分类辞典制作机构1500基于轴目标制作的分类辞典的分类（步骤S34）。
在判断为没有偏倚的情况下（步骤S31中的“否”），处理结束。
2.4实施方式2的效果
如以上那样，图像分类装置1000及图像分类装置1000A不是以一般的目标全部为对象进行分类处理的，而是限定从用户拥有的图像群提取的共通属性及递归地限定物体类别而进行分类处理，所以对于用户拥有的图像或运动图像能够更高精度地分类，能够对用户拥有的图像或运动图像自动地添加标签而自动整理、或高效率地寻找用户想要的图像。
3.实施方式3
以下，参照附图对有关本发明的实施方式3进行说明。本实施方式3是关于在将由家族内等的用户的本地的许多图像或运动图像数据构成的图像群整理的图像分类装置中、通过对作为分类对象的图像使用从该图像得到的区域信息取得共通信息并进行分类、将在各图像内的分区域包含的被摄体目标高精度地自动分类的机制的。这里，所谓区域信息，例如是指检测到人物的脸的脸检测区域、检测到人体的人体检测区域、关于检测出的人体检测区域包括手脚周边区域等的人物周边区域、及作为这些区域以外的区域的背景检测区域。另外，在本实施方式3中，对于具有与实施方式1或实施方式2相同的功能的结构能够赋予相同的标号并采用其说明，所以将说明省略。
3.1结构
图19是表示本实施方式3的图像分类装置2000的结构的框图。在图19中，图像分类装置2000由本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构14、分类辞典制作机构15、分类模型信息储存机构16、图像属性信息储存机构17、和区域信息计算机构2800构成。
关于本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构14、分类辞典制作机构15、分类模型信息储存机构16及图像属性信息储存机构17，与实施方式1是同样的，所以这里的说明省略。
（1）区域信息计算机构2800
区域信息计算机构2800对作为本地数据储存机构11的分类对象的图像群的各图像计算包含在图像内的特定的区域信息。
具体而言，区域信息计算机构2800使用已进行的脸检测及人体检测技术，计算脸检测区域及人体检测区域和作为其以外的背景检测区域作为区域信息。关于脸检测区域及人体检测区域的具体的检测方法，例如在专利文献（日本特开2008－250444号公报）中记载那样的实用化的脸检测装置、及藤吉弘亘著的“基于Gradient的特征提取－SIFT和HOG－”（信息处理学会研究报告CVIM 160，pp.211-224，2007）中详细地记载。另外，区域信息计算机构2800也可以根据脸区域推测人体区域来计算，但这里设为除了脸检测器以外还通过人体检测器计算人物区域。
这里，在图20中表示脸区域检测及人体区域检测结果的一例。在图20中，表示对于两个人物检测到了脸检测区域G101、G102、检测到了人体检测区域G201、G202。此外，区域信息计算机构2800作为人物区域的周围一定区域而计算手脚周边区域等作为人物周边区域，计算其以外的区域作为背景区域。
在此情况下，图像特征量计算机构12按照对作为分类对象的图像计算出的区域信息计算特征量。此外，分类辞典制作机构15是与实施方式1同样的功能，但按照检测出的区域制作分类辞典这一点不同。
3.2动作
这里，关于图像分类装置2000的动作，使用图21所示的流程图进行说明。
区域信息计算机构2800如果开始分类处理，则从本地数据储存机构11取得由作为分类对象的多个图像构成的图像群，对包含在所取得的图像群中的各图像计算1个以上的区域信息（步骤S41）。例如，如图20所示，作为区域信息，除了脸检测区域G101、G102和人体检测区域G201、G202以外，还计算对于人体检测区域G201、G202各自的人物周边区域、和这些区域以外的背景区域的4种区域。
如果由区域信息计算机构2800计算出区域信息，则图像特征量计算机构12分区域计算图像内特征量（步骤S42）。在此情况下，图像特征量计算机构12分区域计算为了表现各自的区域信息而需要的信息。例如，关于脸区域是容易在脸上出现的Gabor特征量，关于人体区域是HOG特征量，关于人体周边区域或前景区域等是SIFT等的局部特征量，关于背景区域是颜色直方图、色矩、边缘特征量等的整体特征量等。另外，也可以将这些特征量组合使用，或将在区域检测时使用的特征量保持、使用其特征量等。
如果由图像特征量计算机构12分区域计算特征量，则共通属性提取机构13提取关于分类对象图像群的共通属性（步骤S43）。关于该处理，由于是与实施方式1中的步骤S3同样的处理，所以详细的说明省略。
分类辞典制作机构15使用提取出的共通属性，按照由区域信息表示的区域制作分类辞典（步骤S44）。基本的处理是与实施方式1的步骤S4同样的处理，但通过区域信息限定作为分类辞典的对象的被摄体目标的种类使用这一点不同。例如，关于脸区域，限定于单独的人物、人种、年龄、家族属性、眼镜或帽子的有无等的关于人的属性的项目进行辞典化。此外，关于人体区域，以限定为服装的种类或图像内的服装的一样性等的项目进行辞典化。关于人体周边区域，以限定于根据各季节或室内外的种类而容易存在的人工物的被摄体目标的项目进行辞典化。此外，关于背景区域，以根据各季节或室内外的种类容易存在的自然物的被摄体目标的项目进行辞典化。
如果由分类辞典制作机构15分区域制作分类辞典，则对作为分类对象的图像群进行分类处理（步骤S45）。基本的处理是与实施方式1的步骤S5同样的处理，但本实施方式3的分类机构14在对分类对象图像群判断在各图像中是否存在与对应于分区域包含在分类辞典中的物体类别的模型信息一致的特征这一点不同。
图像分类装置2000判断是否对全部的摄影单元结束了分类处理（步骤S46）。在判断为结束的情况下（步骤S46中的“是”），结束分类处理，在判断为没有结束的情况下（步骤S46中的“否”），处理回到步骤S3。
3.3变形例
在上述实施方式3中，在提取图像特征量之前计算区域信息，但并不限定于此。也可以在提取图像特征量后提取区域信息。
3.3.1结构
将该情况下的图像分类装置2000A的结构表示在图22中。
图22是表示本变形例的图像分类装置2000A的结构的框图。在图22中，图像分类装置2000A由本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构2400A、分类辞典制作机构15、分类模型信息储存机构16、图像属性信息储存机构17、和区域信息计算机构2800A构成。
关于本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类辞典制作机构15、分类模型信息储存机构16及图像属性信息储存机构17，与上述实施方式3是同样的，所以这里的说明省略。
（1）区域信息计算机构2800A
区域信息计算机构2800A对于作为本地数据储存机构11的分类对象的图像群的各图像，使用由图像特征量计算机构12计算出的各特征量计算区域信息。
具体而言，区域信息计算机构2800A如图22所示，具有人区提取部2811、季节提取部2812及场所提取部2813。
人区提取部2811根据由图像特征量计算机构12计算出的各特征量确定脸检测区域、人体检测区域及人体周边区域。
季节提取部2812确定由人区提取部2811确定的以外的区域、即背景区域。季节提取部2812在使用由图像特征量计算机构12计算出的各特征量确定的背景区域内提取表示季节的物体（例如，樱花、女孩节人偶等）的区域。
此外，场所提取部2813在背景区域内，提取表示摄影场所是室内还是室外的物体（例如，建筑物、或是室内用具的沙发等）的区域。
（2）分类机构2400A
分类机构2400A如图22所示，具有服装/帽子分类部2411、季节物分类部2412、场所物分类部2413、一般物分类部2414。
服装/帽子分类部2411从检测出的人区（脸检测区域、人体检测区域），限定于眼镜或帽子的有无等的关于人的属性的项目、及服装的种类或图像内的服装的一样等的项目，进行分类处理。
季节物分类部2412限定于关于表示季节的人工物的被摄体目标或自然物的被摄体目标的项目，进行分类处理。
场所物分类部2413限定于关于表示场所（室内、室外）的人工物的被摄体目标或自然物的被摄体目标的项目，进行分类处理。
一般物分类部2414限定于单独的人物、人种、年龄或家族属性，进行分类处理。
3.3.2动作
图像分类装置2000A的动作可以通过将图21所示的步骤S41和步骤S42替换来实现，所以这里的说明省略。
3.4实施方式3的效果
如以上这样，不是以一般的目标全部为对象进行分类处理，而是使用从用户拥有的图像群提取的共通属性，分图像内的一定区域，将用于分类的模型信息限定而进行分类处理，所以能够对用户拥有的图像或运动图像更高精度地分类，能够对用户拥有的图像或运动图像自动地添加标签而自动整理、以高效率地寻找用户想要的图像。
4.实施方式4
以下，参照附图对有关本发明的实施方式4进行说明。本实施方式4是关于在将由家族内等的用户的本地的许多的图像或运动图像数据构成的图像群整理的图像分类装置中、通过当用户登录想要分类的对象时将与该分类对象关联的共通属性一起登录、即使是新登录的分类对象也利用预先登录的共通属性将包含在各图像内的被摄体目标高精度地自动分类的机制。另外，在本实施方式中，对于与实施方式1、2、3相同的功能的结构能够赋予相同的标号而采用其说明，所以省略说明。
4.1结构
图23是表示本实施方式4的图像分类装置3000的结构的框图。在图23中，图像分类装置3000由本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构14、分类辞典制作机构3815、分类模型信息储存机构16、图像属性信息储存机构17、输入机构3800、和登录机构3801构成。关于本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构14、分类模型信息储存机构16、和图像属性信息储存机构17，与实施方式1是同样的，所以这里的说明省略。
（1）输入机构3800
输入机构3800受理对存储在本地数据储存机构11中的本地数据进行的用于登录处理的用户操作的输入。
例如，通过触摸面板显示器、鼠标、键盘或遥控器，受理对作为分类对象的图像群的标签添加处理的输入，以及对包含在图像群中的图像，受理将该图像内的被摄体目标与物体类别建立对应登录的登录处理的输入。
（2）登录机构3801
登录机构3801基于输入机构3800的输入，进行标签添加处理及登录处理。
登录机构3801从在这些处理中使用的图像群、或者与在这些处理中使用的图像群关联的图像群中提取共通属性，作为属于登录的物体类别名的共通属性，与该物体类别名建立对应而向分类模型信息储存机构16储存。
（3）分类辞典制作机构3815
分类辞典制作机构3815除了在实施方式1中表示的功能以外，还具有以下的功能。
分类辞典制作机构3815在存在与由共通属性提取机构13提取的共通属性建立了对应的物体类别名的情况下，将该物体类别添加到分类辞典中。
4.2动作
这里，对登录机构3801进行的动作，使用图24所示的流程图进行说明。另外，关于对图像群的分类处理，与实施方式1所示的处理（参照图13、图14）是同样的，所以这里的说明省略。
如果通过用户的指示开始标签添加处理或登录处理，则在输入机构3800中，输入伴随着该处理的操作。登录机构3801进行该处理，并提取作为共通属性的提取对象的图像群（步骤S51）。例如，在标签添加处理中，将进行了与“我的宠物”、“焰火大会”、“拾栗子”、“圣诞节”或“生日聚会”等由用户指定的标签的对应建立的图像群原样选择，基于所选择的图像群选择关联的图像群，或选择以一定的事件序列连续的图像群，提取作为共通属性的提取对象的图像群。
登录机构3801根据从提取出的图像群使用与实施方式1的共通属性提取机构13同样的方法提取出的图像群提取共通属性（步骤S52）。
登录机构3801在将图像群的共通属性提取后，将所提取的共通属性的中的、要建立对应的物体类别所特有的共通属性（步骤S43）。共通属性的提取例如从是与图9所示那样的形式相同的形式、能够提取共通属性的内容中提取。具体而言，将图5所示那样的图像元数据信息从包含在图像群中的各图像分别提取，通过将它们用特定的项目抽象化，作为共通属性提取。例如，通过将时间信息变换为季节等的时间段信息、或将场所信息变换为游乐园等的地标（场所区域）信息、或将在图像群中频繁出现的人物信息变换为出现人物信息，能够提取共通信息。
将提取出的共通属性作为属于登录的物体类别的共通属性，与该物体类别建立对应，登录到分类模型信息储存机构16中（步骤S44）。
4.3实施方式4的效果
通过以上，通过作为属于登录的物体类别的共通属性而预先建立对应登录，在对新的图像群的分类处理时或对已经储存的图像群的再分类处理时，由于能够将基于建立了对应的共通属性限制的物体类别作为分类对象使用，所以能够进行更符合用户的意图的图像分类处理。
此外，通过不是以一般的目标全部为对象进行分类处理，而通过在登录了作为用户想要分类的对象的物体类别时将与该分类对象关联的共通属性建立对应登录，能够对用户拥有的图像群进行使用新登录的物体类别的限定的分类处理，所以能够对用户拥有的图像或运动图像更高精度地分类，能够对用户拥有的图像或运动图像自动地添加标签而自动整理、或高效率地寻找用户想要的图像。
5.实施方式5
以下，参照附图对有关本发明的实施方式5进行说明。在实施方式1中，假设在1个装置内包含全部的构成要素，但在本实施方式5中，为经由网络连接的外部的装置具有构成要素的一部分。另外，在本实施方式5中，对于具有与实施方式1相同的结构能够赋予相同的标号而采用其说明，所以省略说明。
5.1图像分类系统4000的结构
图像分类系统4000如图25所示，由图像分类装置4100和服务器装置4500构成，图像分类装置4100与服务器装置4500经由因特网等的网络4001连接。
以下，对图像分类装置4100和服务器装置4500的结构进行说明。
（1）图像分类装置4100
图像分类装置4100如图26所示，由本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构14、图像属性信息储存机构17、分类辞典制作机构4115、事件关联信息储存机构4116和收发机构4110构成。
关于本地数据储存机构11、图像特征量计算机构12、共通属性提取机构13、分类机构14、和图像属性信息储存机构17，与实施方式1是同样的，所以这里的说明省略。
（1-1）事件关联信息储存机构4116
事件关联信息储存机构4116存储有在实施方式1中表示的基本事件目标表T20、属性信息表T30及事件信息表T40。
关于基本事件目标表T20、属性信息表T30及事件信息表T40，由于在实施方式1中已经说明，所以这里的说明省略。
（1-2）分类辞典制作机构4115
分类辞典制作机构4115与在实施方式1中表示的分类辞典制作机构15同样，制作由对特定的候选事件赋予特征的关联事件物体中的优先级是规定的阈值以上、相互为不同的类似属性的1个以上的关联事件物体（物体类别）构成的分类辞典。
与实施方式1不同的点是向服务器装置4500请求与制作的分类辞典对应的模型信息。
具体而言，分类辞典制作机构4115生成包含识别包含在制作出的分类辞典中的全部的物体类别的信息（例如，名称、识别码）、请求模型信息的请求信息，将所生成的请求信息经由收发机构4110向服务器装置4500发送。
然后，分类辞典制作机构4115从服务器装置4500经由收发机构4110接收与包含在所生成的分类辞典中的物体类别分别建立了对应的各模型信息。分类辞典制作机构4115将与制作出的分类辞典的物体类别分别建立了对应的各模型信息向分类机构14输出。
在分类机构14中，能够根据与由分类辞典制作机构4115制作出的分类辞典的物体类别分别建立了对应的模型信息、和由图像特征量计算机构12计算出的图像的特征量进行图像的分类。
（1-3）收发机构4110
收发机构4110如果从分类辞典制作机构4115获取请求信息，则经由网络4001将所获取的请求信息向服务器装置4500发送。
此外，收发机构4110如果从服务器装置4500经由网络4001接收到与由分类辞典制作机构4115制作出的分类辞典的物体类别分别建立了对应的模型信息，则将接收到的模型信息向分类辞典制作机构4115输出。
（2）服务器装置4500
服务器装置4500如图27所示，由模型信息储存机构4510、控制机构4511及收发机构4512构成。
（2-1）模型信息储存机构4510
模型信息储存机构4510存储有保存着在实施方式1中表示的作为每个物体类别的特征量的模型信息的表T10。
另外，关于表T10，由于已经在实施方式1中说明，所以这里的说明省略。
（2-2）控制机构4511
控制机构4511经由收发机构4512从图像分类装置4100获取请求信息。
控制机构4511从模型信息储存机构4510的表T10取得包含在所获取的请求信息中的、与识别包含在由图像分类装置4100制作出的分类辞典中的物体类别的信息分别对应的模型信息。
并且，控制机构4511将对包含在由图像分类装置4100制作出的分类辞典中的物体类别分别取得的模型信息建立对应，经由收发机构4512向图像分类装置4100发送。
（2-3）收发机构4512
收发机构4512如果经由网络4001从图像分类装置4100接收到请求信息，则将接收到的请求信息向控制机构4511输出。
收发机构4512从控制机构4511获取与由分类辞典制作机构4115制作出的分类辞典的物体类别分别建立了对应的模型信息，经由网络4001向图像分类装置4100发送。
5.2图像分类系统4000的动作
这里，作为图像分类系统4000的动作，对图像分类装置4100及服务器装置4500各自的动作进行说明。
（1）图像分类装置4100的动作
关于图像分类装置4100的动作，使用图13所示的流程图，仅对实施方式1与本实施方式5的差异进行说明。
图像分类装置4100在从图13所示的步骤S4到步骤S5之间追加以下的两个步骤。
首先，追加分类辞典制作机构4115生成请求信息、将所生成的请求信息经由收发机构4110向服务器装置4500发送的步骤（以下，设为步骤S100）。
并且，在步骤S100后，追加分类辞典制作机构4115从服务器装置4500与包含在分类辞典制作机构4115生成的分类辞典中的物体类别分别建立了对应的各模型信息的步骤（以下，设为步骤S101）。
通过在执行步骤S100、S101后执行步骤S5，进行图像的分类。
（2）服务器装置4500的动作
关于服务器装置4500的动作，使用图28所示的流程图进行说明。
服务器装置4500的控制机构4511从图像分类装置4100经由网络4001接收请求信息（步骤S150）。
控制机构4511从模型信息储存机构4510的表T10取得与包含在接收到的请求信息中的识别物体类别的信息分别对应的模型信息（步骤S151）。
控制机构4511将对包含在接收到的请求信息中的物体类别分别取得的模型信息建立对应，经由网络4001向图像分类装置4100发送（步骤S152）。
5.3变形例
在上述实施方式5中，对将模型信息储存到外部的装置（服务器装置4500）中的图像分类系统4000进行了说明，但系统的结构并不限定于此。
也可以是由外部的装置将作为分类对象的图像群储存的系统。
以下对该情况下的图像分类系统4000A进行说明。另外，在本变形例中，对具有与其他实施方式相同的功能的结构能够赋予相同的标号而采用其说明，所以省略说明。
（1）图像分类系统4000A的结构
图像分类系统4000A如图29所示，由图像分类装置4100A和终端装置4600构成，图像分类装置4100A与终端装置4600经由因特网等的网络4001连接。
以下，对图像分类装置4100和服务器装置4500的结构进行说明。
（1-1）图像分类装置4100A
图像分类装置4100A如图26所示，由图像特征量计算机构12、共通属性提取机构13、分类机构14、分类辞典制作机构15、分类模型信息储存机构16、图像属性信息储存机构17和接收机构4150构成。
关于图像特征量计算机构12、共通属性提取机构13、分类机构14、分类辞典制作机构15、分类模型信息储存机构16、和图像属性信息储存机构17，与实施方式1是同样的，所以这里的说明省略。
接收机构4150经由网络4001从终端装置4600接收由作为分类对象的1个以上的图像构成的图像群及与各图像对应的元数据信息，将接收到的图像群及元数据信息向图像特征量计算机构12及共通属性提取机构13输出。
在图像特征量计算机构12中，计算包含在从接收机构4150接受到的图像群中的各图像的特征量。此外，在共通属性提取机构13中，使用从接收机构4150获取的图像群及元数据信息提取共通属性。
（1-2）终端装置4600
终端装置4600如图31所示，由数据储存机构4610、控制机构4611、和发送机构4612构成。
数据储存机构4610由于与实施方式1的本地数据储存机构11是同样的，所以这里的说明省略。
控制机构4611通过用户操作取得由在本地数据储存机构11中储存的1个以上的图像构成的图像群及与各图像对应的元数据信息，经由发送机构4612向图像分类装置4100A发送。
发送机构4612将从控制机构4611获取的图像群及元数据信息经由网络4001向图像分类装置4100A发送。
（2）动作
这里，关于图像分类系统4000A的动作、特别是图像分类装置4100A的动作，说明与实施方式1不同的点。
图像分类装置4100A在图13所示的流程图中，在执行步骤S1之前，追加接收机构4150从终端装置4600接收由作为分类对象的1个以上的图像构成的图像群及与各图像对应的元数据信息的步骤。
由此，图像分类装置4100A能够对从外部的装置（终端装置4600）获取的图像群进行分类。
（3）其他
在本变形例中，终端装置4600只要是能够将图像群储存、能够进行网络连接的装置就可以，例如是个人计算机、数字照相机、数字摄像机等。
此外，也可以对实施方式1所示的图像分类装置1的构成要素追加从在本变形例中说明的外部的装置接收图像群的功能。在此情况下，不仅是储存在图像分类装置1中图像群，对于由外部的装置储存的图像群也能够进行分类。
此外，从外部的装置取得的图像群并不限定于想要进行分类的用户摄影的图像。例如，也可以利用社交网络取得认识的人摄影的图像群。在此情况下，既可以根据用户自身摄影的图像群和认识的人摄影的图像群生成摄影单元，也可以仅根据认识的人摄影的图像群生成摄影单元。
6.变形例
以上，基于各实施方式进行了说明，但本发明并不限定于上述实施方式。例如可以考虑以下这样的变形例。
（1）在上述各实施方式中，按照事件对应的事件关联物体只要是在事件内摄影的物体，其种类没有限制。此外，也可以为通过关联度预先进行优先级的加权的结构。或者，也可以通过单独计算事件的优先级和物体类别的优先级、将它们以任意的加权合计来计算复合优先级，基于该复合优先级决定分类的物体类别。
（2）在上述实施方式2中，条件式中的规定值T为固定的值，但并不限定于此。
也可以为根据包含在摄影单元中的图像的张数改变判断值的条件式、或根据作为分类对象的物体目标的种类变更使用的条件式的结构。
此外，也可以为将事件的容易被摄影的程度按照物体类别通过预设置来规定，通过判断一定的容易被摄影的被摄体目标是否被分类来判断是否适当的结构。
此外，也可以将判断物体类别在全部图像中存在、或存在多个物体类别等的被分类过度的情况判断为不适当。
（3）在上述实施方式2中，当从再候选事件提取物体类别时，有可能将上次已提取的物体类别提取。所以，既可以将上次已提取的物体类别作为提取的对象，也可以作为对象外。
在作为对象外的情况下，也可以从将上次已利用的物体类别除外的其余的物体类别中的优先级较高者起依次将一定的优先级范围、或一定数量的物体类别提取而作为分类辞典。
此外，在被分类过度的情况下，也可以从进行了分类处理的被摄体目标再仅限定于优先级较高者做成分类辞典。在此情况下，候选事件与再制作前的事件相同。
（4）在上述实施方式3中，假设区域信息计算机构2800具有脸检测器及人体检测器，但并不限定于此。
也可以在这些检测器以外还具备运动物体检测器。由此，区域信息计算机构2800能够计算由运动物体检测检测出的运动物体区域和其以外的背景区域作为区域信息。此外，通过具备其他方法的检测器，也可以计算兴趣区域或注目区域和其以外的背景区域作为区域信息。
（5）在上述各实施方式中，分类辞典制作机构确定多个事件中的1个候选事件而制作分类辞典，但并不限定于此。
分类辞典制作机构也可以在共通属性是表示季节、场所或事件内容（例如，女孩节人偶或鲤鱼旗等）的情况下仅提取与季节、场所或事件内容符合的物体类别来制作分类辞典。
（6）在上述各实施方式中，将共通属性和事件经由包含在事件中的物体类别进行对应建立，但并不限定于此。
也可以将共通属性与事件直接建立对应。
（7）在上述实施方式所表示的家族构成信息或被摄体人物信息中，也可以包含表示作为因时间经过引起的脸或体的变化程度的经年变化性的时间变迁信息。例如，在每年对特定的事件进行摄影的情况下，由于能够表示在各年摄影的图像中包含的被摄体的变化程度，所以能够看作是相同的人物。由此，能够将每年进行的事件不是作为单独的事件、而确定为1个集中的候选事件。
（8）在上述各实施方式中，分类机构基于分类对象的图像整体的特征量进行分类，但并不限定于此。
也可以考虑关于摄影对象的物体的多样性进行分类。
在此情况下，分类模型信息储存机构代替表T10而存储有图32所示的表T100。
表T100具有用来存储多个由物体类别名、模型信息和多样性信息构成的组的区域。例如，如果物体类别名是“樱花”，则将关于樱花的图像的特征量及其多样性信息建立对应。
物体类别名和模型信息由于在实施方式1中说明，所以各自的说明省略。
多样性信息是表示关于对应的物体的多样性的高低的。这里，所谓多样性，是有关摄影对象的物体与关于该物体的背景的组合的。在多样性信息表示“高”的情况下，意味着存在许多摄影对象的物体与关于该物体的背景的组合，在多样性信息表示“低”的情况下，意味着摄影对象的物体、与关于该物体的背景的组合的存在较少。例如，在物体是“飞机”的情况下，其背景是“天空”或“地面（滑行跑道）”，几乎没有其他背景。因此，对应于“飞机”的多样性信息为“低”。相反，在物体是“花盆”的情况下，花盆的配置场所可以考虑“窗”、“道路”、“家（玄关）”或“庭院”等各种各样的场所，该场所成为背景。因此，由于“花盆”与“背景”的组合是多样的，所以多样性信息为“高”。
分类机构关于在进行图像的分类时使用的模型信息，使用表T100取得该模型信息表示的物体的多样性信息。分类机构在所取得的多样性信息表示“低”的情况下，使用图像整体的特征量进行分类处理。分类机构在所取得的多样性信息表示“高”的情况下，确定图像整体中的ROI（Region ofInterest：关注区域），对于所确定的区域使用模型信息进行分类处理。关于ROI的确定，由于是公知的技术，所以这里的说明省略。
由此，关于多样性较高的物体（例如花盆），通过对将背景排除后的区域（仅包括花盆的区域）实施分类处理，能够进行更正确的分类。另外，通过ROI确定了多样性较高的物体（作为分类对象的物体）的区域，但确定的方法并不限定于此。只要是能够确定分类对象的物体的区域的方法就可以。
（9）在上述实施方式5中，有关图像分类的处理、具体而言图像特征量计算机构12、共通属性提取机构13、分类辞典制作机构4115及分类机构14中的各处理由图像分类装置4100进行，但并不限定于此。
也可以将图像特征量计算机构12、共通属性提取机构13、分类辞典制作机构4115及分类机构14中的至少1个机构的处理用服务器装置4500进行。
（10）也可以将记述有在上述实施方式中说明的方法的次序的程序存储到存储器中，通过CPU（Central Processing Unit）等从存储器读出程序、执行所读出的程序，来实现上述方法。
此外，也可以将记述有该方法的次序的程序保存到记录介质中而发布。
（11）有关上述各实施方式的各结构也可以作为集成电路即LSI（LargeScale Integration）实现。这些结构既可以1芯片化，也可以包含一部分或全部而1芯片化。这里表现为LSI，但根据电路的集成度的差异，也有称作IC（Integrated Circuit）、系统LSI、超级LSI、超大规模LSI的情况。此外，集成电路化的方法并不限定于LSI，也可以通过专用电路或通用处理器进行集成电路化。此外，也可以使用在LSI制造后能够编程的FPGA（FieldProgrammable Gate Array）、或能够再构成LSI内部的电路单元的连接及设定的可重构处理器（ReConfigurable Processor）。或者，这些功能块的运算例如可以使用DSP（Digital Signal Processor）或CPU（Central ProcessingUnit）等运算。进而，这些处理步骤也可以通过作为程序记录到记录介质中执行来处理。
进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路的技术，则当然也可以使用该技术将功能块集成化。有可能是生物技术的应用等。
（12）也可以将上述实施方式及变形例组合。
7.补充
（1）作为本发明的一实施形态的图像处理装置，其特征在于，具备：属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体存储；提取机构，对于由摄影的多个图像构成的图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；对应建立机构，对于包含在上述图像群中的上述多个图像，分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立。
根据该结构，图像处理装置根据与图像群的摄影属性建立了对应的事件确定可能包含在以该事件摄影的图像中的被摄体，进行对应建立。由此，用户不需要指定在对应建立中使用的被摄体，所以图像与被摄体的对应建立处理时的用户的负担被减轻。此外，图像处理装置由于将用于对应建立的被摄体限定于对应于与摄影属性建立了对应的事件者，所以能够高精度地进行分类。
（2）这里，也可以是，上述提取机构将上述图像群基于与包含在该图像群中的上述多个图像分别对应的有关摄影的信息划分为1个以上的图像集合，按照划分的图像集合，提取1个以上的上述摄影属性。
根据该结构，由于图像处理装置将图像群划分为1个以上的图像集合，按照划分的图像集合提取摄影属性，所以能够高精度地提取摄影属性。
（3）这里，也可以是，上述有关摄影的信息包括表示图像摄影时的时间的时间信息、表示场所的场所信息、作为被摄体的人物的人物信息、表示摄影方法的摄影信息及表示摄影时的环境的环境信息中的至少1个信息。
根据该结构，图像处理装置能够基于时间信息、场所信息、人物信息、摄影信息及环境信息中的至少1个信息将图像群划分为1个以上的图像集合。
（4）这里，也可以是，上述提取机构计算在上述划分中使用的各信息间的类似度，使用计算出的类似度进行上述划分，以包含类似的各图像。
根据该结构，由于图像处理装置使用各信息间的类似度划分为图像集合，所以能够使类似的图像彼此成为1个图像集合。
（5）这里，也可以是，上述提取机构将使用包含在上述属性中的各信息中的至少1个信息取得的统计量信息作为上述摄影属性。
根据该结构，图像处理装置能够提取统计量信息作为摄影属性。
（6）这里，也可以是，上述提取机构按照上述图像集合，在根据该图像集合中的1个以上的人物信息确定一个人物的家族的情况下，取得表示该家族的家族构成信息作为上述统计量信息，或者取得从该图像集合中的1个以上的人物信息分别得到的表示人物的性别或年龄的分布的人物被摄体信息作为上述统计量信息。
根据该结构，图像处理装置作为统计量信息可以使用家族构成信息或被摄体信息。
（7）这里，也可以是，在上述家族构成信息或上述被摄体信息中，包括表示由时间经过引起的脸或身体的变化程度的经年变化性的时间变迁信息。
根据该结构，图像处理装置能够将表示作为因时间经过引起的脸或身体的变化程度的经年变化性的时间变迁信息包含在家族构成信息或被摄体信息中。由此，例如，在每年对特定的事件进行摄影的情况下，由于能够表示在各年摄影的图像中包含的被摄体的变化程度，所以能够看作是相同的人物。由此，能够将每年进行的事件不是作为单独的事件、而确定为1个集中的候选事件。
（8）这里，也可以是，将多个被摄体与上述事件建立对应；通过将上述摄影属性、与可能包含在对事件摄影的图像中的被摄体建立对应，进行上述摄影属性与事件的对应建立；上述确定机构关于上述摄影属性，分别对与该摄影属性对应的被摄体总计优先级，确定上述多个事件中的、对于被摄体的优先级的合计为最高的事件作为候选事件，确定与所确定的上述候选事件关联的多个目标中的、具有规定的值以上的优先级的被摄体。
根据该结构，由于图像处理装置使用优先级选出被摄体，所以能够使用优先级较高的、即为了将图像分类而更有效的被摄体进行图像分类。
（9）这里，也可以是，按照摄影属性分配与该摄影属性对应的优先级；上述确定机构对于上述摄影属性，分别对与该摄影属性对应的被摄体总计分配给该摄影属性的优先级。
根据该结构，由于图像处理装置按照摄影属性分配优先级，所以例如通过对为了进行图像的对应建立而更重要的被摄体分配更高的优先级，能够提高在对应建立中使用的概率。
（10）这里，也可以是，对于多个被摄体，按照类似的被摄体的集合，将识别该集合的类似识别信息建立对应；上述确定机构按照上述类似的被摄体的集合，确定具有规定的值以上的优先级中的最高的优先级的被摄体。
根据该结构，图像处理装置由于提取的目标分别是非类似的，所以在进行与被摄体的对应建立时能够更高精度地进行。
（11）这里，也可以是，上述对应建立机构根据上述分类的结果判断是否需要再次的分类；上述确定机构在判断为需要再次的分类的情况下，确定不包含由已在该分类中使用的上述被摄体构成的集合的其他集合、包含上述被摄体的集合、或者包含由上述被摄体构成的集合的一部分的其他集合。
根据该结构，图像处理装置根据对应建立的结果，递归地进行对应建立的处理。即，图像处理装置通过反复进行对应建立处理，能够高精度地进行对应建立。
（12）这里，也可以是，上述对应建立机构根据分类结果，在分类为一个被摄体的图像的张数是规定数以上的情况下，判断为需要再次的分类；上述确定机构确定包含上述一个被摄体的其他事件，关于所确定的其他事件，确定对应的多个被摄体中的、具有上述规定的值以上的优先级的被摄体。
根据该结构，图像处理装置在通过一个被摄体分类的图像的张数是规定数以上的情况下，由于发生了偏倚，所以通过再次进行对应建立，能够更高精度地进行分类。
（13）这里，也可以是，按照被摄体分配了与摄影的难易度对应的值；上述确定机构对于上述摄影属性，分别对于与该摄影属性对应的被摄体，将分配给该被摄体的对应于难易度的值总计，作为优先级。
根据该结构，图像处理装置能够根据摄影的难易度提取摄影属性。
（14）这里，也可以是，上述图像处理装置还具备在上述提取机构的上述提取之前、对包含在上述图像群中的上述多个图像分别根据该图像内的结构划分为多个区域的区域划分机构；上述提取机构按照划分的区域提取1个以上的摄影属性。
根据该结构，由于图像处理装置将图像内根据结构划分，按照划分的区域提取摄影属性，所以能够提取更可靠的摄影属性。
（15）这里，也可以是，上述区域划分机构划分为图像内的人物的区域和其他区域。
根据该结构，由于图像处理装置划分为人物区域和其他区域，所以能够更可靠地提取关于人物的摄影属性、和关于其他区域例如背景的摄影属性。
（16）这里，也可以是，上述图像处理装置还具备：受理机构，从用户对属于相同事件的一个图像群受理被摄体的提取指示；登录机构，当上述提取指示被受理时，从上述一个图像群中提取上述一个图像群所属的事件的被摄体，将提取出的被摄体与上述一个图像群所属的事件建立对应，登录到上述被摄体信息存储机构中。
根据该结构，由于图像处理装置能够将由用户登录的事件及与该事件对应的被摄体用于对应建立，所以能够进行与由用户特殊化的对应建立。
（17）这里，也可以是，上述登录机构从上述一个图像群提取摄影属性，将提取出的摄影属性与上述一个图像群所属的事件建立对应。
根据该结构，图像处理装置将从上述一个图像群提取出的1个以上的摄影属性分别与上述一个图像群所属的事件建立对应。因此，在以后对其他图像群进行对应建立时，能够确定为由用户特殊化的事件。
（18）这里，也可以是，上述图像处理装置还具备从外部的装置经由网络取得与由上述确定机构确定的被摄体建立对应、由该被摄体的特征量构成的模型信息的取得机构；上述对应建立机构对于上述多个图像，分别根据该图像的特征量和由上述取得机构取得的模型信息表示的特征量，判断在该图像中是否包含由上述确定机构确定的被摄体。
根据该结构，由于图像分类装置从外部的装置取得关于被摄体的模型信息，所以不需要将关于全部的被摄体的模型信息预先存储。因此，该图像分类装置能够节约存储容量。
（19）这里，也可以是，上述图像处理装置还具备从外部的装置经由网络取得上述图像群的取得机构。
根据该结构，由于图像分类装置从外部的装置取得作为分类对象的图像群，所以不需要将作为分类对象的图像群预先存储。因此，该图像分类装置能够节约存储容量。
（20）此外，在作为本发明的一形态的、由图像处理装置、和与该图像处理装置经由网络连接的服务器装置构成的图像处理系统中，其特征在于，上述图像处理装置具备：属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体存储；提取机构，对于由摄影的多个图像构成的图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；取得机构，从上述服务器装置经由上述网络取得与由上述确定机构确定的被摄体建立对应、由该被摄体的特征量构成的模型信息；对应建立机构，对于包含在上述图像群中的上述多个图像，分别根据该图像的特征量和由上述取得机构取得的模型信息表示的特征量判断在该图像中是否包含由上述确定机构确定的被摄体，在判断为该图像包含该被摄体的情况下，进行该图像与该被摄体的对应建立；上述服务器装置具备：模型信息存储机构，对于应由上述被摄体信息存储机构存储的被摄体，分别将由该被摄体的特征量构成的模型信息与该被摄体建立对应而存储；发送机构，将与由上述图像处理装置确定的被摄体对应的模型信息经由上述网络向上述图像处理装置发送。
根据该结构，图像处理系统的图像处理装置根据与图像群的摄影属性建立了对应的事件确定可能包含在以该事件摄影的图像中的被摄体而进行对应建立。由此，用户不需要指定用于对应建立的被摄体，所以图像与被摄体的对应建立处理时的用户的负担被减轻。此外，图像处理装置由于将用于对应建立的被摄体限定于对应于与摄影属性建立了对应的事件者，所以能够高精度地进行分类。此外，图像分类装置由于从服务器装置取得关于被摄体的模型信息，所以不需要将关于全部的被摄体的模型信息预先存储。因此，该图像分类装置能够节约存储容量。
（21）此外，在作为本发明的形态的、由图像处理装置、和与该图像处理装置经由网络连接的终端装置构成的图像处理系统中，其特征在于，上述终端装置具备：图像存储机构，存储有由摄影的多个图像构成的图像群；发送机构，将上述图像群经由上述网络向上述图像处理装置发送；上述图像处理装置具备：属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体存储；取得机构，经由上述网络从上述终端装置取得上述图像群；提取机构，对于由上述取得机构取得的上述图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；对应建立机构，对于包含在上述图像群中的上述多个图像，分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立。
根据该结构，图像处理系统的图像处理装置根据与图像群的摄影属性建立了对应的事件确定可能包含在以该事件摄影的图像中的被摄体而进行对应建立。由此，用户不需要指定用于对应建立的被摄体，所以图像与被摄体的对应建立处理时的用户的负担被减轻。此外，图像处理装置由于将用于对应建立的被摄体限定于对应于与摄影属性建立了对应的事件者，所以能够高精度地进行分类。此外，图像分类装置由于从终端装置取得作为分类对象的图像群，所以不需要将作为分类对象的图像群预先存储。因此，该图像分类装置能够节约存储容量。
工业实用性
本发明的图像分类装置在对由许多图像构成的图像群高精度地进行标签添加时是有效的。例如，通过在进行图像的自动整理及想要图像的检索时能够进行符合用户的本地数据的摄影事件的对应建立的处理，能够高效率地提取包含任意的对象的图像群。此外，本发明的图像处理装置也能够应用到进行对图像的处理的DVD记录机、TV或个人计算机及数据服务器等的用途中。
标号说明
1、1000、2000、3000、4100图像分类装置（图像处理装置）
11本地数据储存机构
12图像特征量计算机构
13共通属性提取机构
14、1400、2400分类机构
15、1500、3815、4115分类辞典制作机构
16分类模型信息储存机构
17图像属性信息储存机构
131图像信息提取机构
132摄影单元提取机构
133共通属性判断机构
1800轴目标提取机构
2800区域信息计算机构
3800输入机构
3801登录机构
3815分类辞典制作机构
4000图像分类系统
4110、4512收发机构
4116事件关联信息储存机构
4150接收机构
4500服务器装置
4510模型信息储存机构
4511、4611控制机构
4600终端装置
4610数据储存机构
4612发送机构

Claims (24)

1.一种图像处理装置，其特征在于，具备：
属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；
被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体存储；
提取机构，对于由摄影的多个图像构成的图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；
确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；以及
对应建立机构，对于包含在上述图像群中的上述多个图像，分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立。
2.如权利要求1所述的图像处理装置，其特征在于，
上述提取机构将上述图像群基于与包含在该图像群中的上述多个图像分别对应的有关摄影的信息划分为1个以上的图像集合，按照划分的每个图像集合，提取1个以上的上述摄影属性。
3.如权利要求2所述的图像处理装置，其特征在于，
上述有关摄影的信息包括表示图像摄影时的时间的时间信息、表示场所的场所信息、作为被摄体的人物的人物信息、表示摄影方法的摄影信息及表示摄影时的环境的环境信息中的至少1个信息。
4.如权利要求3所述的图像处理装置，其特征在于，
上述提取机构计算在上述划分中使用的各信息间的类似度，使用计算出的类似度进行上述划分，以包含类似的各图像。
5.如权利要求3所述的图像处理装置，其特征在于，
上述提取机构将使用包含在上述属性中的各信息中的至少1个信息而取得的统计量信息作为上述摄影属性。
6.如权利要求5所述的图像处理装置，其特征在于，
上述提取机构按照每个上述图像集合，在根据该图像集合中的1个以上的人物信息确定一个人物的家族的情况下，取得表示该家族的家族构成信息作为上述统计量信息，或者取得从该图像集合中的1个以上的人物信息分别得到的表示人物的性别或年龄的分布的人物被摄体信息作为上述统计量信息。
7.如权利要求6所述的图像处理装置，其特征在于，
在上述家族构成信息或上述被摄体信息中，包括表示由时间经过引起的脸或身体的变化程度的经年变化性的时间变迁信息。
8.如权利要求2所述的图像处理装置，其特征在于，
将多个被摄体与上述事件建立对应；
通过将上述摄影属性与可能包含在对事件摄影的图像中的被摄体建立对应，进行上述摄影属性与事件的对应建立；
上述确定机构关于上述摄影属性，分别对与该摄影属性对应的被摄体总计优先级，确定上述多个事件中的、对于被摄体的优先级的合计为最高的事件作为候选事件，确定与所确定的上述候选事件关联的多个目标中的、具有规定的值以上的优先级的被摄体。
9.如权利要求8所述的图像处理装置，其特征在于，
按照每个摄影属性分配与该摄影属性对应的优先级；
上述确定机构对于上述摄影属性，分别对与该摄影属性对应的被摄体总计分配给该摄影属性的优先级。
10.如权利要求8所述的图像处理装置，其特征在于，
对于多个被摄体，按照类似的被摄体的每个集合，将识别该集合的类似识别信息建立对应；
上述确定机构按照上述类似的被摄体的每个集合，确定具有规定的值以上的优先级中的最高的优先级的被摄体。
11.如权利要求8所述的图像处理装置，其特征在于，
上述对应建立机构根据上述分类的结果判断是否需要再次的分类；
上述确定机构在判断为需要再次的分类的情况下，确定不包含由已在该分类中使用的上述被摄体构成的集合的其他集合、将上述被摄体全部包含的集合、或者包含由上述被摄体构成的集合的一部分的其他集合。
12.如权利要求11所述的图像处理装置，其特征在于，
上述对应建立机构根据分类结果，在被分类为一个被摄体的图像的张数是规定数以上的情况下，判断为需要再次的分类；
上述确定机构确定包含上述一个被摄体的其他事件，关于所确定的其他事件，确定对应的多个被摄体中的、具有上述规定的值以上的优先级的被摄体。
13.如权利要求8所述的图像处理装置，其特征在于，
按照每个被摄体分配了与摄影的难易度对应的值；
上述确定机构对于上述摄影属性，分别对于与该摄影属性对应的被摄体，将分配给该被摄体的对应于难易度的值总计，作为优先级。
14.如权利要求1所述的图像处理装置，其特征在于，
上述图像处理装置还具备在上述提取机构的上述提取之前、对包含在上述图像群中的上述多个图像分别根据该图像内的结构划分为多个区域的区域划分机构；
上述提取机构按照划分的区域提取1个以上的摄影属性。
15.如权利要求14所述的图像处理装置，其特征在于，
上述区域划分机构划分为图像内的人物的区域和其他区域。
16.如权利要求1所述的图像处理装置，其特征在于，
上述图像处理装置还具备：
受理机构，从用户对属于相同事件的一个图像群受理被摄体的提取指示；以及
登录机构，当上述提取指示被受理时，从上述一个图像群中提取上述一个图像群所属的事件的被摄体，将提取出的被摄体与上述一个图像群所属的事件建立对应，登录到上述被摄体信息存储机构中。
17.如权利要求16所述的图像处理装置，其特征在于，
上述登录机构从上述一个图像群提取摄影属性，将提取出的摄影属性与上述一个图像群所属的事件建立对应。
18.如权利要求1所述的图像处理装置，其特征在于，
上述图像处理装置还具备从外部的装置经由网络取得与由上述确定机构确定的被摄体建立对应、由该被摄体的特征量构成的模型信息的取得机构；
上述对应建立机构对于上述多个图像，分别根据该图像的特征量和由上述取得机构取得的模型信息表示的特征量，判断在该图像中是否包含由上述确定机构确定的被摄体。
19.如权利要求1所述的图像处理装置，其特征在于，
上述图像处理装置还具备从外部的装置经由网络取得上述图像群的取得机构。
20.一种处理方法，在具备按照多个事件的每个事件将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储的属性存储机构、按照多个事件的每个事件将可能包含在对该事件摄影的图像中的被摄体预先存储的被摄体信息存储机构、提取机构、确定机构、和对应建立机构的图像处理装置中使用，其特征在于，包括：
提取步骤，上述提取机构对于由摄影的多个图像构成的图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；
确定步骤，上述确定机构对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；以及
对应建立步骤，上述对应建立机构对于包含在上述图像群中的上述多个图像，分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立。
21.一种计算机程序，在具备按照多个事件的每个事件将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储的属性存储机构、按照多个事件的每个事件将可能包含在对该事件摄影的图像中的被摄体预先存储的被摄体信息存储机构、提取机构、确定机构、和对应建立机构的图像处理装置中使用，其特征在于，
使上述提取机构执行对于由摄影的多个图像构成的图像群、基于与上述多个图像分别对应的有关摄影的信息、提取在规定数的图像中共通的摄影属性的提取步骤；
使上述确定机构执行对于与所提取的摄影属性建立了对应的事件、确定存储在上述被摄体信息存储机构中的被摄体的确定步骤；
使上述对应建立机构执行对于包含在上述图像群中的上述多个图像、分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立的对应建立步骤。
22.一种集成电路，在图像处理装置中使用，其特征在于，具备：
属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；
被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体预先存储；
提取机构，对于由摄影的多个图像构成的图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；
确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；以及
对应建立机构，对于包含在上述图像群中的上述多个图像，分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立。
23.一种图像处理系统，由图像处理装置、和与该图像处理装置经由网络连接的服务器装置构成，其特征在于，
上述图像处理装置具备：
属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；
被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体存储；
提取机构，对于由摄影的多个图像构成的图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；
确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；
取得机构，从上述服务器装置经由上述网络取得与由上述确定机构确定的被摄体建立对应、由该被摄体的特征量构成的模型信息；以及
对应建立机构，对于包含在上述图像群中的上述多个图像，分别根据该图像的特征量和由上述取得机构取得的模型信息表示的特征量判断在该图像中是否包含由上述确定机构确定的被摄体，在判断为该图像包含该被摄体的情况下，进行该图像与该被摄体的对应建立；
上述服务器装置具备：
模型信息存储机构，对于应由上述被摄体信息存储机构存储的被摄体，分别将由该被摄体的特征量构成的模型信息与该被摄体建立对应而存储；以及
发送机构，将与由上述图像处理装置确定的被摄体对应的模型信息经由上述网络向上述图像处理装置发送。
24.一种图像处理系统，由图像处理装置、和与该图像处理装置经由网络连接的终端装置构成，其特征在于，
上述终端装置具备：
图像存储机构，存储有由摄影的多个图像构成的图像群；以及
发送机构，将上述图像群经由上述网络向上述图像处理装置发送；
上述图像处理装置具备：
属性存储机构，按照多个事件的每个事件，将表示推测在将有关该事件的图像摄影时满足的摄影条件的摄影属性建立对应而存储；
被摄体信息存储机构，按照多个事件的每个事件，将可能包含在对该事件摄影的图像中的被摄体存储；
取得机构，经由上述网络从上述终端装置取得上述图像群；
提取机构，对于由上述取得机构取得的上述图像群，基于与上述多个图像分别对应的有关摄影的信息，提取在规定数的图像中共通的摄影属性；
确定机构，对于与所提取的摄影属性建立了对应的事件，确定存储在上述被摄体信息存储机构中的被摄体；以及
对应建立机构，对于包含在上述图像群中的上述多个图像，分别在该图像包含由上述确定机构确定的被摄体的情况下进行与该被摄体的对应建立。
CN201280001795.7A 2011-04-25 2012-02-29 图像处理装置 Active CN102959551B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011097669 2011-04-25
JP2011-097669 2011-04-25
PCT/JP2012/001392 WO2012147256A1 (ja) 2011-04-25 2012-02-29 画像処理装置

Publications (2)

Publication Number Publication Date
CN102959551A true CN102959551A (zh) 2013-03-06
CN102959551B CN102959551B (zh) 2017-02-08

Family

ID=47071792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280001795.7A Active CN102959551B (zh) 2011-04-25 2012-02-29 图像处理装置

Country Status (4)

Country Link
US (1) US9008438B2 (zh)
JP (1) JP5848336B2 (zh)
CN (1) CN102959551B (zh)
WO (1) WO2012147256A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485199A (zh) * 2016-09-05 2017-03-08 华为技术有限公司 一种车身颜色识别的方法及装置
CN108848306A (zh) * 2018-06-25 2018-11-20 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108881740A (zh) * 2018-06-28 2018-11-23 Oppo广东移动通信有限公司 图像方法和装置、电子设备、计算机可读存储介质
CN112188081A (zh) * 2019-07-03 2021-01-05 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102013583B1 (ko) * 2012-11-13 2019-08-23 에스케이하이닉스 주식회사 반도체 시스템
JP6025522B2 (ja) * 2012-11-27 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP5859471B2 (ja) * 2013-03-19 2016-02-10 富士フイルム株式会社 電子アルバム作成装置および電子アルバムの製造方法
KR20150007723A (ko) * 2013-07-12 2015-01-21 삼성전자주식회사 복수의 오브젝트들 사이에 공통된 오브젝트 속성에 대응하는 작업을 수행하는 전자 장치 제어 방법
KR20150100113A (ko) * 2014-02-24 2015-09-02 삼성전자주식회사 영상 처리 장치 및 이의 영상 처리 방법
JP6338437B2 (ja) * 2014-04-30 2018-06-06 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10419657B2 (en) 2014-10-26 2019-09-17 Galileo Group, Inc. Swarm approach to consolidating and enhancing smartphone target imagery by virtually linking smartphone camera collectors across space and time using machine-to machine networks
US10049273B2 (en) * 2015-02-24 2018-08-14 Kabushiki Kaisha Toshiba Image recognition apparatus, image recognition system, and image recognition method
US10255703B2 (en) 2015-12-18 2019-04-09 Ebay Inc. Original image generation system
US10678828B2 (en) 2016-01-03 2020-06-09 Gracenote, Inc. Model-based media classification service using sensed media noise characteristics
TWI579718B (zh) * 2016-06-15 2017-04-21 陳兆煒 圖形資源管理系統及方法與內儲圖形資源管理程式之電腦程式產品
US11681942B2 (en) 2016-10-27 2023-06-20 Dropbox, Inc. Providing intelligent file name suggestions
US9852377B1 (en) * 2016-11-10 2017-12-26 Dropbox, Inc. Providing intelligent storage location suggestions
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
US10554909B2 (en) 2017-01-10 2020-02-04 Galileo Group, Inc. Systems and methods for spectral imaging with a transmitter using a plurality of light sources
WO2018163906A1 (ja) * 2017-03-06 2018-09-13 株式会社ミックウェア 情報処理装置、情報処理システム及び情報処理プログラム
JP6785181B2 (ja) * 2017-04-12 2020-11-18 株式会社日立製作所 物体認識装置、物体認識システム、及び物体認識方法
JP6869809B2 (ja) * 2017-05-29 2021-05-12 株式会社Ｎｔｔドコモ 画像推定装置
US10970552B2 (en) * 2017-09-28 2021-04-06 Gopro, Inc. Scene classification for image processing
CN108090503B (zh) * 2017-11-28 2021-05-07 东软集团股份有限公司 多分类器的在线调整方法、装置、存储介质及电子设备
JP7143599B2 (ja) * 2018-03-09 2022-09-29 オムロン株式会社 メタデータ評価装置、メタデータ評価方法、およびメタデータ評価プログラム
EP3635513B1 (en) * 2018-05-04 2021-07-07 Google LLC Selective detection of visual cues for automated assistants
JP6812387B2 (ja) * 2018-07-02 2021-01-13 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
KR20200017306A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 카테고리에 기반하여 아이템에 관한 정보를 제공하는 전자 장치
US11055539B2 (en) * 2018-09-27 2021-07-06 Ncr Corporation Image processing for distinguishing individuals in groups
CN109151320B (zh) * 2018-09-29 2022-04-22 联想(北京)有限公司 一种目标对象选取方法及装置
CN111382296B (zh) * 2018-12-28 2023-05-12 深圳云天励飞技术有限公司 数据处理方法、装置、终端及存储介质
CN112069344A (zh) * 2020-09-03 2020-12-11 Oppo广东移动通信有限公司 图片处理方法、装置、电子设备及存储介质
JPWO2022190618A1 (zh) * 2021-03-09 2022-09-15

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
US20020168108A1 (en) * 2001-03-28 2002-11-14 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
JP2006203574A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示装置
JP2007058532A (ja) * 2005-08-24 2007-03-08 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体
JP2007213183A (ja) * 2006-02-08 2007-08-23 Seiko Epson Corp デジタル画像データの分類装置、デジタル画像データの分類方法およびデジタル画像データの分類プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050104976A1 (en) * 2003-11-17 2005-05-19 Kevin Currans System and method for applying inference information to digital camera metadata to identify digital picture content
US7756866B2 (en) * 2005-08-17 2010-07-13 Oracle International Corporation Method and apparatus for organizing digital images with embedded metadata
US20080208791A1 (en) * 2007-02-27 2008-08-28 Madirakshi Das Retrieving images based on an example image
JP4798042B2 (ja) 2007-03-29 2011-10-19 オムロン株式会社 顔検出装置、顔検出方法及び顔検出プログラム
US8611677B2 (en) * 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
JP5063632B2 (ja) 2009-03-10 2012-10-31 株式会社豊田中央研究所 学習モデル生成装置、対象物検出システム、及びプログラム
WO2011001587A1 (ja) 2009-07-01 2011-01-06 日本電気株式会社 コンテンツ分類装置、コンテンツ分類方法及びコンテンツ分類プログラム
JP5471749B2 (ja) * 2010-04-09 2014-04-16 ソニー株式会社 コンテンツ検索装置および方法、並びにプログラム
US8655893B2 (en) * 2010-07-16 2014-02-18 Shutterfly, Inc. Organizing images captured by multiple image capture devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010178A (ja) * 2000-06-19 2002-01-11 Sony Corp 画像管理システム及び画像管理方法、並びに、記憶媒体
US20020168108A1 (en) * 2001-03-28 2002-11-14 Eastman Kodak Company Event clustering of images using foreground/background segmentation
US20030210808A1 (en) * 2002-05-10 2003-11-13 Eastman Kodak Company Method and apparatus for organizing and retrieving images containing human faces
JP2006203574A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示装置
JP2007058532A (ja) * 2005-08-24 2007-03-08 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体
JP2007213183A (ja) * 2006-02-08 2007-08-23 Seiko Epson Corp デジタル画像データの分類装置、デジタル画像データの分類方法およびデジタル画像データの分類プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106485199A (zh) * 2016-09-05 2017-03-08 华为技术有限公司 一种车身颜色识别的方法及装置
CN108848306A (zh) * 2018-06-25 2018-11-20 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108848306B (zh) * 2018-06-25 2021-03-02 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN108881740A (zh) * 2018-06-28 2018-11-23 Oppo广东移动通信有限公司 图像方法和装置、电子设备、计算机可读存储介质
CN108881740B (zh) * 2018-06-28 2021-03-02 Oppo广东移动通信有限公司 图像方法和装置、电子设备、计算机可读存储介质
CN112188081A (zh) * 2019-07-03 2021-01-05 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质
CN112188081B (zh) * 2019-07-03 2022-03-01 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质

Also Published As

Publication number Publication date
JPWO2012147256A1 (ja) 2014-07-28
JP5848336B2 (ja) 2016-01-27
CN102959551B (zh) 2017-02-08
US20130101223A1 (en) 2013-04-25
US9008438B2 (en) 2015-04-14
WO2012147256A1 (ja) 2012-11-01

Similar Documents

Publication Publication Date Title
CN102959551A (zh) 图像处理装置
EP3335412B1 (en) Method and electronic apparatus for providing service associated with image
CN102741882B (zh) 图像分类装置、图像分类方法、集成电路、模型制作装置
US9972113B2 (en) Computer-readable recording medium having stored therein album producing program, album producing method, and album producing device for generating an album using captured images
US8831352B2 (en) Event determination from photos
US20130111373A1 (en) Presentation content generation device, presentation content generation method, presentation content generation program, and integrated circuit
US8861897B2 (en) System and methods for creating a collection of images
US10872111B2 (en) User generated data based map search
US9141856B2 (en) Clothing image analysis apparatus, method, and integrated circuit for image event evaluation
CN110297934B (zh) 一种图像数据处理方法、装置及存储介质
US20110235858A1 (en) Grouping Digital Media Items Based on Shared Features
CN109074358A (zh) 提供与用户兴趣有关的地理位置
Bruno et al. A survey on automated food monitoring and dietary management systems
US20140112530A1 (en) Image recognition device, image recognition method, program, and integrated circuit
CN102483767A (zh) 对象关联装置、对象关联方法、程序及记录介质
US11797599B2 (en) Trend detection in digital photo collections for digital picture frames
CN117520662B (zh) 一种基于定位的景区智能导览方法及系统
CN103403765B (zh) 内容加工装置及其集成电路、方法
Zhong et al. Notice of Violation of IEEE Publication Principles: A Big Data Framework to Identify Tourist Interests Based on Geotagged Travel Photos
Lonn et al. Smartphone picture organization: A hierarchical approach
CN112784088A (zh) 人员检索方法、装置、电子设备及可读存储介质
US11210829B2 (en) Image processing device, image processing method, program, and recording medium
JP7485893B2 (ja) 情報処理装置、制御プログラム、及び制御方法
KR102452932B1 (ko) 지도 기반 유기동물 관리 플랫폼 서비스 제공 시스템
CN113537548B (zh) 一种行驶路线的推荐方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant