CN102906790B - 图像信息处理装置 - Google Patents

图像信息处理装置 Download PDF

Info

Publication number
CN102906790B
CN102906790B CN201180025428.6A CN201180025428A CN102906790B CN 102906790 B CN102906790 B CN 102906790B CN 201180025428 A CN201180025428 A CN 201180025428A CN 102906790 B CN102906790 B CN 102906790B
Authority
CN
China
Prior art keywords
image
region
label
personage
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180025428.6A
Other languages
English (en)
Other versions
CN102906790A (zh
Inventor
川西亮一
上野山努
小沼知浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN102906790A publication Critical patent/CN102906790A/zh
Application granted granted Critical
Publication of CN102906790B publication Critical patent/CN102906790B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image

Abstract

具备：提取单元，从图像提取对象物；计算单元，计算提取的对象物所朝向的方向；以及赋予单元，根据计算出的方向，对所述图像赋予标签。

Description

图像信息处理装置
技术领域
本发明涉及在对图像赋予分类用的标签进行支援的技术。
背景技术
近年来，DSC（Digital Still Camera）广泛普及，用户能够轻松地进行照片摄影。因此，用户所保有的图像的张数变得很多，为了使用户有效地查找期望的图像，对图像的标签赋予进行支援的技术受到关注。
在非专利文献1中，检测在多个图像中拍摄的多个面部，然后基于类似性将检测到的多个面部分为组，对该组一并追加名称标签。
先行技术文献
专利文献
专利文献1：日本特表2009-526495号公报
专利文献2：日本特开2009-290255号公报
专利文献3：日本特开2010-16796号公报
专利文献4：日本特开2008-250444号公报
非专利文献
非专利文献1：Google，[通过Picasa网络相册追加名称标签]，[online]，[2010/04/27阅览]、因特网＜URL：http://picasa.google.com/support/bin/answer.py?hl=jp&answer=93973
非专利文献2:IttiL,Koch C,Niebur E著、「A model of saliency-based visual attention for rapid scene analysis 」、IEEE、1998年（Vol.20,No.11,pp.1254-1259）
非专利文献3:Yuji Yamauchi，Hironobu Fujiyoshi，Yuji Iwahori，and Takeo Kanade著，《People Detection Based on Co-occurrence ofAppearance and Spatio-temporal Features》，National Institute ofInformatics Transactions on Progress in Informatics，2010年（No.7,pp.33-42）
发明的概要
发明所要解决的课题
在以往的技术中，例如若在图像内拍摄有某用户“A同志”，则对该图像赋予“A同志”这一标签，像这样，着眼于图像中的人的面部而对图像赋予标签。
像这样，在以往的技术中，虽然能够赋予用于识别在图像中拍摄的人的标签，但是除了人以外，无法赋予明确地表示图像自身的分类的标签。
在此，本发明者们经过深入的研究，结果发现，在图像中拍摄的人物的朝向，能够作为对图像赋予适当的标签的切入点来有效利用。
例如，如果是肖像的图像，则认为在图像中拍摄的人物朝向摄像机方向（正面方向）的可能性较高。此外，例如，如果是对人大量聚集的聚会会场的状况进行摄影的图像，认为在图像中拍摄的人物朝向会话对象等方向（非摄像机方向的方向）的可能性较高。
发明内容
本发明是在这样的背景下做出的，其目的在于，提供一种图像信息处理装置，通过着眼于人物等对象物的朝向，能够对图像赋予适当的标签。
解决课题所采用的技术手段
本发明的图像信息处理装置的特征在于，具备：提取单元，从图像提取对象物；计算单元，计算提取的对象物所朝向的方向；以及赋予单元，根据计算出的方向，对所述图像赋予标签。
发明的效果：
根据本发明的图像信息处理装置，通过着眼于对象物的朝向，能够对图像赋予适当的标签。
附图说明
图1是图像信息处理装置10的功能框图。
图2是用于说明图像存储部12的存储内容的图。
图3是表示由对象物提取部14和计算部16进行的处理的整体流程的图。
图4表示面部的旋转和朝向的区分的表。
图5是表示对象物信息存储部18的存储内容的图。
在图6中，（a）是表示图像A的图，（b）是表示图像A中的关注矢量的区域的图，（c）是表示关注矢量的图。
图7是表示关注矢量信息存储部20的存储内容的图。
图8是表示标签赋予处理的流程的流程图。
图9是表示标签赋予处理的流程的流程图。
在图10中，（a）是表示图像A的关注矢量等的图，（b）是表示图像B的关注矢量等的图。
在图11中，（c）是表示图像C的关注矢量等的图，（d）图像D的关注矢量等的图。
图12是表示标签、标签的别名及表示标签的图标的例子的图。
图13是图像信息处理装置11的功能框图。
图14是表示关注区域设定处理的流程的流程图。
图15是设定与图像A的对象物O3有关的关注度的示意图。
在图16中，（a）是设定与图像A的人物A、B（对象物O1～O4）有关的关注度的示意图，（b）是设定与图像A的人物C、D（对象物O5～O8）有关的关注度的示意图。
在图17中，（a）是表示图像A的综合关注度映射的图，（b）是表示图像A的关注区域的图。
在图18中，（a）是表示图像D的综合关注度映射的图，（b）是表示图像D的关注区域的图。
图19是图像信息处理装置100的功能框图。
图20是表示综合关心区域的设定处理的流程的流程图。
图21是表示图像A的显著性映射的图。
在图22中，（a）是表示图像A的综合关心度映射的图，（b）是表示图像A的综合关心区域的图。
图23是图像信息处理装置102的功能框图。
在图24中，（a）是表示图像P的图，（b）是表示在图像P中用于标签赋予的对象物的图。
图25是表示分组处理（手法2）的流程的流程图。
在图26中，（a）是表示图像K的图，（b）是表示从正上方观察图像K时的关注矢量的图。
图27是表示图像A的图。
图28是图像信息处理装置104的功能框图。
图29是表示区域设定处理的流程的流程图。
在图30中，（a）是表示图像L的图，（b）是表示在图像L中收敛的位置的图。
图31是表示图像M的图。
图32是说明目录的图。
图33是在时间轴上表示图像群的图。
图34是图像信息处理装置106的功能框图。
图35是表示相册的例子的图。
图36是表示幻灯片的例子的图。
具体实施方式
（实施方式1）
如图1所示，图像信息处理装置10具备：图像存储部12、对象物提取部14、计算部16、对象物信息存储部18、关注矢量信息存储部20、赋予条件存储部22、赋予部24、输入I/F（接口）部26、输出I/F部28、图像标签存储部30。另外，各种存储部12、18、20、22、30由HDD（Hard DiskDrive）和RAM（Random Access Memory）等硬件构成。另外，作为图像信息处理装置10，可以使用一般的PC（Personal Computer）。
图像存储部12存储有大量图像。
使用图2，说明图像存储部12的存储内容。
如图2所示，图像存储部12存储有"图像A"、"图像B"、"图像C"等大量（例如数千张）图像。
这些图像是用户在家庭内处理的图像，例如是用户使用数字摄影机1来摄影的运动图像中的图像（帧图像）、或用户使用DSC（Digital stillcamera）2摄影的图像。
继续说明功能块。
对象物提取部14以图像存储部12所存储的图像为对象，提取图像中包含的人物的身体和人物的面部的对象物。在此，人物的身体的对象物是指人体整体的对象物，包括人物的面部（头部）、躯体及手足。另外，作为人物的身体的对象物，还可以采用仅提取上半身的方法。
该提取的手法是一般的方法。
例如，关于人物的面部的识别·提取，可以利用专利文献4（日本特开2008-250444号公报）所记载的提取的手法。此外，也可以对提取的面部进行识别，并对其种类进行分类。
此外，关于人物的身体的识别·提取，可以利用非专利文献3所记载的手法。
计算部16求出占有比例的大小，该占有比例表示人物的面部和身体在该图像中所占的比例。
此外，计算部16基于与对象物提取部14提取的人物有关的信息，计算人物的面部和身体的旋转及朝向。
然后，计算部16将计算的结果存储到矢量信息存储部18中。
使用图3说明由对象物提取部14及计算部16进行的处理的整体流程。
如图3所示，将拍摄有一个人物的图像X设为提取及计算的对象图像。对象物提取部14从图像X提取人物的面部和身体（S1）。
然后，计算部16对提取的人物的身体及面部分别求出旋转及朝向（S2）。
然后，计算部16将包含所提取的人物的身体的矩形区域的面积（SB）除以图像X整体的面积（SA），从而计算人物的身体的占有比例。同样地，通过将包围人物的面部的矩形区域的面积（Sc）除以图像X整体的面积（SA），计算人物的面部的占有比例（S3）。
最后，计算部16基于各对象物的“旋转”“朝向”“占有比例”等，计算关注矢量（S4）。
接着，详细说明在计算部16中计算人物的面部的朝向及旋转的步骤S2。
计算部16将由对象物提取部14提取的人物的面部与图4所示的表17进行对照，从而决定面部的旋转及朝向。
表17包括：“旋转”17a，表示与a："-90～-25.5"、b："-25.5～25.5"、c："25.5～90"（每个范围的单位都是角度）的横旋转有关的3个区分；以及“朝向”17b，表示与A："-90～-67.5"、B："-67.5～-25.5"、C："-25.5～25.5"、D："25.5～67.5"、E："67.5～90"的面部朝向度有关的5个区分。特别地，“朝向”17b的区分C表示面部为正面朝向。
另外，关于对身体而非面部的朝向进行判定的方法，计算部16可以使用：（1）根据由移动的人物的帧间差分得到的移动方向进行判定的方法；（2）利用通过不同朝向的模型进行的匹配结果的方法等手法。
计算部16基于以表17为基准的表，决定“旋转”和“朝向”的区分。然后，将决定的区分存储到对象物信息存储部18中。
如图5所示，对象物信息存储部18按照每个图像，存储包含图像内所包含的各个对象物的“种类”、“朝向”、“旋转”、“占有比例”的项目的对象物信息。
“种类”表示对象物的种类，是“面部”或表示人物的上半身的“人（上）”等的值。
在种类为面部的情况下，“朝向”表示与图4的表17对应的朝向的区分。种类为身体的情况下，表示身体的朝向的区分。
“旋转”与图4的表17对应，表示面部的旋转的区分（为身体的情况下，表示身体的旋转的区分）。
“占有比例”如图3所说明，是对象物在该图像中所占的比例。
图6（a）是表示从图像A提取对象物的状况的图。图像A拍摄有图像近前右的人物2名（人物A、人物B）、图像左的人物2名（人物C、人物D）、塔、云等。
对象物提取部14提取O1、O2、O5、O6的人物的面部和O3、O4、O7、O8的人物的身体的合计8个对象物。另外，在本实施方式中，对象物提取部14仅提取图像中包含的人物的对象物，不提取塔等物体。
此外，计算部16对于提取的8个对象物分别计算其“种类”、“朝向”、“旋转”、“占有比例”。
例如，计算部16对于对象物O1，计算“种类”为面部且“朝向”为正面的区分"C"、“旋转”为表示无旋转的″b"、“占有比例”为"3.7%"，并存储到对象物信息存储部18中。
提取后，若在人物的身体的区域的中包含面部的区域，则计算部16识别为该面部和身体属于同一人物。例如在图6（a）的图像A中，识别为O1和O3属于人物A、O2和O4属于人物B、O5和O7属于人物C、O6和O8属于人物D。
识别后，计算部16对识别的人物设定区域。
该区域的设定可以对每个人物设定，但是在本实施方式中，将距离较近的人物彼此一起设定为作为一个区域。
例如，在图6（a）的图像A中，由于人物A与人物B的距离较近（例如10像素以内），所以计算部16将人物A与人物B所占的区域设定为“区域1”。此外，同样地，计算部16将人物C与人物D所占的区域设定为“区域2”。各区域1、2在图6（b）中示出。
区域设定后，计算部16从对象物信息存储部18取得区域中包含的对象物的对象物信息，基于取得的对象物信息中包含的对象物的“朝向”、“旋转”、“占有比例”，求出关注矢量。
具体地说，基于某对象物的“朝向”和“占有比例”，求出关注矢量的朝向成分，基于某对象物的“旋转”和“占有比例”，求出关注矢量的旋转成分。
例如，在图6（a）的图像A的例子中，计算部16首先从包含O1～O4的区域1取得面部的对象物、即O1、O2各自的“朝向”（"C"，"C"）。然后，计算部16以“朝向”C求出与O1、O2的“占有比例”"3.7"对应的大小的矢量VO1，O2（计算的具体式子参照后述的式1）。
另外，矢量VO1，O2也可以在分别计算VO1、VO2的2个矢量之后，通过将两者合成而求出。
此外，也可以是，对于矢量的大小，不仅使用“占有比例”，还使用表示面部识别的精度的值、即匹配精度，该匹配精度越高（是面部的确定性越高），则矢量的大小越大。
与矢量VO1，O2同样，计算部16根据区域1求出作为身体的对象物的O3、O4的VO3，O4。
图6（c）表示像这样由计算部16计算的关注矢量1、2的朝向成分·旋转成分。
图6（c）左侧的关注矢量1、2的朝向的成分表示假定为从正上方观察图像A时的方向。因此，VO1，O2和VO3，O4所朝向的图中下方向表示正面方向。
图6（c）右侧的关注矢量的旋转的成分其大小非常小，所以将其作为不存在来处理。
以下说明用于计算部16的关注矢量的计算的式子的例子。
设对象物数为K、对象物的占有比例为Rj［%］、对象物的矢量的朝向为DK［度］、关注矢量的区分数为i、各区分的最小角度为Mii、最大角度为Mai时，关注矢量的大小F（i）能够通过（式1）计算
[数1]
if Mii≤Dk＜Mai fk＝1，else fk＝0， F ( i ) = Σ j = 1 k f j × R j …(式1)
图7表示关注矢量信息存储部20的存储内容。
如图7所示，关注矢量信息存储部20按每个图像，存储位于图像内的关注矢量的“种类”、其“大小”、进行矢量计算时作为占有比例使用的“区域”的图标。
回到图1，继续说明功能块。
赋予条件存储部22存储与标签的赋予有关的条件。具体地说，存储如下的（1）～（5）的条件、和应该与适于各条件的组合对应地赋予的标签的名称。另外，如下的（1）～（5）的条件只是一例，分支的条件等可以适当变更。
（1）关注矢量的大小是否为规定值以上（例如0.10以上）。关注矢量为多个的情况下，若某一关注矢量的大小为规定值以上，则满足条件。
（2）关注矢量的朝向是正面还是非正面。
（3）图像的一定以上的大小的区域的数量为2个以上还是1个。另外，该区域的大小是指与该区域对应的关注矢量的大小，将该关注矢量的大小为一定以上（例如0.15以上）的区域作为有效区域来计数。
例如，在图7的图像A中，与区域1对应的关注矢量1的大小为0.23（≥0.15），所以将区域1作为有效区域。
对此，与图像A的区域2对应的关注矢量2的大小为0.11（＜0.15），所以不将区域2作为有效区域。
在（4）（3）中，2个以上时的对象物的配置是规则的还是不规则的。例如，若2个以上的对象物的大小的偏差为一定的范围内，则配置是规则的。特别地，若对象物的数量为3个以上，则设对象物排列的间隔接近等间隔时是规则的。
（5）有效区域（在图像内的区域中，在（3）中计数为区域的区域）的对象物是人物还是背景。在此，若有效区域的占有比例为1/3以上（约33%以上）则为人物，若低于1/3则为背景。另外，有效区域为多个的情况下，判断将有效区域的占有比例相加得到的值是否为1/3以上。
赋予部24通过将存储在关注矢量信息存储部20中的关注矢量信息与赋予条件存储部20的存储内容对照，对每个图像赋予标签。
另外，赋予部24赋予标签的方法是一般的，可以将图像与表示对该图像赋予的标签的信息建立对应而存储在图像标签存储部30中。不限于此，也可以在各图像的Exif（Exchangeable Image File Format）数据内直接写入标签。
输入I/F部26受理来自键盘3或鼠标4等一般的输入器件的输入。
输出I/F部28使显示器5进行各种显示。
接着，使用图8、图9说明在图像信息处理装置100中对图像赋予标签的动作的流程。另外，图8、图9的各步骤的处理主体基本上是赋予部24。
首先，赋予部24确定赋予对象的图像（S11）。该确定可以由输出I/F部28在显示器5上显示菜单等，由输入I/F部26从用户受理输入而确定。或者，也可以在向图像存储部12追加新的图像时，自动地将该新的图像确定为赋予对象。
确定后，赋予部24从关注矢量信息存储部20取得确定的图像的信息（S12）。例如，若图像A被确定为赋予对象，则取得图像A的关注矢量1、2（参照图7）的信息。
然后，赋予部24判断关注矢量的大小是否为规定值以上（例如0.1以上）（S13）。该步骤S13判断图像中的关注性的有无。
判断为低于规定值时（S13：否），赋予部24对人的对象物数进行计数（S20），若为1以上，则赋予“大街风景”的标签，若为0，则赋予“自然风景”的标签（S21）。
对此，判断为规定值以上时（S13：是），赋予部24判断关注矢量的朝向是正面还是非正面（S14）。
若判断为正面（S14：正面），则赋予部24计数对应的关注矢量的大小为一定以上的区域（有效区域）的数量（S15）。若为2以上（S15：2以上），则判定配置是规则的还是不规则的（S16）。
步骤S17～S19的3个步骤是同样的步骤，赋予部24判断有效区域的占有比例是否为1/3以上。另外，有效区域为2个以上的情况下，以将各个占有比例相加得到的总占有比例作为判断对象。
通常，人被较大地拍摄的图像的占有比例为1/3以上（S17：1/3以上，S18：1/3以上，S19：1/3以上），所以赋予部24赋予肖像系统的标签（S21）。
对此，人被较小地拍摄而背景被较大地拍摄的图像的占有比例为低于1/3（S17：低于1/3，S18：低于1/3，S19：低于1/3），赋予部24赋予地标（landmark）系统的标签（S21）
另外，在步骤S14中判断为非正面时，转移到图9的流程。图9的步骤S23与图8的步骤S15相同，步骤S24与步骤S16相同，步骤S25～S27与步骤S17相同，步骤S28与步骤S21相同，所以省略说明。
接着，参照图10～图11，说明按照图8、图9的流程对图像A～图像D赋予标签的流程。
·图像A（图10（a））
赋予部24从关注矢量信息存储部20取得与图像A对应的关注矢量信息（关注矢量1、2）（S12）。
关注矢量1的大小比"0.23"（图7参照）和"0.10"大，所以步骤S13为“是”。此外，如图6（c）所示，对于关注矢量1、2的朝向成分，朝向正面的VO1，O2和VO3，O4与左朝向的VO5，O6和VO7，O8相比充分大，所以赋予部24将朝向成分判定为正面（S14：正面）。
关于步骤S15的区域的数量，与区域1对应的关注矢量1的大小为"0.23”，与区域2对应的关注矢量2的大小为"0.11"，所以大小"0.15"以上的区域是区域1这1个（S15：1）。即，区域1成为有效区域，区域2成为非有效的区域（无效区域）。
图像A的有效区域仅为区域1，区域1的占有比例低于1/3，所以赋予部24将有效区域的占有比例判断为低于1/3（步骤S19：低于1/3）。
其结果，赋予部24对图像A赋予"地标3"的标签。
·图像B（图10（b））
图像B是并列地拍摄有朝向摄像机的两个人物的图像。
与图像A同样，关注矢量为正面朝向（S14：正面、S15：1），且一定以上的大小的区域的数量为1个。
但是，与图像A不同，图像B的有效区域的大小为1/3以上（S19：1/3以上）。
其结果，赋予部24对图像B赋予"肖像3"的标签。
·图像C（图11（c））
图像C是拍摄有骑自行车的多个人物的图像。
在关注矢量的成分中，特别是“朝向”成分为斜左下方向，所以赋予部24将关注矢量的朝向判断为非正面（S14：非正面）。
此外，赋予部24将有效区域的数量判断为2个（S23：2以上），2个有效区域的大小为同程度，所以判断为配置是规则的（S24：规则的）。
此外，将2个的有效区域的占有比例相加得到的总占有比例为1/3以上（S25：1/3以上），所以赋予部24赋予"人物周边1"的标签。
·图像D（图11（d））
图像D是拍摄有遛狗的人物的图像。
关注矢量的朝向·旋转成分都是斜左下方向，所以赋予部24将关注矢量的朝向判断为非正面（S14：非正面）。
此外，有效区域的数量为1个（S23：1），该有效区域的占有比例低于1/3（S27：低于1/3），所以赋予部24赋予"关注对象3"的标签。
为了让用户能够立即掌握标签的意思，上述的"地标3"等标签也可以与图12所示的别名和图标建立关联。
根据以上说明的本实施方式，基于各图像中的关注矢量，能够对各图像赋予标签。这样的标签在图像的分类、图像的检索利用、或作为用户从标签理解图像的内容的提示是有用的。
（实施方式2）
本实施方式2构成为，综合考虑图像内的对象物的关注矢量，计算图像内的关注度的高低，特别提取关注度较高的区域。
具体地说，基于图像中的关注矢量的朝向和作为该关注矢量计算的基础的区域，在图像内设定推定为对象物所关注的区域（关注区域）。
另外，在本实施方式中，对于具有与实施方式1相同功能的构成赋予相同符号，并省略其说明。
图13是实施方式2的图像信息处理装置11的功能框图。
图像信息处理装置11具备关注度映射计算部32和区域设定部34。
关注度映射制作部32对于图像中包含的每个对象物，生成对应的关注度映射。该关注度映射将关注度表示在图像上，该关注度表示在拍摄图像的状況下被关注的程度。即，关注度较高的地方表示在该图像的摄影状況下被关注的可能性较高。也可以说该图像的摄影者关注的可能性较高。
此外，关注度映射制作部32通过将生成的关注度映射全部相加，生成综合关注度映射。
区域设定部34在上述综合关注度映射中，将关注度为阈值以上的矩形区域设定为关注区域。
接着，说明关注度映射制作部32的关注度的高低的决定方法。如图14的流程所示，关注度映射制作部32从对象物信息存储部18及关注矢量信息存储部20取得需要的信息（S31）。
然后，关注度映射制作部32将图像内的1个对象物设定为映射的制作对象（S32）。
接着，关注度映射制作部32基于设为对象的对象物的对象物信息·关注矢量信息，制作关注度映射（S33）。
进一步说明步骤S33，具有如下的（1）～（3）的流程。
（1）确定设为对象的对象物的关注矢量的方向。
（2）在图像中，以对象物的重心为起点（如果是对象物所占的区域，则起点不限于此），决定确定的方向的余白和与确定的方向相反方向的余白的哪一个更大。
（3）对余白相对于对象物所占的区域较大的一侧，离确定的方向的轴越近则分配越高的关注度。
之所以进行这样的处理，是因为能够推测为，与余白较窄的侧相比，较宽一侧的图像在摄影的状況下被摄影者等关注的可能性较高。例如，在图像A（参照图6（a））中，认为在图像A的近前拍摄的2个人物A、B后面的塔被关注的可能性较高。
更具体地说明基于图像A的身体的对象物O3来在图像A内制作关注度映射的例子。
如图15所示，对象物O3的关注矢量为图像A的下方向。以对象物O3所占的区域为基准，若比较该关注矢量的下方向的余白和上方向的余白，则上方向的余白较大。因此，对于对象物O3所占的区域，对上方向侧设定较高的关注度。
继续说明图14的流程。关注度映射制作部32重复步骤S32、S33的处理，直到没有未制作关注度映射的对象物（S34）。图像A（参照图6）的情况下，存在O1～O8的8个对象物，所以关注度映射制作部32重复8次步骤S32、S33，制作8个关注度映射。
然后，关注度映射制作部32将全部关注度映射相加，从而计算综合关注度映射（S35）。图16（a）表示与图像A的人物A、B（O1～O4）对应的关注度映射，图16（b）表示与图像A的人物C、D（O5～O8）对应的关注度映射。人物C、D的对象物O5～O8的大小较小，所以图16（b）的关注度映射与图16（a）相比，成为关注度的值较低的分布。
计算后，区域设定部34在综合关注度映射中，将阈值TH以上的区域设定为关注区域（作为关注区域提取）（S36）。
使用图像A的例子说明该设定，关注度映射制作部32通过将图16（a）、图16（b）的关注度映射相加，制作图17（a）所示的综合关注度映射。区域A是存在关注度的区域。如图17（b）所示，区域设定部34在该区域A中，也将包围阈值TH以上的区域的矩形区域B设定为关注区域。
图18表示图像D（参照图11（d））的综合关注度映射和作为关注区域的区域C。
如上所述，根据本实施方式，能够在图像内设定关注区域，该关注区域表示在该图像的摄影状況下被关注的可能性较高。
以上简单说明了由关注度映射制作部32进行映射制作的考虑方法，可以使用下式进行更严密的计算。
即，基本上，根据对象物的大小及方向、以及与该方向的距离来计算关注度的高低。另外，有关注性且为正面朝向的情况下，难以从面部推定图像内的关注方向，所以主要使用人体的方向来计算关注度。
设对象物数为N、对象物号码为K、人体的大小为hhK、与人体的方向的垂直距离为hdK、用于进行图像尺寸的标准化及区域尺寸的加权的常数为hwK时，第i个关注矢量的关注度映射Fh（i）通过（式2）计算。
[数2] Fh ( i ) = Σ k = 1 N ( hw k × hh k × ( 1 / hd k ) ) …(式2)
但是，在从对象区域观察图像整体的区域时，设仅在非对象物区域为最大的方向上有效。
此外，在hdK的计算中，将人体的朝向和旋转方向合成，变换为2维图像内的方向。
此外，有关注性且为非正面朝向的情况下，能够主要从面部推定图像内的关注方向，所以主要使用面部的方向来计算关注度。
设面部的对象物数为Q、对象物号码为P、面部的大小为fhP、与面部的方向的垂直距离为fdP、用于进行图像尺寸的标准化及区域尺寸的加权的常数为fwP时，第j个关注矢量的关注度映射Ff（j）通过（式3）计算。
[数3] Ff ( j ) = Σ p = 1 Q ( fw p × fh p × ( 1 / fd p ) ) …(式3)
此外，对象物是从同一人物得到的面部和人体的情况下，设对于面部的关注度的权重为cw1、对于人体的权重为cw2并融合的人物X的关注度映射Fa（x）通过（式4）计算。
[数4]
Fa(x)＝cw1×Ff(j)+cw2×Fh(i)…(式4)
另外，仅说明了作为对象物而利用人物、特别是面部和人体的检测信息的情况，但是作为能够检测的信息，例如也可以利用狗或猫等的宠物或一般物体识别，只要是能够可靠性较高地检测的物体，都可以作为对象物信息来利用。关于关注度映射的计算，还可以想到按照对象物的每个种类改变权重而利用，或按照图像的每个构成种类改变其利用的对象物的种类及权重的值。
此外，有关注性且为正面朝向、并且有效区域被作为对象物的人占有的情况下，即中心占有区域为1/3以上的情况下，判断为在图像内没有要计算的关注区域，不进行关注度的计算。
关注区域有多种用途，可以举出如下的（1）～（3）。
（1）使关注区域（及关注度映射）可视化，作为用户选择区域时的辅助信息来利用。
（2）仅提取关注区域的图像，应用于缩略图化的编辑用途。
（3）将关注区域设定为特征量（例如边缘信息、构造、亮度及颜色信息等）的提取对象，使用提取的特征量来赋予更适当的标签。例如，如果从关注区域内较多提取了绿色成分，则赋予“绿色”这样的标签，或赋予与绿色亲和性较高的自然风景系统的标签。此外，例如，若从图像A的关注区域、即区域B提取了“塔”这样的建筑物，则能够将“塔”作为标签来赋予。
（实施方式3）
实施方式3不仅考虑摄影状況中的对象物的关注程度，还考虑对摄影的图像进行阅览时的信息（例如显著性映射），从而能够赋予更适当的标签。
实施方式3的图像信息处理装置100如图19所示，具备：显著性映射制作部36、视场深度映射制作部38、检测内容判定部40、综合关心度映射制作部42。其他功能块与图13相同，所以省略说明。
显著性映射制作部36制作显著性映射（Saliency Maps），该显著性映射表示，在图像中，哪些部分引人注意，哪些部分不引人注意，也就是表示人的视觉注意的强弱。
该制作的手法为，基于输入图像的亮度成分（intensity）、颜色成分（colors）及方向成分（orientations）来进行规定的运算而制作。更详细地说，可以采用非专利文献2[Itti L,Koch C,Niebur E著，《A model ofsaliency-based visual attention for rapid scene analysis》，IEEE，1998年（Vol.20,No.11,pp.1254-1259）]等记载的一般技术，故省略说明。
视场深度映射制作部38制作视场深度映射，该视场深度映射表示，在图像中，哪些部分的视场深度较深，哪些部分的视场深度较浅，即表示视场深度的深浅。
检测内容判定部40根据对象物信息存储部18、或关注矢量信息存储部20中的“种类”（参照图7）、或由关注度映射制作部32制作的综合关注度映射的值，判定应检测的内容。
作为判定的例子，肖像类的图像以人物为中心进行标签赋予，所以不进行检测。此外，在地标类的图像中，在人物的近前存在关注区域的情况下，或在背景中存在物体类的情况下，以建筑物类为中心进行检索。在人物周边类的图像中，以人物为中心，重点检索人所携带的或保持的物体类。在关注对象类的图像中，判定在关注区域的内部是否存在物体。
在本实施方式3中，制作将实施方式2中说明的综合关注度映射和显著性映射（或视场深度）相乘得到的综合关注度映射，基于综合关注度映射来设定区域（综合关心区域）。
参照图20来说明处理的流程。
首先，检测内容判定部40根据图像的综合关注度映射，对检测内容进行判定（S41）。
接着，显著性映射制作部36制作显著性映射（S42）。
综合关心度映射制作部42将由关注度映射制作部32制作的综合关注度映射和显著性映射相乘，从而制作综合关心度映射（S43）。
然后，区域设定部34在综合关心度映射中，将阈值以上的区域设定（提取）为综合关心区域（S44）。
使用图像A的例子说明这一系列处理的流程。
图21是由显著性映射制作部36制作的图像A的显著性映射。4个人物A～D所存在的矩形区域、与存在于人物C、D的背后的2片云对应的区域、与存在于人物A、B的背后的塔对应的区域等显著性变高。
图22表示综合关心度映射制作部42通过将图21的显著性映射和图17（a）的综合关注度映射相乘而制作的综合关心度映射。
在图21的显著性映射中，人物A、B的背后的塔的显著性较高，而且在图17（a）的综合关注度映射中，人物A、B的背后的关注度也较高，所以在图22的综合关心度映射中，塔附近的区域也成为特别高的综合关心度。
区域设定部34将包含综合关心度为阈值Ta以上的区域的矩形区域D设定为综合关心区域。
根据以上说明的实施方式3，能够使用显著性映射来设定更妥当的区域，该显著性映射表示人在看图像时容易关注的部分。
例如在图22中，区域D（综合关心区域）刚好是包围塔的位置，所以若将区域D作为各种特征量的提取对象，则能够检测塔，能够赋予与塔有关的标签。
另外，在图20的步骤S42、S43中，也可以不使用显著性映射，而使用视场深度映射。在视场深度中，常常反映了图像的摄影意图（如何对焦等），所以能够期待更适当的区域设定。
或者，也可以像综合关注度映射×显著性映射×视场深度映射这样，将3种映射组合而计算综合关心度映射。
此外，检测内容判定部40所判定的图像的种类，可以改变用于每个种类的视觉特性信息或摄影者意图信息的种类，或对每个种类进行加权。
另外，显著性映射只要是将人的视觉注意性数式模型化的手法，不限于上述说明的类型的显著性映射。
（实施方式4）
实施方式4在图像内存在大量对象物的情况下，分选为重要的对象物（包含该对象物的区域）和次要的对象物（包含该对象物的区域），将次要的对象物看做噪声，不考虑标签的赋予。
由此，能够缩小标签赋予所使用的对象物的范围，减轻处理符合，或实现妥当的标签的赋予。
图23是图像信息处理装置102的功能框图。对于与图1相同的功能块，赋予同一符号并省略说明。
图像信息处理装置102具备分选部44。
分选部44将图像内的大量对象物分选为上述的重要的对象物和次要的对象物。
分选的手法有如下2种。
（1）手法1：从多个人物中仅将一部分人物分选为重要的对象物。
（2）手法2：将多个人物中的一部分人物分组，将分组后的人物分选为重要的对象物。
首先说明手法1。
如图24（a）所示，图像P是拍摄有10名人物a～人物j的图像。图中所示的实线箭头是与各人物对应的关注矢量。
该图像P是在人较多的大街上摄影的，所以不仅拍摄有人物a～人物b，还拍摄有人物c～人物j。
分选部44在人物a～人物j中仅分选可靠性较高的人物。
该可靠性基于作为人物提取时的匹配精度和该人物的区域的占有比例的大小来决定。
其结果，如图24（b）所示，能够将人物a、人物b这2名作为成为标签赋予的基础的对象物。
接下来说明手法2。
手法2将多个人物中的一部分人物分组，将分组后的人物分选为重要的对象物。
如图25所示，分选部44判定在图像内是否存在多个人物的区域（S51）。
如果存在多个（S51：是），则计算部16计算各人物的关注矢量（S52）。
然后，分选部44根据计算出的多个关注矢量的朝向来检测多边形，将构成多边形的人物（包含人物的区域）分组（S53）。
最后，分选部44将分组后的人物分选为重要的对象物（S54）。
在此，使用图26说明步骤S53的处理的例子。
图26（a）的图像K是从左侧起拍摄有人物P、Q、R、S的4个人物的图像。
图26（b）是表示设想为从正上方观察图像K时的4个关注矢量的图。分选部44基于各关注矢量的朝向和大小，通过人物P、R、S的关注矢量检测三角形，将构成该三角形的人物P、R、S的3名分组。然后，分选部44将人物P、R、S的3名分选为重要的对象物，将人物Q分选为次要的对象物。
作为手法2的变形例，也可以基于对象物的关注矢量的类似性来分组。
例如，如图27所示，也可以将关注矢量都为正面朝向的人物A、人物B的2名分组，并将关注矢量都为左朝向的人物C、人物D的2名分组。
（实施方式5）
实施方式5从图像中提取多个线段，在提取的多个线段所收敛的方向上设定收敛区域。设定的收敛区域与实施方式2的关注区域同样，能够用于各种用途。
图28是图像信息处理装置104的功能框图。对于与图1相同的功能块赋予相同符号，并省略说明。
边缘提取部46将图像的浓淡急剧变化的部位作为边缘提取。该提取的边缘可能是圆、曲线及线段等任意的2维形状。
区域设定部48在从图像提取的多个线段所收敛的方向侧设定收敛区域。
图29是表示由区域设定部48进行区域设定处理的流程的流程图。
首先，区域设定部48从边缘提取部46取得图像的线段（S61）。
然后，区域设定部48判定在取得的线段中是否有一定的收敛性（S62）。该收敛性是指，将各线段延长后的直线集中到一定的位置（是否收敛）。
如果有收敛性（S62：是），则区域设定部48设定收敛方向目标或收敛方向所存在的区域（作为收敛区域提取）（S63）。
例如，如图30（a）所示，在拍摄有凯旋门的图像L中，如图30（b）所示，存在将在道路中划出的划分线和从巴士提取的线段分别延长的轴（直线）。
然后，该多个轴收敛到一定的位置（集中到一定的位置，在该位置很多轴彼此交差）。
区域设定部48以包围该位置的方式设定区域E。
另外，在步骤S62中，也可以在取得的线段的中，使用主要的线段来进行判定。
实施方式5可以想到以下的变形例（1）～（4）。
（1）区域的设定所使用的2维形状不限于线段。
例如，在将确定的物体较大地摄影的情况下，提取椭圆型的边缘特征量。这时，区域设定部48可以将该椭圆内的封闭区域作为区域设定的对象。
（2）还可以想到将上述收敛区域和实施方式2中说明的关注区域组合利用等。
此外，也可以将构成一个图像的多个要素，利用其收敛方向性的不同而分类为不同的种类。
（3）说明了由边缘提取部46提取线段等2维形状，但是2维形状的提取方法不限于使用边缘的手法，也可以利用其他一般的手法。
（4）只要是图像的特征量，则不限于边缘的成分，也可以使用构造、亮度、颜色信息等来设定收敛区域。
（实施方式6）
在实施方式6中，对于赋予了标签的图像，分别设定更详细的目录。设定的目录能够用于各个图像的分析、评价及图像检索。
使用图32进行说明。
（1）对于人中心的标签（肖像、人物周边）的图像，对象物提取部14以图像为对象执行人识别处理（例如从图像提取面部区域并进行面部识别的处理等），并确认在图像中拍摄的人。
然后，计算部16计算确定的人的种类（人目录的种类）和每个种类的出现频度，赋予部24将计算结果设定为目录。
（2）对于背景强调的标签（地标、关注对象）的图像，计算部16计算关注区域及其程度（包括区域的大小和关注的大小的浓淡等）。
此外，对象物提取部14以关注区域内为对象进行物体识别，赋予部16将表示识别到的物体的有无及其种类的信息设定为目录。
（3）对于无人的标签（大街风景、自然风景）的图像，赋予部16将表示风景的种类、每个种类的出现频度、物体识别的结果的信息设定为目录。
（实施方式7）
实施方式7对以赋予了标签的图像群（参照图33）为对象的相册或幻灯片的生成进行支援。
如图34所示，图像信息处理装置106具备模板存储部52及生成部54。其他功能块与图1的图像信息处理装置10相同，所以省略说明。
生成部54使用存储在模板存储部52中的与相册或幻灯片有关的模板，生成相册及幻灯片。
（1）相册的生成
如图35（a）所示，模板存储部52存储有相册的布局52a和表52b。
布局52a表示从帧a到帧e的5个帧的配置。表52b表示布局52a内的帧与标签的对应。
生成部54基于布局52a和表52b，插入1张被赋予了与各帧对应的标签的图像，由此生成相册。图35（b）表示生成的相册的例子。
另外，如图33所示，存在多张被赋予了同一标签的图像的情况下，从中选择1张。选择的方法可以基于来自用户的受理来进行，也可以基于对每个图像设定的目录（参照实施方式6），计算各个图像的得分，自动选择例如最高得分的图像。
这样，根据本实施方式，能够对相册的生成进行支援。特别是，该生成利用对图像赋予的标签，所以能够制作将人物、风景及地标等平衡良好地配置的相册。
另外，也可以是，在模板存储部52中准备多种相册用的模板，由生成部54自动从中自动选择与将要插入到相册的帧中的图像的标签的种类对应的模板（或者向用户推荐选择）。
例如，将要插入到帧中的图像的标签为“自然风景”“大街风景”的情况下，生成部54从存储在模板存储部52中的多种模板中选择风景用的模板。
此外，也可以由生成部54根据将要插入的图像的标签来设定帧自身及其周边的装饰。与这些装饰有关的信息也可以包含在上述相册用的模板中。
作为帧自身的装饰，可以想到帧框的大小、形状及框的装饰等。
作为帧的周边的装饰，可以想到标签的名称、表示标签的种类的记号及表示标签的图标等。
例如，也可以是，将要插入到图35（a）的帧c中的图像的标签为“肖像”，所以生成部54在制作相册时，将帧c的形状与肖像画相配合地设定为椭圆形，将帧c的框设定为肖像画用的画框，或在帧c的周边显示作为标签的名称的“肖像”等字符串。
（2）幻灯片的生成
生成部54利用图像内的人物的区域及关注区域来生成幻灯片。
图36表示该例。在图36的幻灯片中设定有动作模式，例如将图像D的人物的区域或关注区域缩放、或从人物的区域向关注区域拖动。
这样，利用人物的区域和关注区域，有助于容易地设定动作模式。
作为该动作模式，不限于在图36中说明的例子，可以设定在一般的幻灯片制作应用程序或展示应用程序等中使用的各种模式。
另外，上述“动作模式”有时被称为“动画”或“视觉效果”。
此外，在模板存储部52中准备多种幻灯片用的模板，由生成部54从中自动选择与作为幻灯片使用的图像的标签的种类对应的模板（或向用户推荐选择）。
例如，图像D的标签为“关注对象3”（单独关注照片），适于向关注对象的拖动/滑动或缩放的动作模式。因此，生成部54从存储在模板存储部52中的多种的模板中选择包含拖动/滑动或缩放的幻灯片用的模板。
＜补充1＞
以上说明了本实施方式，但本发明不限于上述内容，在用于达成本发明的目的及与其关联或附随的目的的各种方式中都能够实施，例如可以是以下构成。
（1）对象物信息存储部18和关注矢量信息存储部20中的“种类”的图标可以如下利用。
例如，在正面朝向的图像的情况下，身体的朝向通常间接地表示关注对象，所以可以重视人体的关注矢量。
或者，在非正面朝向的情况下，通常在面部关注的方向上存在对象，所以可以重视面部的关注矢量并利用矢量值。
（2）可以从图像提取图像的基本属性信息，使用提取的属性信息来赋予标签。
作为属性信息，例如有EXIF（Exchangeable Image File Format）信息。能够利用由该EXIF规定的摄影日期时间或GPS（Global PositioningSystem）信息、摄影模式信息、各种摄影时的摄像机参数等信息。
例如，也可以是，若根据GPS的纬度经度推定出摄影位置为山里，则为了更容易赋予自然风景的标签，变更赋予部24的赋予条件。
此外，也可以是提取边缘、颜色、构造等图像的基本低次特征量的构成。
（3）在制作实施方式2的综合关注度映射和实施方式3的综合关心度映射时，也可以使用表示图像的变化特性的基本特征量或在摄影时能够取得的摄像机参数信息。
在此，“表示图像的变化特性的基本特征量”是指图像的亮度信息、颜色信息、方向信息、边缘信息、构造信息，“摄像机参数信息”是指对焦区域信息、视场深度信息、日期时间信息、位置信息、快门速度、感度、白平衡或闪光灯信息等。
例如，若日期时间信息所示的时间带为夜间，则能够赋予与夜间亲和性较高的标签（例如夜景、聚会、焰火等）。
（4）也可以是，在由赋予部24赋予标签之前，从图像提取特征量，使用该特征量进行与现有的模型数据的匹配处理，进行输入数据与哪个模型适合的判定处理。作为现有的模型数据，可以想到狗、猫、汽车等一般物体，或海、山等风景场景。
然后，利用被判定为适于该判定处理的模型，由赋予部24赋予标签。
（5）在各实施方式中，将图3、图6、图10、图11等各种区域作为矩形区域进行了说明，但是区域的形状不限于矩形，也可以是圆形、椭圆形或多边形。此外，只要未特别限定形状，也可以以图像的像素单位来设定区域。
（6）在各实施方式中，如图8的步骤S21所示，赋予部24对1张图像赋予1个标签，但是也可以对1张图像赋予多个标签。
（7）在各实施方式中，作为提取对象的对象物是人，但不限于此。例如，也可以是狗、猫等宠物（生物体），或草花、建筑物、汽车等物体。即，作为提取的对象，只要是能够维持一定程度的精度而检测的物体，都可以作为提取对象。
关于这样的物体的提取，可以利用使用了表示物体的形状特征的HOG（Histogram of Oriented Gradient）等的方法。
此外，还可以使用从边缘、颜色、构造等低次特征量以特征性的点为中心表示区域特征量的特征量描述符、即SIFT（Scale-Invariant Feature Transform）等特征量描述符。关于该SIFT，在参考文献1（藤吉弘亘著《基于Gradi ent的特征提取-SIFT和HOG-》，信息处理学会研究报告CVIM160,pp.211-224,2007）中有详细记载。
（8）在各实施方式中，在图6（c）的关注矢量1、2的朝向成分中，在步骤S14的判断时，说明了不考虑大小较小的VO5，O6和VO7，O8的矢量的情况，但是也可以将2个面部的矢量（VO5，O6和VO1，O2）合成，并判定合成的矢量是否为正面朝向。总之，在图像内存在多个矢量的成分的情况下，将各种成分综合而计算图像整体的矢量即可。
（9）图1等的各功能块可以是作为集成电路的LSI。可以将它们单独1芯片化，也可以包含一部分或全部地1芯片化。在此称作了LSI，但是根据集成度的不同，有时也称为IC、系统LSI、超级LSI、特级LSI。此外，集成电路化的手法不限于LSI，也可以通过专用电路或通用处理器来实现。在LSI制造后，可以利用可编程的FPGA（Field Programmable Gate Array）或能够将LSI内部的电路单元的连接或设定再构筑的可重构处理器。此外，通过半导体技术的进步或派生的其他技术，如果出现了替代LSI的集成电路化的技术，当然可以利用该技术来进行功能块的集成化。
（10）还可以将控制程序记录在记录介质中或经由各种通信路流通并发布，该控制程序由程序代码构成，该程序代码使各种信息处理装置的处理器及与该处理器连接的各种电路执行实施方式所示的动作等。
在这样的记录介质中，有IC卡、硬盘、光盘、软盘、ROM等的非暂时性（not-transitory）记录介质。
流通并发布的控制程序保存在能够由处理器读出的存储器等中以供利用，通过由该处理器执行该控制程序，能够实现实施方式所示的各种功能。
＜补充2＞
本实施方式包括以下方式。
（1）实施方式的图像信息处理装置，其特征在于，具备：提取单元，从图像提取对象物；计算单元，计算提取的对象物所朝向的方向；以及赋予单元，根据计算出的方向，对所述图像赋予标签。
（2）也可以是，所述计算单元计算所述提取的对象物在所述图像内所占的比例的大小，所述赋予单元基于计算出的方向或大小，对所述图像赋予标签。
根据该构成，赋予单元基于计算出的方向或计算出的大小，对图像赋予标签。因此，能够根据计算出的大小来赋予标签。
（3）也可以是，所述提取单元从所述图像将包含人物的面部或人物的身体的区域作为所述对象物提取，所述计算单元基于提取的区域中的人物的面部或身体的朝向或旋转方向，计算所述方向，并且基于所述提取的区域中的人物的面部或身体在所述图像内所占的比例，计算所述大小。
（4）也可以是，所述提取单元从所述图像提取多个对象物，所述计算单元对于提取的各个对象物，计算由该对象物关注的方向和在所述图像内所占的比例的大小构成的矢量，将计算出的多个矢量综合，计算所述图像整体的矢量，所述赋予单元基于计算出的所述图像整体的矢量的方向或大小，对所述图像赋予标签。
（5）也可以是，所述赋予单元，若所述图像整体的矢量的方向为正面，则赋予表示肖像的第1标签，若不是正面，则赋予与所述第1标签不同的第2标签。
根据该构成，根据图像整体的矢量的方向，能够赋予表示肖像的第1标签或于第1标签不同的第2标签。
（6）也可以是，所述赋予单元，若所述图像整体的矢量的大小比规定值大，则赋予表示关注人物的标签，若为规定值以下，则赋予表示关注背景的标签。
（7）也可以是，所述提取单元从所述图像提取多个对象物，所述提取单元从所述图像将包含面部和身体的人物的区域作为所述对象物提取，所述赋予单元根据由提取单元提取的对象物的数量是单数还是多个，使赋予的标签不同。
（8）也可以是，具备：制作单元，基于所述计算出的方向和大小，在所述图像上制作表示所述对象物所关注的程度的高低的第1映射；以及设定单元，在制作的第1映射中，设定包含所述程度为规定值以上的位置的区域。
（9）也可以是，所述制作单元制作表示所述图像中的人的视觉注意的程度的高低的第2映射，在制作后，制作表示将所述第1映射中的所述关注的程度的高低和所述第2映射中的所述视觉注意的程度的高低综合后的程度的综合映射，所述设定单元设定包含制作的综合映射中的程度为规定值以上的位置的区域。
（10）也可以是，所述第2映射是基于所述图像的颜色、亮度及方向性的显著性映射。
（11）也可以是，所述制作单元制作表示所述图像中的视场深度的深浅的第3映射，在制作后，制作表示将所述第1映射中的所述关注的程度的高低和所述第3映射中的所述视场深度的深浅综合后的程度的综合映射，所述设定单元设定包含制作的综合映射中的程度为规定值以上的位置的区域。
（12）也可以是，所述提取单元从所述图像中将分别包含人物的多个区域作为所述对象物提取，该图像信息处理装置具备分选单元，该分选单元在提取的多个区域中，将一部分区域分选为用于标签的赋予的区域，所述赋予单元基于在所述一部分区域中人物所朝向的方向或人物在图像内所占的比例来赋予标签。
（13）也可以是，所述分选单元基于提取的多个区域各自的人物所朝向的方向，从多个区域中将2以上的区域分组，将构成组的区域分选为所述一部分区域。
（14）也可以是，所述提取单元从所述图像提取多个线段，该图像信息处理装置具备设定单元，对所述图像在提取的多个线段所收敛的方向上设定区域。
（15）也可以是，所述设定单元规定将提取的多个线段分别延长的多个轴，以包围该多个轴所交叉的位置的方式设定所述区域。
（16）一种标签赋予方法，包括以下步骤：提取步骤，从图像提取对象物；计算步骤，计算提取的对象物所朝向的方向；以及赋予步骤，根据计算出的方向，对所述图像赋予标签。
（17）一种程序，使计算机执行以下步骤：提取步骤，从图像提取对象物；计算步骤，计算提取的对象物所朝向的方向；以及赋予步骤，根据计算出的方向，对所述图像赋予标签。
（18）一种集成电路，具备：提取单元，从图像提取对象物；计算单元，计算提取的对象物所朝向的方向；以及赋予单元，根据计算出的方向，对对所述图像赋予标签。
＜参考文献＞
（1）参考文献1
藤吉弘亘著《基于Gradient的特征提取-SIFT和HOG-》,信息处理学会研究报告CVIM160,pp.211-224,2007
工业实用性
本发明的图像信息处理装置能够对图像赋予分类用的标签，所以是有用的。
符号说明
10，100，102，104，106图像信息处理装置
12图像存储部
14对象物提取部
16计算部
18对象物信息存储部
20关注矢量信息存储部
22赋予条件存储部
24赋予部
32关注度映射制作部
34区域设定部
36显著性映射制作部
38视场深度映射制作部
40检测内容判定部
42综合关心度映射制作部
44分选部
46边缘提取部
48区域设定部

Claims (13)

1.一种图像信息处理装置，其特征在于，具备：
提取单元，从图像提取多个对象物；
计算单元，对于提取的各个对象物，计算由该对象物关注的方向和在所述图像内所占的比例的大小构成的矢量，将计算出的多个矢量合成，计算关注矢量，该关注矢量表示所述图像被摄像的状况下的该图像整体的关注性；以及
赋予单元，基于所述关注矢量的朝向及大小，对所述图像赋予表示该图像的分类的标签。
2.如权利要求1所述的图像信息处理装置，其特征在于，
所述赋予单元，若所述图像整体的关注矢量的方向为正面，则赋予表示肖像的第1标签，若不是正面，则赋予与所述第1标签不同的第2标签。
3.如权利要求1所述的图像信息处理装置，其特征在于，
所述赋予单元，若所述图像整体的关注矢量的大小比规定值大，则赋予表示关注人物的标签，若为规定值以下，则赋予表示关注背景的标签。
4.如权利要求1所述的图像信息处理装置，其特征在于，
所述提取单元从所述图像提取多个对象物，
所述提取单元从所述图像将包含面部和身体的人物的区域作为所述对象物提取，
所述赋予单元根据由提取单元提取的对象物的数量是单数还是多个，使赋予的标签不同。
5.如权利要求1所述的图像信息处理装置，其特征在于，具备：
制作单元，基于所述计算出的关注矢量的方向和大小，在所述图像上制作第1映射，该第1映射表示在所述图像被摄影的状况下，所述对象物被关注的程度的高低；以及
设定单元，在制作的第1映射中，设定包含所述程度为规定值以上的位置的区域。
6.如权利要求5所述的图像信息处理装置，其特征在于，
所述制作单元制作表示所述图像中的人的视觉注意的程度的高低的第2映射，在制作后，制作综合映射，该综合映射表示将所述第1映射中的所述被关注的程度的高低和所述第2映射中的所述视觉注意的程度的高低综合后的程度，
所述设定单元设定包含制作的综合映射中的程度为规定值以上的位置的区域。
7.如权利要求6所述的图像信息处理装置，其特征在于，
所述第2映射是基于所述图像的颜色、亮度及方向性的显著性映射。
8.如权利要求5所述的图像信息处理装置，其特征在于，
所述制作单元制作表示所述图像中的视场深度的深浅的第3映射，在制作后，制作综合映射，该综合映射表示将所述第1映射中的所述关注的程度的高低和所述第3映射中的所述视场深度的深浅综合后的程度，
所述设定单元设定包含制作的综合映射中的程度为规定值以上的位置的区域。
9.如权利要求1所述的图像信息处理装置，其特征在于，
所述提取单元从所述图像中将分别包含人物的多个区域作为所述对象物提取，
该图像信息处理装置具备分选单元，该分选单元在提取的多个区域中，将一部分区域分选为用于标签的赋予的区域，
所述赋予单元基于在所述一部分区域中人物所朝向的方向或人物在图像内所占的比例来赋予标签。
10.如权利要求9所述的图像信息处理装置，其特征在于，
所述分选单元基于提取的多个区域各自的人物所朝向的方向，从多个区域中将2以上的区域分组，将构成组的区域分选为所述一部分区域。
11.如权利要求5所述的图像信息处理装置，其特征在于，
所述提取单元从所述图像提取多个线段，
所述设定单元还对所述图像在提取的多个线段所收敛的方向上设定区域。
12.如权利要求11所述的图像信息处理装置，其特征在于，
所述设定单元规定将提取的多个线段分别延长的多个轴，以包围该多个轴所交叉的位置的方式设定所述区域。
13.一种标签赋予方法，其特征在于，包括以下步骤：
提取步骤，从图像提取多个对象物；
计算步骤，对于提取的各个对象物，计算由该对象物关注的方向和在所述图像内所占的比例的大小构成的矢量，将计算出的多个矢量合成，计算关注矢量，该关注矢量表示所述图像被摄像的状况下的该图像整体的关注性；以及
赋予步骤，基于所述关注矢量的朝向及大小，对所述图像赋予表示该图像的分类的标签。
CN201180025428.6A 2010-05-26 2011-04-15 图像信息处理装置 Active CN102906790B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010120613 2010-05-26
JP2010-120613 2010-05-26
PCT/JP2011/002235 WO2011148562A1 (ja) 2010-05-26 2011-04-15 画像情報処理装置

Publications (2)

Publication Number Publication Date
CN102906790A CN102906790A (zh) 2013-01-30
CN102906790B true CN102906790B (zh) 2015-10-07

Family

ID=45003563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180025428.6A Active CN102906790B (zh) 2010-05-26 2011-04-15 图像信息处理装置

Country Status (4)

Country Link
US (1) US8908976B2 (zh)
JP (1) JP5837484B2 (zh)
CN (1) CN102906790B (zh)
WO (1) WO2011148562A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5389724B2 (ja) * 2010-03-31 2014-01-15 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US8908976B2 (en) * 2010-05-26 2014-12-09 Panasonic Intellectual Property Corporation Of America Image information processing apparatus
TWI459310B (zh) * 2011-12-30 2014-11-01 Altek Corp 可簡化影像特徵值組之影像擷取裝置及其控制方法
JP6178048B2 (ja) * 2012-06-06 2017-08-09 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
CN104284055A (zh) * 2013-07-01 2015-01-14 索尼公司 图像处理方法、装置以及电子设备
JP6271917B2 (ja) * 2013-09-06 2018-01-31 キヤノン株式会社 画像記録装置及び撮像装置
US20150154466A1 (en) * 2013-11-29 2015-06-04 Htc Corporation Mobile device and image processing method thereof
CN104899820B (zh) * 2014-03-11 2018-11-20 腾讯科技（北京）有限公司 为图像添加标签的方法、系统和装置
US9773156B2 (en) * 2014-04-29 2017-09-26 Microsoft Technology Licensing, Llc Grouping and ranking images based on facial recognition data
CN105096299B (zh) * 2014-05-08 2019-02-26 北京大学 多边形检测方法和多边形检测装置
KR102330322B1 (ko) * 2014-09-16 2021-11-24 삼성전자주식회사 영상 특징 추출 방법 및 장치
CN105808542B (zh) * 2014-12-29 2019-12-24 联想(北京)有限公司 信息处理方法以及信息处理装置
JP2016191845A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN105306678A (zh) * 2015-09-14 2016-02-03 联想(北京)有限公司 一种信息处理方法及电子设备
CN108229519B (zh) * 2017-02-17 2020-09-04 北京市商汤科技开发有限公司 图像分类的方法、装置及系统
CN107343189B (zh) * 2017-07-10 2019-06-21 Oppo广东移动通信有限公司 白平衡处理方法和装置
CN107392982A (zh) * 2017-07-27 2017-11-24 深圳章鱼信息科技有限公司 在线设计方法、装置及系统
US10984536B2 (en) * 2018-01-25 2021-04-20 Emza Visual Sense Ltd Motion detection in digital images and a communication method of the results thereof
CN108399381B (zh) * 2018-02-12 2020-10-30 北京市商汤科技开发有限公司 行人再识别方法、装置、电子设备和存储介质
JP6769475B2 (ja) 2018-12-04 2020-10-14 日本電気株式会社 情報処理システム、認証対象の管理方法、及びプログラム
US11373407B2 (en) * 2019-10-25 2022-06-28 International Business Machines Corporation Attention generation
US11450021B2 (en) * 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus
US11790665B2 (en) * 2021-04-29 2023-10-17 Hitachi Astemo, Ltd. Data driven dynamically reconfigured disparity map

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1223551A2 (en) * 2000-12-07 2002-07-17 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
CN1908936A (zh) * 2005-08-05 2007-02-07 索尼株式会社 图像处理装置、方法和程序

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087815A (ja) 2001-09-06 2003-03-20 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4334898B2 (ja) * 2003-03-26 2009-09-30 シャープ株式会社 データベース構築装置、データベース構築プログラム、画像検索装置、画像検索プログラム、及び画像記録再生装置
US8593542B2 (en) * 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US20070201749A1 (en) 2005-02-07 2007-08-30 Masaki Yamauchi Image Processing Device And Image Processing Method
JP4748656B2 (ja) * 2005-06-14 2011-08-17 キヤノン株式会社 画像管理装置及びその制御方法、並びにプログラム及び記憶媒体
US8369570B2 (en) * 2005-09-28 2013-02-05 Facedouble, Inc. Method and system for tagging an image of an individual in a plurality of photos
US8265349B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Intra-mode region-of-interest video object segmentation
US8027541B2 (en) * 2007-03-15 2011-09-27 Microsoft Corporation Image organization based on image content
JP4798042B2 (ja) 2007-03-29 2011-10-19 オムロン株式会社 顔検出装置、顔検出方法及び顔検出プログラム
JP4983643B2 (ja) 2008-02-22 2012-07-25 株式会社ニコン 撮像装置及び補正プログラム
JP2009290255A (ja) 2008-05-27 2009-12-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US8477207B2 (en) 2008-06-06 2013-07-02 Sony Corporation Image capturing apparatus, image capturing method, and computer program
JP5251547B2 (ja) 2008-06-06 2013-07-31 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP5093031B2 (ja) 2008-09-29 2012-12-05 カシオ計算機株式会社 撮像装置及びプログラム
JP4849163B2 (ja) 2009-09-29 2012-01-11 ソニー株式会社 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP4968346B2 (ja) 2010-01-20 2012-07-04 カシオ計算機株式会社 撮像装置、画像検出装置及びプログラム
US8908976B2 (en) * 2010-05-26 2014-12-09 Panasonic Intellectual Property Corporation Of America Image information processing apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1223551A2 (en) * 2000-12-07 2002-07-17 Eastman Kodak Company Doubleprint photofinishing service with the second print having subject content-based modifications
CN1908936A (zh) * 2005-08-05 2007-02-07 索尼株式会社 图像处理装置、方法和程序

Also Published As

Publication number Publication date
US8908976B2 (en) 2014-12-09
US20130058579A1 (en) 2013-03-07
JP5837484B2 (ja) 2015-12-24
JPWO2011148562A1 (ja) 2013-07-25
CN102906790A (zh) 2013-01-30
WO2011148562A1 (ja) 2011-12-01

Similar Documents

Publication Publication Date Title
CN102906790B (zh) 图像信息处理装置
CN105830092B (zh) 用于数字合成及/或检索的系统、方法及设备
US20200184251A1 (en) System and method for creating navigable views
US10277836B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
JP5934653B2 (ja) 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置
US10134165B2 (en) Image distractor detection and processing
TWI338265B (en) System, apparatus, method and program for processing image
US9025872B2 (en) Image processing device, image processing method, program, and integrated circuit
Su et al. Preference-aware view recommendation system for scenic photos based on bag-of-aesthetics-preserving features
Tian et al. Salient region detection by fusing bottom-up and top-down features extracted from a single image
CN107836109A (zh) 电子设备自动聚焦于感兴趣区域的方法
Zhang et al. Efficient pedestrian detection via rectangular features based on a statistical shape model
US9058655B2 (en) Region of interest based image registration
Lee et al. Photographic composition classification and dominant geometric element detection for outdoor scenes
JP2010267180A (ja) 画像処理装置、電子機器、及びプログラム
CN108363771B (zh) 一种面向公安侦查应用的图像检索方法
Ishioka et al. Single camera worker detection, tracking and action recognition in construction site
Wang et al. Where2stand: A human position recommendation system for souvenir photography
JP2009245404A (ja) 画像処理装置および方法並びにプログラム
Shima et al. Detecting orientation of in-plain rotated face images based on category classification by deep learning
Park et al. Estimating the camera direction of a geotagged image using reference images
CN103530879B (zh) 特定场景下的行人颜色提取方法
JP6586402B2 (ja) 画像分類装置、画像分類方法及びプログラム
KR102576587B1 (ko) 다중 카메라를 이용한 이동체 궤적 생성 방법 및 장치
Wang et al. Online photography assistance by exploring geo-referenced photos on MID/UMPC

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20141010

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141010

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

C53 Correction of patent of invention or patent application
CB02 Change of applicant information

Address after: Seaman Avenue Torrance in the United States of California No. 20000 room 200

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Applicant before: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM:

C14 Grant of patent or utility model
GR01 Patent grant