CN102859525A - 图像处理装置以及图像处理方法 - Google Patents
图像处理装置以及图像处理方法 Download PDFInfo
- Publication number
- CN102859525A CN102859525A CN2012800011556A CN201280001155A CN102859525A CN 102859525 A CN102859525 A CN 102859525A CN 2012800011556 A CN2012800011556 A CN 2012800011556A CN 201280001155 A CN201280001155 A CN 201280001155A CN 102859525 A CN102859525 A CN 102859525A
- Authority
- CN
- China
- Prior art keywords
- group
- thumbnail
- characteristic quantity
- information
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 171
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000001514 detection method Methods 0.000 claims description 38
- 238000000034 method Methods 0.000 description 49
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000013459 approach Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 12
- 238000012217 deletion Methods 0.000 description 12
- 230000037430 deletion Effects 0.000 description 12
- 238000012360 testing method Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 235000013351 cheese Nutrition 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 239000002699 waste material Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000121237 Nitrospirae Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000178 monomer Substances 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
Abstract
一种图像处理装置,包括:获得部(102),获得多个图像数据;对象检测部(103),从获得的多个图像数据中检测多个对象;特征量算出部(104),算出多个对象的每一个的特征量;组信息制作部(105),在至少一个对象的特征量满足规定的条件的情况下,制作示出至少一个对象所属的第一组的第一组信息;选择部(106),从第一组信息所示的至少一个对象中选择成为缩略图制作的目标的对象;以及缩略图制作部(107),利用示出被选择的对象的图像数据,制作对象的缩略图。
Description
技术领域
本发明涉及针对多个图像所示的多个对象进行用于制作缩略图的处理的图像处理装置以及图像处理方法。
背景技术
近些年,检测映现在图像上的脸部,并对多个脸部进行一览显示,当选择一个脸部时,显示映现了该脸部的图像全体这种应用在PC(个人计算机)上等得以实现。
但是,在一般的电子设备与PC不同,内存的容量比较小,而且使用的CPU也是比较低速的。因此,在这样的电子设备中出现的问题是,要想即时地从图像检测脸部并对多个脸部进行一览显示,除了花费时间以外,而且由于内存不足而不能显示充分多的数量。
因此考虑到的方法是,事先对多个脸部的每一个制作缩略图,在进行脸部的一览显示之时,显示事先制作的多个缩略图。
以往,作为用于制作图像内的脸部的缩略图的图像处理装置公开了,在被显示的图像中检测人物的脸部,并制作脸部的缩略图(例如,参照专利文献1)。
图19示出了专利文献1所记载的以往的图像处理装置的构成。
在图19所示的以往的图像处理装置1000中,针对内存1601中所保持的图像,脸部检测部1603检测人物的脸部,将检测结果通知到CPU1602。CPU1602在脸部被检测出时,将该脸部的缩略图制作指示给图像信号处理部1604。图像信号处理部1604从该图像中将脸部区域剪取,制作由该脸部区域示出的图像的缩略图。并且,图像信号处理部1604在一张图像检测到多个脸部的情况下,仅制作与图像中心接近的脸部的缩略图或者制作所有的脸部的缩略图。
(现有技术文献)
(专利文献)
专利文献1日本特开2005-269563号公报
发明概要
发明要解决的问题
但是,在上述以往的构成中出现的问题是,在制作与图像的中心近的脸部的缩略图的情况下,对于用户而言会有重要的人物的脸部的缩略图没有被制作的情况。并且,在制作所有的脸部的缩略图的情况下,例如被映现在背景中的过路人等对于用户而言不被认为是重要的人物的脸部的缩略图也被制作,结果是,出现记录介质的容量被浪费的问题。
发明内容
本发明为了解决上述以往的问题,目的在于提供一种针对从多个图像得到的多个对象,高效率地进行用于缩略图的制作的处理的图像处理装置以及图像处理方法。
用于解决问题的手段
为了解决上述以往的课题,本发明的一个实施例所涉及的图像处理装置包括:获得部,获得多个图像数据;对象检测部,从由所述获得部获得的多个图像数据中检测多个对象,该多个对象的每一个由所述多个图像数据中的至少一个图像数据示出;特征量算出部,算出由所述对象检测部检测的多个对象的每一个的特征量;组信息制作部,在所述多个对象之中的至少一个对象的特征量满足规定的条件的情况下,制作示出第一组(cluster)的第一组信息,所述第一组是,所述至少一个对象所属的、且与所述至少一个对象的特征量相对应的第一组;选择部,从由所述组信息制作部制作的第一组信息所示的所述至少一个对象之中,选择成为缩略图制作的目标的对象;以及缩略图制作部,利用示出由所述选择部选择的对象的图像数据,制作所述对象的缩略图。
根据此构成,在多个对象之中的某个对象的特征量满足了规定的条件的情况下,示出该对象所属的第一组的第一组信息被制作。即,满足规定的条件的对象所属的第一组被制作。
而且,属于第一组的至少一个对象被选择,被选择的该至少一个对象的缩略图被制作。
即,参照各个对象的特征量,仅有满足规定的条件的对象才被登记到组内,仅有被登记到组的对象才被用作制作缩略图的候补。换而言之,没有满足规定的条件的对象从缩略图的制作的目标中除外。
因此,根据本实施例的图像处理装置,例如,能够仅制作对于用户而言被认为是重要对象的缩略图,其结果是例如能够实现快速地进行缩略图的一览显示。
而且,根据本实施例的图像处理装置,例如,能够从缩略图的制作目标中,将没有被认为是重要的对象除外,其结果是,能够抑制本来不需要的处理的发生以及记录介质的容量的浪费。
这样,根据本实施例的图像处理装置,例如,能够高效率地进行用于针对从多个图像得到的多个对象制作缩略图的处理。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述组信息制作部,在包含所述至少一个对象的两个以上的对象的各自的特征量满足包含于规定的大小的范围内这一所述规定的条件的情况下,制作示出所述两个以上的对象所属的所述第一组的所述第一组信息。
根据此构成,在两个以上的对象的特征量被包含于规定的大小的范围内的情况下,示出这些对象所属的第一组的第一组信息被制作。即,简单而言,在多个对象近似的情况下,该多个对象与第一组相对应的第一组信息被制作。
因此,例如,在获得了多个通过拍摄一个以上的对象而得到的图像数据的情况下,能够仅对两个以上的规定数量的图像数据所共同出现的对象制作缩略图。其结果是,例如能够仅制作对于用户而言被认为是重要的对象的缩略图。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述组信息制作部,在(i)接受2以上的整数N的输入,且(ii)由所述特征量算出部算出的、包含所述至少一个对象的N个对象的每一个的特征量,包含于所述规定的大小的范围内的情况下,制作示出所述N个对象所属的所述第一组的所述第一组信息。
根据此构成,能够将成为组信息的制作的条件的、具有特征量彼此接近的关系的对象的个数N作为变数。因此,例如,众多的图像数据为处理的目标的情况下,通过将N增大,能够使对象作为缩略图的制作的候补而被选择的条件变得严格。
并且,也可以是,在本发明所涉及的图像处理装置,所述组信息制作部,在所述至少一个对象的特征量满足超过阈值这一所述规定的条件的情况下,制作示出所述至少一个对象所属的所述第一组的所述第一组信息。
根据此构成,例如,即使是一个图像数据所示的对象,例如在该对象的面积占图像全体的比率比阈值大的情况下,示出该对象属于第一组的第一组信息被制作。
例如,在示出某对象的图像数据仅为一个的情况下,在该图像数据为通过对该对象进行放大拍摄而得到的情况下,从缩略图的制作的候补中不被除外,而制作包含用于识别该对象的信息的第一组信息。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述组信息制作部,进一步,在由所述特征量算出部算出的其他的对象的特征量满足所述规定的条件的情况下,更新制作完毕的所述第一组信息,以使所述其他的对象属于所述第一组。
根据此构成,例如,新被检测出的对象的特征量包含在与既存的第一组相对应的特征量的范围的情况下,该对象被追加登记到第一组。
例如,设想通过对某特定的人物、或者人物以外的特定的一般物体进行拍摄而得到的图像数据被登记到第一组的情况。在这种情况下,在此之后获得的示出该人物或者该一般物体的图像数据被登记在第一组,因而被视为缩略图的制作的候补。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述选择部,选择所述第一组信息所示的所有的对象的每一个,以作为成为缩略图制作的目标的对象;所述缩略图制作部,利用示出由所述选择部选择的所有的对象的每一个的图像数据,来制作所述所有的对象的缩略图。
根据此构成,例如属于第一组的所有的对象的每一个的缩略图被制作。其结果是,例如用户能够进行与各个缩略图相对应的对象的每一个,是否为实际上应该属于第一组的对象的确认。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述组信息制作部,进一步,在由所述特征量算出部算出的其他的对象的特征量不满足所述规定的条件,且,所述其他的对象的特征量和不满足所述规定的条件的既存的对象的特征量包含于规定的大小的范围内的情况下,制作示出所述其他的对象以及所述既存的对象所属的第二组的第二组信息;所述选择部,进一步,根据所述第一组信息以及所述第二组信息的至少一方,选择成为缩略图制作的目标的对象。
根据此构成,新被检测出的对象由于其特征量不满足规定的条件,因此被判断为不属于既存的组(第一组),且,在该特征量满足其他的条件的情况下,与该对象相对应的第二组信息被制作。
即,与针对多个对象的进行分组的结果相对应的多个组信息被制作。因此,例如,以多个成员构成的集团的图像数据被获得了多个的情况下,每个成员的组被制作,仅将属于这些组的对象(示出各个成员的脸部的图像)作为缩略图的制作的候补。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述选择部,进一步,根据所述第一组信息以及所述第二组信息这双方,选择成为缩略图制作的目标的对象。
根据此构成,从多个组的每一个中至少一个对象被选择,且他们的缩略图被制作。据此,例如在多个对象被分类为多个组的情况下,能够将这些组的一览以与各个组相对应的缩略图来显示。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述选择部,从所述第一组信息所示的、包含所述至少一个对象的三个以上的对象中,选择具有与所述三个以上的对象的特征量的平均值最接近的特征量的对象,以作为缩略图制作的目标。
根据此构成,从属于一个组的多个对象中,将具有该组内的平均的特征量的对象作为缩略图的制作的目标来选择。即,被视为符合该组的代表的对象被选择,且其缩略图被制作。
因此,例如,通过针对各个组执行该处理,从而能够对这些组的一览以能够容易识别各个组的内容的缩略图来进行显示。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述选择部,进一步,从所述第一组信息所示的、包含所述至少一个对象的三个以上的对象中,选择具有与所述三个以上的对象的特征量的平均值的差为规定的值以上或者最大的特征量的对象,以作为缩略图制作的目标。
根据此构成,从属于一个组(cluster)的多个对象中,具有与该组中特征量的平均值远的特征量的对象被选择,其缩略图被制作。
因此,例如在本来不应该属于该组的对象的缩略图被制作的情况下,用户能够在比较早的阶段,将该对象从该组中除外,并且,一旦被制作了的该缩略图也能够在比较早的阶段被删除。即,针对在制作组时出现的错误,能够在比较早的阶段进行订正,并且能够抑制记录介质的容量的浪费。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述缩略图制作部,在(a)制作的缩略图被记录到与所述图像处理装置连接的记录介质,(b)按照来自用户的规定的指示,所述缩略图从所述记录介质被删除的情况下,从所述记录介质中删除,与具有和该缩略图所对应的对象的特征量的差比规定的值小的特征量的对象相对应的、被记录在所述记录介质的其他的缩略图。
根据此构成,例如,在删除由用户判断为不需要的缩略图的情况下,同样被推定为不需要其他的缩略图也被删除。据此,例如能够进一步地有效地活用存放了多个缩略图的记录介质的容量。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,所述缩略图制作部,进一步,在再次制作从所述记录介质删除了的所述缩略图的情况下,与该所述缩略图一同被删除了的所述其他的缩略图也被再次制作。
根据此构成,例如针对过去被删除而事后又需要的缩略图群,能够一并进行恢复。
并且,也可以是,在本发明的一个实施例所涉及的图像处理装置,多个对象的每一个为,人物的脸部、或者人物以外的一般物体的整体或一部分。
根据此构成,例如通过制作对于用户认为是重要的脸部或者一般物体的缩略图,从而能够快速地对缩略图进行一览显示,并且对于认为是不重要的脸部或者一般物体的缩略图不进行制作,因而能够抑制记录介质的容量的浪费。
并且,本发明能够作为包括以上的实施例所涉及的图像处理装置执行的具有特征性的处理的图像处理方法来实现。
并且,能够作为使计算机执行该图像处理方法所包括的各个处理的程序来实现,并且能够作为记录了这些程序的记录介质来实现。并且,这些程序能够经由因特网等传输介质或DVD等记录介质来分发。
并且,本发明能够作为具备上述的实施例所涉及的图像处理装置所具有的特征性的构成部的集成电路来实现。
发明效果
通过本发明的图像处理装置以及图像处理方法,例如,通过制作对于用户而言被认为是重要的对象的缩略图,从而能够在实现一览显示的高速化的情况下,通过不制作没有被认为是重要的脸部的缩略图,从而能够减少记录介质的容量的消耗。
即,本发明能够提供一种针对从多个图像中得到的多个对象,高效率地进行用于缩略图的制作的处理的图像处理装置以及图像处理方法。
附图说明
图1是本发明的实施例中的图像处理装置的构成的主要的功能构成的方框图。
图2是示出实施例中的处理目标图像的第一个例子的模式图。
图3是示出实施例中的处理目标图像的第二个例子的模式图。
图4是示出实施例中的处理目标图像的第三个例子的模式图。
图5是示出实施例中的处理目标图像的第四个例子的模式图。
图6是示出实施例中的处理目标图像的第五个例子的模式图。
图7示出了实施例中的检测结果数据库的数据结构的一个例子。
图8示出了实施例中的组信息数据库的数据结构的一个例子。
图9是示出实施例中的图像处理装置的处理流程概要的流程图。
图10是示出实施例中的图像处理装置所执行的分类处理的详细流程图。
图11是示出实施例中的图像处理装置所执行的组制作或更新处理的详细的流程图。
图12是示出实施例中的图像处理装置所执行的缩略图制作处理的详细的流程图。
图13示出了在图12的S506中记录的图像管理数据库的数据结构的一个例子。
图14示出了在图12的S505记录的脸部缩略图的数据构成例子。
图15示出了实施例中的组信息数据库的数据结构的其他的一个例子。
图16是示出在将成为组信息的制作的条件的个数N作为变数的情况下的组制作处理的概要的流程图。
图17是示出伴随着处理目标的对象的特征量与阈值的比较的组制作处理的概要的流程图。
图18A示出了从实施例中的图像处理装置输出的组一览的一个例子。
图18B示出了从实施例中的图像处理装置输出的缩略图一览的一个例子。
图18C示出了从实施例中的图像处理装置输出的、指定图像的显示状态的一个例子。
图18D示出了从实施例中的图像处理装置输出的、指定图像的显示状态的其他的一个例子。
图19示出了以往的图像处理装置的构成。
具体实施方式
以下,参照附图对本发明的实施例进行说明。另外,以下将要进行说明的实施例仅为本发明的一个优选例子。以下的实施例所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、以及步骤的顺序等为一个例子,本发明并非受此所限。并且,以下的实施例中的构成要素中,针对示出本发明的最上位概念的独立权利要求中所记载的构成要素,作为构成更优选的方式的任意的构成要素来进行说明。
图1是示出本发明的实施例中的图像处理装置100的主要的功能构成的方框图。
图像处理装置100具备:获得部102、对象检测部103、特征量算出部104、组信息制作部105、选择部106、以及缩略图制作部107。
并且,在图像处理装置100被连接有记录介质101、输入装置108、显示装置109。以下,对每个构成要素进行说明。
记录介质101是用于记录包含图像数据的各种信息的介质,与图像处理装置100以有线或无线的方式连接。在本实施例中,记录介质101中除了图像数据以及缩略图数据以外,还记录有检测结果数据库151、组信息数据库152、图像管理数据库153。另外,这些信息也可以分别被记录到互不相同的记录介质。
获得部102从记录介质101中获得图像数据。并且,获得部102也可以从例如经由通信网络而被连接的其他的设备获得图像数据。
对象检测部103检测图像数据所示的对象。在本实施例中,检测各个图像数据所示的人物的脸部区域。对象检测部103能够将检测的脸部区域的信息记录到记录介质101内的检测结果数据库151等。
另外,脸部检测的方法代表性的有P.Viola以及M.Jones发表的脸部检测方法(Robust real time object detection)等。由于脸部检测方法不是本发明的本质,因此对于其详细内容不进行说明。
特征量算出部104针对由对象检测部103检测的脸部区域算出特征量。作为特征量算出的方法,具有代表性的有SURF(Speeded Up RobustFeatures:加速稳健特征)以及SIFT(Scale-Invariant Feature Transform:尺度不变特征转换)等方法。由于特征量算出的方法不是本发明的本质,因此对于其详细内容不进行说明。
组信息制作部105,在多个对象之中的至少一个对象的特征量满足规定的条件的情况下,制作示出组(cluster)的组信息,该组是指所述至少一个对象所属的组、且是与所述至少一个对象的特征量相对应的组。
在本实施例中,组信息制作部105对特征量算出部104所算出的两个以上的脸部区域的特征量进行比较,将判断为特征量接近的两个以上的脸部区域登记到同一个组内。即,该两个以上的脸部区域与该组对应起来的组信息被制作,并被记录到记录介质101的组信息数据库152。
换而言之,两个以上的对象各自的特征量被包含在规定的大小的范围内的情况下,示出该两个以上的对象所属的组的组信息被制作并被记录。
另外,针对被判断为特征量不接近的脸部区域,不进行向既存的组的登记,并且也不进行这时的新建组信息的制作,也不记录到组信息数据库152。
选择部106参照组信息数据库152,选择至少被登记在一个组内的脸部区域中的至少一个。在本实施例中,选择被登记在多个组的每一个中的所有的脸部区域。
缩略图制作部107针对被选择的所有的脸部区域,从这些脸部区域所示的每个图像数据中剪取相符的脸部区域,制作规定大小(例如,横120像素、纵120像素)的脸部缩略图数据(以下,简单称为“脸部缩略图”)。之后,将制作的脸部缩略图记录到记录介质101。
另外,脸部缩略图的大小也可以不必是横120像素、纵120像素,可以比该大小大或小。并且,也可以是脸部缩略图的横向长度与纵向长度相同。
输入装置108接受用户针对图像处理装置100的操作信息以及文字输入等,并输出到图像处理装置100。
显示装置109显示被记录到记录介质101的图像数据以及脸部缩略图等。并且,显示装置109根据输入装置108所接受的用户的操作,进行图像数据与脸部缩略图的切换显示等。
图2到图6分别是示出成为图像处理装置100进行处理的目标的图像数据所示的图像的一个例子的模式图。并且,在各个图中,点线所示的矩形是为了便于说明而记载的,在实际的图像中没有映现。
图2示出了图像ID=1的图像,在此由点线矩形601~605所分别圈出的区域是由对象检测部103检测的脸部区域。
并且,图3示出了图像ID=2的图像,在此由点线矩形701圈出的区域是由对象检测部103检测的脸部区域。
并且,图4示出了图像ID=3的图像,在此由点线矩形801圈出的区域是由对象检测部103检测的脸部区域。
并且,图5示出了图像ID=4的图像,在此由对象检测部103检测的脸部区域不存在。
并且,图6示出了图像ID=5的图像,在此由点线矩形1001和1002所分别圈出的区域是由对象检测部103检测的脸部区域。
这样,由对象检测部103检测的每个脸部区域的信息被记录到检测结果数据库151。
图7示出了实施例中的检测结果数据库151的数据结构的一个例子。
如图7所示,在检测结果数据库151中记录有:图像ID=1~5的用于识别各个图像数据的图像ID、用于识别该图像数据中所包含的脸部区域的脸部ID、以及脸部区域的信息。
虽然本实施例中的脸部区域的信息由图像内的X坐标(图中的X)、Y坐标(图中的Y)、宽(图中的W)、以及高(图中的H)示出,不过脸部区域也可以由这些信息以外的信息来确定。另外,例如,像脸部ID=601示出点线矩形601的脸部区域,使脸部ID的编号与脸部区域的番号一致来进行说明。
图8示出了实施例中的组信息数据库152的数据结构的一个例子。
具体而言,组信息制作部105根据各脸部区域的特征量来制作各个组信息,以使特征量接近的脸部区域属于同一个组。并且,通过这样制作的组信息,构成了组信息数据库152。
即,在本实施例,在组信息数据库152中,同一个组内登记了各个特征量接近的脸部区域的脸部ID。
以下利用图9~图12的流程图,来对具有以上这样的构成的图像处理装置100的工作进行说明。
图9是示出实施例中的图像处理装置100的处理流程的概要的流程图。
首先,图像处理装置100获得被记录到记录介质101的图像数据,并进行这些图像数据的分类处理(S201)。关于分类处理待后述。
接着,若存在还没有被分类处理的图像数据的情况下(S202的“是”),图像处理装置100的处理流程移向用于进行针对该图像数据的分类处理的S201,若不存在还没有被分类处理的图像数据的情况下(S202的“否”),移向S203的处理。
接着,图像处理装置100进行后述的缩略图制作处理(S203),并结束处理。
<分类处理>
图10是示出实施例中的图像处理装置100所执行的分类处理的详细的流程图。
图11是示出实施例中的图像处理装置100所执行的组制作或更新处理的详细的流程图。
利用图10以及图11的流程图,对图9的S201的处理(分类处理)进行说明。
在分类处理中,首先,对象检测部103开始进行图像数据所示的人物的脸部的检测处理(S301)。
接着,在检测到还没有进行脸部检测处理的脸部(未处理的脸部)的情况下(S302的“是”),图像处理装置100处理流程移向S303的处理。在S301没有检测到未处理的脸部的情况下(S302的“否”),结束针对该图像数据的分类处理。
接着,对象检测部103按每个图像数据,将检测的脸部区域的信息记录到检测结果数据库151(参照图7)(S303)。
接着,特征量算出部104算出被检测的每个脸部区域的特征量,并保持(S304)。并且,被算出的各个特征量例如可以与检测结果数据库151或组信息数据库152中的脸部ID对应后存放。
并且,作为脸部区域的特征量例如有:包含在该脸部区域的脸部的轮廓形状、该轮廓部分的边缘强度、该脸部的眼睛或鼻子等部位的位置、该脸部区域的面积占包括该脸部区域的图像全体的比例等各种物理量,或者这些各个物理量的组合。
接着,与算出的特征量一起,组信息制作部105执行下述的组制作或更新处理(S305)。
图像处理装置100的处理流程,在组制作或更新处理(S305)结束时返回到S301的处理。
<组制作或更新处理>
在组制作或更新处理中,组信息制作部105对在图10的S304被算出的、作为当前的处理目标的脸部区域(当前的脸部区域)的特征量、与已经算出了特征量的脸部区域(既存的脸部区域)的特征量进行比较。据此,组信息制作部105判断当前的脸部区域中是否存在特征量接近的既存的脸部区域。
例如,当前的脸部区域的特征量和既存的脸部区域的特征量包含在规定的大小的范围内的情况下(换而言之,这些特征量的差分比规定的值小的情况下),判断为在当前的脸部区域中存在特征量接近的既存的脸部区域。
例如,各个脸部区域的特征量以m种的物理量示出的情况下,各个脸部区域的特征量在m维数的特征量空间中以坐标来表示。并且,脸部区域A的特征量a的坐标与脸部区域B的特征量b的坐标之间的距離比规定的值小的情况下,判断为脸部区域A与脸部区域B类似(特征量a与特征量b接近)。
并且,设想的情况是,组已经被制作,并且属于该组的多个既存的脸部区域的特征量的平均值与当前的脸部区域的特征量的差分比规定的值小。在这种情况下也能够表现为,包含当前的脸部区域的两个以上的脸部区域的各自的特征量被包含在规定的大小的范围内。即,判断为在当前的脸部区域中存在特征量接近的既存的脸部区域。
若在特征量接近的既存的脸部区域存在的情况下(S401的“是”),图像处理装置100的处理流程移向S402,在特征量接近的既存的脸部区域不存在的情况下(S401的“否”),结束针对当前的脸部区域的组制作或更新处理。
接着,组信息制作部105确认,具有在S401被判断为与当前的脸部区域的特征量接近的特征量的既存的脸部区域,是否已经被登记到组内(S402)。若登记在组内(S402的“是”),图像处理装置100的处理流程移向S403,若没有登记(S402的“否”),则移向S404。
在S402中的确认的结果为该既存的脸部区域已经被登记到组内的情况下(S402的“是”),组信息制作部105将当前的脸部区域追加到该组内。即,组信息制作部105更新针对该组的组信息,以使当前的脸部区域属于该组(S403)。更新后,结束组制作或更新处理。
在S402中的确认的结果为该既存的脸部区域没有被登记组内的情况下,制作新的组(S404)。
并且,在新的组中登记该既存的脸部区域和当前的脸部区域(S405)。即,组信息制作部105制作组信息,该组信息示出该既存的脸部区域和当前的脸部区域属于该新的组。在组信息的制作后,结束组制作或更新处理。
通过以上的分类处理和组制作或更新处理,特征量接近的两个以上的脸部区域作为一个组被登记。其结果是,多个脸部区域所属的组存在一个以上。
即,在本实施例中,在由处理目标的一个以上的图像数据示出的多个脸部区域之中,若特征量满足规定的条件的脸部区域至少存在两个的情况下,该脸部区域所属的组被制作。具体而言,该两个脸部区域与该组对应起来的组信息被制作。
更详细而言,组信息制作部105,在当前的脸部区域的特征量没有包含在与既存的组对应的特征量的范围、且当前的脸部区域的特征量和既存的脸部区域的特征量包含在规定的大小的范围内的情况下,制作示出当前的脸部区域的特征量、既存的脸部区域的特征量、以及所属的新的组的组信息。
并且,在当前的脸部区域的特征量包含在与既存的组对应的特征量的范围内的情况下,更新制作完毕的组信息,以使当前的脸部区域属于该组。
这样,通过组信息制作部105,针对各个对象的分类处理以及组制作或更新处理被执行,其结果是,图8所示的组信息被记录在组信息数据库152。
具体而言,图8示出了针对图2~图6所示的图像ID=1~5的图像进行了分类处理、组制作或更新处理后所得到的组信息数据库152的数据结构。
如图8所示,脸部ID为603、701以及801的脸部区域的特征量被判断为接近,示出这些脸部区域的脸部ID被登记在组ID=1的组内。并且,脸部ID为601和1001的脸部区域的特征量被判断为接近,将示出这些脸部区域的脸部ID登记到组ID=2的组内。并且,脸部ID为602和1002的脸部区域的特征量被判断为接近,示出这些脸部区域的脸部ID被登记到组ID=3的组内。
这样,在从多个图像数据得到的多个对象中,仅将满足针对特征量的规定的条件的对象登记到组内。在本实施例中,仅将特征量接近(即,被包含在规定的大小的范围内)的两个以上的脸部区域登记到组内。
被登记到某一个组的每一个脸部区域被视为缩略图制作的候补。在本实施例中,属于某一个组的所有的脸部区域的每一个的缩略图被制作。
<缩略图制作处理>
图12是示出实施例中的图像处理装置100所执行的缩略图制作处理的详细的流程图。
利用图12的流程图,对图9中的S203的处理(缩略图制作处理)进行说明。
首先,选择部106参照组信息数据库152,确认被登记在某一个组的脸部区域之中是否存在还没有被制作脸部缩略图的脸部区域。若存在脸部缩略图未制作的脸部区域(S501的“是”),图像处理装置100的处理流程移向S502,若不存在(S501的“否”),图像处理装置100结束缩略图制作处理。
接着,选择部106选择一个在S501被判断为脸部缩略图为未制作的脸部区域(S502)。
接着,缩略图制作部107从示出在S502选择的脸部区域的图像数据中剪取该脸部区域(S503)。
接着,缩略图制作部107通过针对剪取的脸部区域进行缩小或者放大等图像变换,来制作规定大小的(例如,横120像素、纵120像素)的脸部缩略图(S504)。
接着,缩略图制作部107将在S504制作的脸部缩略图记录到记录介质101(S505)。
接着,缩略图制作部107将在S505记录的脸部缩略图与脸部区域的对应关系记录到记录介质101的图像管理数据库153(S506)。之后,图像处理装置100的处理流程移向S501。
图13示出了图12中的在S506记录的图像管理数据库153的数据结构的一个例子。
图14示出了图12中的在S505记录的脸部缩略图的数据构成例子。
如图13所示,在图像管理数据库153,针对示出制作了脸部缩略图的脸部区域的脸部ID的每一个,使包含该脸部缩略图的数据的缩略图文件的记录介质101上的文件通路信息、该缩略图文件内的偏差、数据大小建立对应关系。
在本实施例中,一个图像数据内的一个以上的脸部区域的每一个的脸部缩略图数据被记录到一个文件。
图14示出了实施例中的缩略图文件的数据构成例子。
具体而言,图14示出了与图像ID=1的图像数据中所包含的三个脸部区域相关的缩略图文件。在该缩略图文件中,按照制作脸部缩略图数据的顺序,从文件的开头开始排列了各个脸部缩略图数据。
在使显示装置109显示某脸部缩略图之时,例如,图像处理装置100所具备的显示控制部(图中未示出),从图13所示的图像管理数据库153中参照该脸部缩略图数据的记录位置。而且,显示控制部从图14所示的缩略图文件中取出该脸部缩略图数据,并显示到显示装置109。
如以上所示,在本实施例中,关于图像ID=1的图像数据所示的脸部ID=604以及605的脸部区域,只要登记在组内,就能够制作脸部缩略图数据。
在此,通过参照本实施例中的处理目标的五个图像,可以考虑到与脸部ID=604以及605对应的人物仅出现在一个图像(ID=1),这些人物为例如被映现在背景的过路人的可能性高。即,示出这些人物的脸部的脸部ID=604以及605的脸部区域对于用户而言有可能是不重要的。
本实施例的图像处理装置100能够不制作对于用户而言有可能不是重要的脸部区域的脸部缩略图。即,图像处理装置100能够抑制无用的图像处理的执行,且能够抑制记录介质101的容量浪费。
另外,关于被登记到组内的脸部区域,与该脸部区域有类似关系的其他的脸部区域至少存在一个得到确认。即,属于同一组的多个脸部区域被估计为是示出同一人物的脸部的图像区域,且,由于该人物的脸部出现于多张图像(由多个图像数据示出),因此对于用户而言是重要的人物的脸部的可能性大。
本实施例的图像处理装置100,能够预先制作像这样对用户而言是重要的人物的脸部的可能性大的脸部缩略图。其结果是,在进行根据多个图像数据的多个脸部缩略图的显示之时,能够显示预先制作的脸部缩略图。因此,图像处理装置100即使是由处理性能低的电子设备来实现的情况下,也能够得到提高显示速度的效果。
并且,各个脸部缩略图按组而被分类。因此,例如将属于该组的多个脸部缩略图内的一个脸部缩略图设定为该组的代表图像,在进行组一览的显示的情况下,能够利用于按每个组的代表图像的脸部缩略图的一览显示中。
据此,例如,能够以组为单位来赋予人物名。其结果是,能够减轻用户针对多个图像数据的每一个赋予人物名的繁琐操作。
另外,在本实施例中,以与点线矩形对应的X坐标、Y坐标、宽度以及高度来表示脸部区域的信息。但是,作为表示脸部区域的方法,除此之外还可以利用以圆或者椭圆等来表示,或者坐标以及半径等来表示的方法。
并且,也可以利用示出多角形等各个顶点的坐标,或者,中心坐标与从中心坐标向各个顶点的矢量表示的方法,来表示脸部区域。并且,在以从某个基准点的矢量来表示脸部区域的方法等,也可以作为表示脸部区域的方法来使用。
即,只要是示出图像内的特定范围的方法,不论使用怎样的方法来表示脸部区域均可。
据此,例如能够利用更详细的轮廓线来确定脸部区域。并且,坐标中能够利用像素单位或毫米等长度单位等。
并且,记录介质101位于本实施例的图像处理装置100的外部,能够以包括有线或者无线的各种接口来连接。但是,记录介质101也可以经由互联网等通信网络与图像处理装置100连接。而且,图像处理装置100能够与多个记录介质连接。据此,能够灵活地构成系统。
例如,设想具备图像处理装置100的服务器装置被连接到互联网的情况。在这种情况下,从具备记录介质101的移动终端,经由互联网,被记录到记录介质101的多个图像数据被送信到该服务器装置。据此,针对该多个图像数据的组制作处理以及缩略图制作处理(参照图9~图12)能够由该服务器装置执行。其结果是,该移动终端能够获得根据该多个图像数据得到的组信息数据库152以及缩略图文件等。据此,该移动终端能够进行组一览的显示等。
即,通过将具备图像处理装置100的该服务器装置连接到因特网,从而能够针对多个移动终端提供组制作处理以及缩略图制作处理等服务。
并且,例如,也可以将具备图像处理装置100的移动终端连接于互联网,从具备记录介质101的服务器装置获得被记录到记录介质101的多个图像数据。即,用户能够以现有的移动终端来执行与被蓄积到因特网上的记录介质101的多个图像数据相对应的组信息数据库152以及缩略图文件等的制作。
而且,也可以经由因特网,从具备输入装置108以及显示装置109的移动终端,向具备记录介质101以及图像处理装置100的服务器装置访问,使该服务器装置执行组制作处理以及缩略图制作处理等。
并且,也可以将移动终端中保持的多个图像数据、与因特网上的服务器装置保持的多个图像数据一同由例如其他的服务器装置所具备的图像处理装置100来处理。
并且,记录介质101也可以存在于图像处理装置100的内部。例如,在图像处理装置100内藏HDD(Hard Disk Drive:硬盘驱动器)的情况下,也可以由该HDD来实现记录介质101。并且,例如,也可以由能够装卸于图像处理装置100的SD卡等可搬运介质来实现记录介质101。
并且,在本实施例中,对作为图像处理装置100中的检测目标的对象为图像数据所示的脸部(或者脸部区域)的情况下的各种处理进行了说明。
但是,作为图像处理装置100的检测目标的对象,也可以是人物的脸部以外,可以是人物以外的一般物体(例如动物、植物、车辆或者建筑物等物体)的全体或者一部分。
在这种情况下,对象检测部103能够利用一般物体检测技术来识别一般物体。由于一般物体检测技术不是本申请发明的主旨,因此不进行说明,只要是一般的方法均能够利用。
并且,各个流程图中的处理的顺序并非受此所限,在能够得到同样的结果的情况下也可以替换各个步骤的顺序。
并且,在本实施例中,作为图像处理装置100的处理目标的“图像”并非限定于静态图像,也可以是动态图像。在这种情况下,由于动态图像内的人物的脸部检测以及一般物体检测的方法不是本申请的本质,因此不进行说明,只要能够进行被映现在动态图像内的人物的脸部区域的抽出或一般物体区域的抽出,不论怎样的方式都可以利用。
并且,在本实施例中,如图8所示,将脸部区域的分类结果以直接与组和脸部区域连接的关系,记录到组信息数据库152。
但是,组信息数据库152也可以具有图8所示的阶层结构以外的阶层结构。
图15示出了实施例中的组信息数据库152的数据结构的其他的一个例子。
例如图15所示,也可以将具有特征量更接近的关系的脸部区域登记到子组中,使组信息数据库152具有将子组间的特征量接近的登记到组中的阶层结构。
据此,例如在进行子组一览的显示的情况下,能够显示子组内的一个脸部缩略图。并且通过以子组为单位来赋予人物名,从而能够更正确地赋予人物名。
并且,在本实施例中,以特征量接近的两个脸部区域登记到组内。即,成为组信息的制作的条件的、具有特征量相互接近关系的对象(类似对象)的个数为两个。
但是,成为组信息的制作的条件的类似对象的个数并非限定于两个,在存在彼此具有类似关系的更多的脸部区域的情况下,也可以生成组信息。
并且,例如,也可以将成为组信息的制作的条件的类似对象的个数N设为变数。
图16示出了在将成为组信息的制作的条件的个数N设为变数的情况下的组制作处理概要的流程图。
例如,在通过用户的操作由输入装置108整数N(N≥2)被输入的情况下,组信息制作部105接受整数N的输入(S601)。组信息制作部105进一步,在类似的N个脸部区域存在的情况下(S602的“是”),即,N个脸部区域的每一个的特征量均包含在规定的大小的范围内的情况下,制作示出该N个脸部区域所属的组的组信息(S603)。
这样,通过将成为组信息的制作的条件的类似对象的个数N设为变数,这样例如在将N增大时,能够使对象作为缩略图的制作的候补而被选择的条件变得严格。
例如,设想将通过家族等规定的群体的拍摄而得到的多个(例如1000以上)图像,视为用于缩略图制作的处理目标的情况。在这种情况下,与该群体无关的人物有可能会在多个图像中出现两次或者三次左右。并且,由于这些图像的张数为多张,因此可以考虑到该群体的各个成员至少能够出现在20张以上的图像中。
在这种情况下,例如,通过设为N=10,图像处理装置100除了能够将与该群体无关的人物从脸部缩略图的制作的目标中除外,而且能够将该群体的各个成员的脸部几乎确实地作为脸部缩略图的制作的目标来选择。
并且,在本实施例中,仅由一个图像数据示出的脸部区域不被登记到组内。即,针对作为当前的处理目标的脸部区域(当前的脸部区域),在具有与其类似的关系的既存的脸部区域不存在的情况下,在此时刻,不制作当前的脸部区域所属的组。
但是,图像处理装置100,即使在当前的脸部区域与既存的脸部区域不类似的情况下,也可以根据对当前的脸部区域的特征量与规定的阈值进行比较的结果,来制作当前的脸部区域所属的组。
图17是示出对处理目标的对象的特征量与阈值进行比较的情况下的组制作处理的概要的流程图。
例如,设想作为当前的脸部区域的特征量之一的、当前的脸部区域的面积占示出当前的脸部区域的图像全体的比率超过了阈值(例如50%)的情况(S701的“是”)。在这种情况下,组信息制作部105不论是否存在类似的脸部区域,均可以制作当前的脸部区域所属的组(S702)。
据此,例如在映现了某个人物的照片的图像数据仅为一张的情况下,但是该图像数据为放大拍摄了该人物的图像数据的情况下,能够判断为该人物对于用户而言是重要的,因而制作脸部缩略图。即图像处理装置100能够及早地执行与被考虑为重要的人物的脸部缩略图的显示有关的处理。
并且,组信息制作部105,例如也可以按照当前的脸部区域中的脸部的模糊程度,来决定是否制作当前的脸部区域所属的组。具体而言,组信息制作部105,在根据当前的脸部区域的特征量判断出焦点在该脸部的情况下,也可以制作当前的脸部区域所属的组。
并且,图像处理装置100,也可以针对具有通过连拍功能而拍摄的多个图像数据共同示出的类似关系的多个脸部区域,将连拍功能所拍摄的多个图像数据计数为一个。
据此,在以连拍功能拍摄的情况下,能够防止被连续映现到多个图像的背景中的非重要人物的脸部缩略图的错误制作。
另外,对于是否为连拍功能进行的拍摄的判断,例如能够根据图像数据中所附带的拍摄日期时间信息,将以非常短的时间间隔拍摄的判断为以连拍功能进行的拍摄。并且,在摄像机以连拍功能进行拍摄的情况下,该摄像机也可以参照示出被赋予在图像数据的以连拍功能进行拍摄的信息。
并且,在本实施例中,图像处理装置100虽然制作的是属于各个组的所有的脸部区域的脸部缩略图,不过并非受此所限,例如像属于上述的子组的多个脸部区域那样,可以通过仅选择同一组内的具有特征量彼此非常接近的关系的两个以上的脸部区域,来制作脸部缩略图。
例如,设想10个脸部区域属于某组,其中3个脸部区域的特征量被密集分布于特征量空间的情况。在这种情况下,选择部106选择这3个脸部区域,缩略图制作部107制作这3个脸部区域的缩略图。
据此,在一个组内被登记了大量的脸部区域的情况下,例如,在制作所有的脸部缩略图之前,能够仅制作其中一部分的脸部缩略图,利用这些脸部缩略图,来进行组一览的显示。
并且,图像处理装置100也可以仅选择组内具有平均的特征量的脸部区域,来制作脸部缩略图数据。即,选择部106可以从某组信息所示的三个以上的脸部区域中,将具有与该三个以上的脸部区域的特征量的平均值最接近的特征量的脸部区域,作为缩略图制作的目标来选择。在这种情况下也能够得到与上述同样的效果。
并且,图像处理装置100也可以选择组内的具有与特征量平均值远离的特征量的脸部区域,来制作脸部缩略图数据。即,选择部106也可以从某组信息所示的三个以上的脸部区域中,将具有与该三个以上的脸部区域的特征量的平均值的差为规定的值以上或者最大的特征量的脸部区域,作为缩略图制作的目标来选择。
在这种情况下,例如,本来不应该属于该组的脸部区域被选择,该脸部区域的缩略图被制作。因此,用户能够在比较的早的阶段,从该组中将该脸部区域除外。并且,用户能够在比较的早的阶段删除虽然被制作但本来不需要的缩略图。
例如,由于某人物A的脸部与人物B的脸部相似,设想包含人物A的脸部区域和人物B的脸部区域的组被制作的情况,即设想在组的制作时发生了错误的情况。即使在这样的情况下,也能够在比较的早的阶段来订正该错误,并且能够抑制记录介质101的容量的浪费。
另外,在从该组中将该脸部区域除外的情况下,例如,通过用户从输入装置108的规定的指示,组信息制作部105将该脸部区域从该组中除外,以更新组信息数据库152。
并且,在一旦被制作的缩略图被删除的情况下,例如,通过用户从输入装置108的规定的指示,缩略图制作部107从记录介质101中选择该缩略图,并从记录介质101中删除。
并且,在缩略图制作部107删除缩略图的情况下,也可以将具有与该缩略图相对应的特征量接近(差比规定的值小)的特征量的其他的缩略图,与该缩略图一起从记录介质101中删除。另外,该其他的缩略图能够通过选择部106参照由特征量算出部104算出的、每个脸部ID的特征量而被确定。
在这种情况下,组信息制作部105,将与该其他的缩略图相对应的脸部区域,从登记有该脸部区域的组信息中删除。
据此,例如,人物B的多个脸部区域属于与人物A相对应的组的情况下,能够将人物B的多个脸部区域一并删除。
即,在由用户判断为不要的缩略图被删除的情况下,通过删除同样被推定为不要的其他的缩略图,从而能够更有效地活用记录介质101的容量。
并且,在这种情况下,对于是否可以删除该其他的缩略图可以由用户来确认,只有在由用户得到了允许删除的情况下才删除该其他的缩略图文件。
并且,在删除缩略图的情况下,例如,在由用户确认之后,也可以将示出与该缩略图相对应的组的组信息,从组信息数据库152中删除。并且,在这种情况下,该组信息也可以是在表面看上去为删除,而实体可以不被删除。
例如,在不删除该组信息的情况下,将示出有该组信息的删除指示的删除标志追加到该组信息。
在这种情况下,例如能够进行以下的处理。即,在某个时刻由用户判断为不要的人物C所对应的组信息被删除的情况下,则在该组信息中追加删除标志。
在这种情况下,例如,从记录介质101中删除与该组信息对应的所有缩略图。并且,通过赋予删除标志,该组信息则不成为由选择部106进行选择的目标。
即,该组信息所示的对象不成为缩略图制作部107进行缩略图制作处理的目标。
但是,在此之后,例如设想针对映现了人物C的图像数据,根据用户针对输入装置108的规定的操作,而人物C的脸部区域被选择的情况。在此时刻,包含该脸部区域的ID的组信息以删除标志被追加的状态而存在于组信息数据库152。
因此,组信息制作部105删除该组信息的删除标志。其结果是,该组信息成为选择部106进行选择的目标。据此,缩略图制作部107除了能够制作由用户选择的人物C的脸部区域的缩略图以外,还能够制作由该组信息所示的其他的脸部区域的缩略图。
据此,例如,通过删除某缩略图,即使与该缩略图对应的组看上去是已被删除的情况,通过使该缩略图复活(再次制作),能够使属于该组的所有的缩略图复活。
并且,选择部106也可以仅从所有的组内满足规定的条件的组中,选择成为缩略图制作的目标的脸部区域。
例如,选择部106从所有的组中,确定登记有规定的数量(例如10)以上的脸部区域的组,并选择属于特定的组的一个以上的脸部区域。另外,也可以将该规定的数量视为变数,例如,将由用户决定的数量用作该规定的数量。
据此,例如,即使在因无关的人物被映现在多个图像,且与该无关的人物相对应的组被制作的情况下,也能够将该无关的人物从脸部缩略图的制作的目标中除外。
即,能够得到与在利用图16所说明的将成为组信息的制作的条件的个数N作为变数的情况同样的效果。
如以上所述,本实施例的图像处理装置100,能够从由多个图像得到的多个脸部区域之中,根据他们的特征量来选择脸部区域,且仅针对选择的脸部区域登记到组内。并且,仅对被登记到组内的脸部区域制作缩略图。
其结果是,对于本来不需要制作缩略图的脸部区域,能够从缩略图的制作的目标中除外,而且能够进行组一览以及按每个组的缩略图一览等各种显示。
图18A示出了从实施例中的图像处理装置100输出的组一览的一个例子。
图18B示出了从实施例中的图像处理装置100输出的缩略图一览的一个例子。
图像处理装置100通过进行上述这样的脸部区域的检测和分类、以及组的制作等处理,从而使显示装置109显示例如图18A所示的组一览。
图18A所示的组一览与图8所示的组信息数据库152的内容相对应,各个组的代表缩略图被显示。
并且,各个组被赋予名称。具体而言,组ID=1的组被赋予的名称是“太郎”,组ID=2的组被赋予的名称是“父亲”,组ID=3的组被赋予的名称是“母亲”。
另外,赋予到各个组的名称,例如按照从输入装置108输入的来自用户的指示而被決定。并且,例如也可以通过对各个组中的特征量的平均值与人物的数据库进行匹配,而自动地将名称赋予到各个组。
在该组一览中,例如,“太郎”的缩略图被点击,在显示装置109的显示内容迁移到图18B所示的缩略图一览。
图18B所示的缩略图一览是,属于组ID=1的“太郎”的组的多个脸部区域的每一个的缩略图被显示。
用户通过参照该缩略图一览,例如能够确认在“太郎”的组内,是否包含了因脸部区域的亮度低等误识别而造成的其他的人的脸部。假使在“太郎”的组内包含了其他的人的脸部的情况下,用户通过对图像处理装置100进行规定的指示,从而能够使该其他的人的脸部的脸部区域属于恰当的组,或者不属于任一个组,来更新组信息数据库152。
而且,用户通过在该缩略图一览中点击任一个缩略图,从而能够确认包含该缩略图所示的脸部区域的图像整体。
图18C示出了从实施例中的图像处理装置100输出的指定图像的显示状态的一个例子,图18D示出了指定图像的显示例子的其他的一个例子。
在图18B所示的缩略图一览中若点击任一个缩略图,则如图18C所示那样,包含该缩略图所示的脸部区域的图像整体与缩略图一览重叠而被显示。
并且,同样若点击任一个缩略图,则如图18D所示那样,在该缩略图的区域中,取代该缩略图而显示包含脸部区域的图像整体的缩略图。
即使在图18C以及图18D的某一个的情况下,用户也能够目视出与从缩略图一览中选择的脸部相对应的全体图像。
以上,根据实施例对本发明的图像处理装置进行了说明。但是,本发明并非受限于该实施例。在不脱离本发明的主旨的情况下,本领域技术人员所能够想到的各种变形被应用于本实施例,或者对上述说明的多个构成要素进行组合而构成的实施方式均包含在本发明的范围内。
例如,以下的情况也包含在本发明。
(1)上述的图像处理装置100,具体而言是由微处理器、ROM(Read OnlyMemory)、RAM(Random Access Memory)、硬盘单元、显示器单元、键盘、鼠标等构成的计算机系统。所述RAM或硬盘单元中记忆有计算机程序。所述微处理器通过按照所述计算机程序进行工作,从而图像处理装置100能够实现其功能。在此,计算机程序是为了实现规定的功能,而由多个针对计算机指示指令的指令代码组合而成。另外,图像处理装置100并非受限于微处理器、ROM、RAM、硬盘单元、显示器单元、键盘、鼠标等均被包含的计算机系统,也可以是由这些的一部分构成的计算机系统。
(2)构成上述的图像处理装置100的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration:大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上而被制造的超多功能LSI,具体而言是包括微处理器、ROM、RAM等而被构成的计算机系统。所述RAM中记忆有计算机程序。所述微处理器通过按照所述计算机程序进行工作,系统LSI能够实现其功能。
并且,构成上述的图像处理装置100的构成要素的各个部可以被个别的制成一个芯片,也可以是其中的一部分或全部被制成一个芯片。
并且,在此虽然例示了LSI,不过根据集成度的不同,也可以称为IC、系统LSI、超级LSI、极超级LSI。并且,集成电路化的方法不仅限于LSI,也可以以专用电路或通用处理器来实现。在LSI制造后,也可以利用可编程的FPGA(Field Programmable Gate Array:现场可编程门阵列)或利用能够将LSI内部的电路单元的连接以及设定重新构建的可重装处理器。
而且,随着半导体技术的进步或派生出的其他的技术,若出现了能够取代LSI的集成电路化的技术,当然也可以利用这些技术来对功能块进行集成化。生物技术的适用等也将成为可能。
(3)构成上述的图像处理装置100的构成要素的一部分或全部可以由能够装卸于图像处理装置100的IC卡或单体的模块构成。所述IC卡或所述模块是由微处理器、ROM、RAM等构成的计算机系统。所述IC卡或所述模块也可以包括上述的超多功能LSI。微处理器通过按照所述计算机程序进行工作,所述IC卡或所述模块能够实现其功能。该IC卡或模块可以具有抗篡改性。
(4)本发明可以是包括上述的图象处理装置100所进行的处理的方法。并且,也可以作为使计算机执行这些方法的计算机程序来实现,也可以是由所述计算机程序构成的数字信号。
并且,本发明可以将所述计算机程序或所述数字信号记录到计算机可读取的记录介质中,这些记录介质例如是软盘、硬盘、CD(CompactDisc)-ROM、MO(Magneto-Optical disk)、DVD(数字多功能光盘)、DVD-ROM、DVD-RAM、BD(Blu-ray(注册商标)Disc)、半导体存储器等。并且,也可以作为被记录在这些记录介质中的所述数字信号来实现。
并且,本发明可以通过电气通信电路、无线或有线通信电路、以因特网为代表的网络、以及数据广播等来传递所述计算机程序或所述数字信号。
并且,本发明可以是具备微处理器和存储器的计算机系统,所述存储器记忆上述计算机程序,所述微处理器按照所述计算机程序来工作。
并且,可以将所述程序或所述数字信号记录到所述记录介质并传送,或者可以将所述程序或所述数字信号通过所述网络等来传送,从而可以由独立的其它的计算机系统来执行。
(5)上述的实施例以及上述的变形例可以分别自由组合。
工业实用性
本发明所涉及的图像处理装置以及图像处理方法能够作为具有将图像数据分类为该图像数据所示的对象并进行管理的功能的设备,以及该设备所执行的图像处理方法等来发挥作用。并且,能够应用于计算机的图像处理软件等用途。
符号说明
100 图像处理装置
101 记录介质
102 获得部
103 对象检测部
104 特征量算出部
105 组信息制作部
106 选择部
107 缩略图制作部
108 输入装置
109 显示装置
151 检测结果数据库
152 组信息数据库
153 图像管理数据库
Claims (16)
1.一种图像处理装置,包括:
获得部,获得多个图像数据;
对象检测部,从由所述获得部获得的多个图像数据中检测多个对象,该多个对象的每一个由所述多个图像数据中的至少一个图像数据示出;
特征量算出部,算出由所述对象检测部检测的多个对象的每一个的特征量;
组信息制作部,在所述多个对象之中的至少一个对象的特征量满足规定的条件的情况下,制作示出第一组的第一组信息,所述第一组是,所述至少一个对象所属的、且与所述至少一个对象的特征量相对应的第一组;
选择部,从由所述组信息制作部制作的第一组信息所示的所述至少一个对象之中,选择成为缩略图制作的目标的对象;以及
缩略图制作部,利用示出由所述选择部选择的对象的图像数据,制作所述对象的缩略图。
2.如权利要求1所述的图像处理装置,
所述组信息制作部,在包含所述至少一个对象的两个以上的对象的各自的特征量满足包含于规定的大小的范围内这一所述规定的条件的情况下,制作示出所述两个以上的对象所属的所述第一组的所述第一组信息。
3.如权利要求2所述的图像处理装置,
所述组信息制作部,在(i)接受2以上的整数N的输入,且(ii)由所述特征量算出部算出的、包含所述至少一个对象的N个对象的每一个的特征量,包含于所述规定的大小的范围内的情况下,制作示出所述N个对象所属的所述第一组的所述第一组信息。
4.如权利要求1所述的图像处理装置,
所述组信息制作部,在所述至少一个对象的特征量满足超过阈值这一所述规定的条件的情况下,制作示出所述至少一个对象所属的所述第一组的所述第一组信息。
5.如权利要求1至4的任一项所述的图像处理装置,
所述组信息制作部,进一步,在由所述特征量算出部算出的其他的对象的特征量满足所述规定的条件的情况下,更新制作完毕的所述第一组信息,以使所述其他的对象属于所述第一组。
6.如权利要求5所述的图像处理装置,
所述选择部,选择所述第一组信息所示的所有的对象的每一个,以作为成为缩略图制作的目标的对象;
所述缩略图制作部,利用示出由所述选择部选择的所有的对象的每一个的图像数据,来制作所述所有的对象的缩略图。
7.如权利要求1至6的任一项所述的图像处理装置,
所述组信息制作部,进一步,在由所述特征量算出部算出的其他的对象的特征量不满足所述规定的条件,且,所述其他的对象的特征量和不满足所述规定的条件的既存的对象的特征量包含于规定的大小的范围内的情况下,制作示出所述其他的对象以及所述既存的对象所属的第二组的第二组信息;
所述选择部,进一步,根据所述第一组信息以及所述第二组信息的至少一方,选择成为缩略图制作的目标的对象。
8.如权利要求7所述的图像处理装置,
所述选择部,进一步,根据所述第一组信息以及所述第二组信息这双方,选择成为缩略图制作的目标的对象。
9.如权利要求1至5的任一项所述的图像处理装置,
所述选择部,从所述第一组信息所示的、包含所述至少一个对象的三个以上的对象中,选择具有与所述三个以上的对象的特征量的平均值最接近的特征量的对象,以作为缩略图制作的目标。
10.如权利要求9所述的图像处理装置,
所述选择部,进一步,从所述第一组信息所示的、包含所述至少一个对象的三个以上的对象中,选择具有与所述三个以上的对象的特征量的平均值的差为规定的值以上或者最大的特征量的对象,以作为缩略图制作的目标。
11.如权利要求1至10的任一项所述的图像处理装置,
所述缩略图制作部,在(a)制作的缩略图被记录到与所述图像处理装置连接的记录介质,(b)按照来自用户的规定的指示,所述缩略图从所述记录介质被删除的情况下,从所述记录介质中删除,与具有和该缩略图所对应的对象的特征量的差比规定的值小的特征量的对象相对应的、被记录在所述记录介质的其他的缩略图。
12.如权利要求11所述的图像处理装置,
所述缩略图制作部,进一步,在再次制作从所述记录介质删除了的所述缩略图的情况下,与该所述缩略图一同被删除了的所述其他的缩略图也被再次制作。
13.如权利要求1至12的任一项所述的图像处理装置,
多个对象的每一个为,人物的脸部、或者人物以外的一般物体的整体或一部分。
14.一种图像处理方法,包括:
获得步骤,获得多个图像数据;
对象检测步骤,从由所述获得步骤获得的多个图像数据中检测多个对象,该多个对象的每一个由所述多个图像数据中的至少一个图像数据示出;
特征量算出步骤,算出由所述对象检测步骤检测的多个对象的每一个的特征量;
组信息制作步骤,在所述多个对象之中的至少一个对象的特征量满足规定的条件的情况下,制作示出第一组的第一组信息,所述第一组是,所述至少一个对象所属的、且与所述至少一个对象的特征量相对应的第一组;
选择步骤,从由所述组信息制作步骤制作的第一组信息所示的所述至少一个对象之中,选择成为缩略图制作的目标的对象;以及
缩略图制作步骤,利用示出由所述选择步骤选择的对象的图像数据,制作所述对象的缩略图。
15.一种集成电路,包括:
获得部,获得多个图像数据;
对象检测部,从由所述获得部获得的多个图像数据中检测多个对象,该多个对象的每一个由所述多个图像数据中的至少一个图像数据示出;
特征量算出部,算出由所述对象检测部检测的多个对象的每一个的特征量;
组信息制作部,在所述多个对象之中的至少一个对象的特征量满足规定的条件的情况下,制作示出第一组的第一组信息,所述第一组是,所述至少一个对象所属的、且与所述至少一个对象的特征量相对应的第一组;
选择部,从由所述组信息制作部制作的第一组信息所示的所述至少一个对象之中,选择成为缩略图制作的目标的对象;以及
缩略图制作部,利用示出由所述选择部选择的对象的图像数据,制作所述对象的缩略图。
16.一种程序,使计算机执行以下的步骤:
获得步骤,获得多个图像数据;
对象检测步骤,从由所述获得步骤获得的多个图像数据中检测多个对象,该多个对象的每一个由所述多个图像数据中的至少一个图像数据示出;
特征量算出步骤,算出由所述对象检测步骤检测的多个对象的每一个的特征量;
组信息制作步骤,在所述多个对象之中的至少一个对象的特征量满足规定的条件的情况下,制作示出第一组的第一组信息,所述第一组是,所述至少一个对象所属的、且与所述至少一个对象的特征量相对应的第一组;
选择步骤,从由所述组信息制作步骤制作的第一组信息所示的所述至少一个对象之中,选择成为缩略图制作的目标的对象;以及
缩略图制作步骤,利用示出由所述选择步骤选择的对象的图像数据,制作所述对象的缩略图。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011-038467 | 2011-02-24 | ||
JP2011038467 | 2011-02-24 | ||
PCT/JP2012/001170 WO2012114727A1 (ja) | 2011-02-24 | 2012-02-21 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN102859525A true CN102859525A (zh) | 2013-01-02 |
Family
ID=46720519
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012800011556A Pending CN102859525A (zh) | 2011-02-24 | 2012-02-21 | 图像处理装置以及图像处理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130022244A1 (zh) |
JP (1) | JPWO2012114727A1 (zh) |
CN (1) | CN102859525A (zh) |
WO (1) | WO2012114727A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323634A (zh) * | 2014-06-27 | 2016-02-10 | Tcl集团股份有限公司 | 一种视频的缩略图生成方法及系统 |
CN107209772A (zh) * | 2015-02-04 | 2017-09-26 | 富士胶片株式会社 | 图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103489107B (zh) * | 2013-08-16 | 2015-11-25 | 北京京东尚科信息技术有限公司 | 一种制作虚拟试衣模特图像的方法和装置 |
US9424653B2 (en) * | 2014-04-29 | 2016-08-23 | Adobe Systems Incorporated | Method and apparatus for identifying a representative area of an image |
KR102209070B1 (ko) * | 2014-06-09 | 2021-01-28 | 삼성전자주식회사 | 동영상의 썸네일 영상을 제공하는 장치 및 방법 |
CN106919571A (zh) * | 2015-12-24 | 2017-07-04 | 北京奇虎科技有限公司 | 获取与搜索关键词相匹配的图片的方法及装置 |
JP6799779B2 (ja) * | 2016-10-07 | 2020-12-16 | パナソニックIpマネジメント株式会社 | 監視映像解析システム及び監視映像解析方法 |
US11169661B2 (en) * | 2017-05-31 | 2021-11-09 | International Business Machines Corporation | Thumbnail generation for digital images |
JP6797871B2 (ja) * | 2018-08-28 | 2020-12-09 | キヤノン株式会社 | プログラム |
WO2022230022A1 (ja) * | 2021-04-26 | 2022-11-03 | 日本電気株式会社 | 画像処理装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4569471B2 (ja) * | 2003-09-26 | 2010-10-27 | 株式会社ニコン | 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム |
JP4444633B2 (ja) * | 2003-11-12 | 2010-03-31 | 日本電信電話株式会社 | 画像分類装置、画像分類方法、および、プログラム |
US7822233B2 (en) * | 2003-11-14 | 2010-10-26 | Fujifilm Corporation | Method and apparatus for organizing digital media based on face recognition |
JP2007079641A (ja) * | 2005-09-09 | 2007-03-29 | Canon Inc | 情報処理装置及び情報処理方法及びプログラム及び記憶媒体 |
JP4228320B2 (ja) * | 2006-09-11 | 2009-02-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP4353259B2 (ja) * | 2007-02-22 | 2009-10-28 | ソニー株式会社 | 情報処理装置、画像表示装置、および、これらにおける制御方法ならびに当該方法をコンピュータに実行させるプログラム |
KR100827846B1 (ko) * | 2007-10-18 | 2008-05-07 | (주)올라웍스 | 동영상에 포함된 특정 인물을 검색하여 원하는 시점부터재생하기 위한 방법 및 시스템 |
CN101889282A (zh) * | 2008-10-06 | 2010-11-17 | 松下电器产业株式会社 | 代表图像显示装置及代表图像选择方法 |
JP5178611B2 (ja) * | 2009-04-15 | 2013-04-10 | 株式会社東芝 | 画像処理装置、画像処理方法及びプログラム |
JP5503921B2 (ja) * | 2009-08-21 | 2014-05-28 | ソニーモバイルコミュニケーションズ, エービー | 情報端末、情報端末の情報制御方法及び情報制御プログラム |
US20120075490A1 (en) * | 2010-09-27 | 2012-03-29 | Johney Tsai | Systems and methods for determining positioning of objects within a scene in video content |
-
2012
- 2012-02-21 WO PCT/JP2012/001170 patent/WO2012114727A1/ja active Application Filing
- 2012-02-21 CN CN2012800011556A patent/CN102859525A/zh active Pending
- 2012-02-21 US US13/639,526 patent/US20130022244A1/en not_active Abandoned
- 2012-02-21 JP JP2012527152A patent/JPWO2012114727A1/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105323634A (zh) * | 2014-06-27 | 2016-02-10 | Tcl集团股份有限公司 | 一种视频的缩略图生成方法及系统 |
CN105323634B (zh) * | 2014-06-27 | 2019-01-04 | Tcl集团股份有限公司 | 一种视频的缩略图生成方法及系统 |
CN107209772A (zh) * | 2015-02-04 | 2017-09-26 | 富士胶片株式会社 | 图像显示控制装置、图像显示控制方法、图像显示控制程序以及存放有该程序的记录介质 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012114727A1 (ja) | 2014-07-07 |
WO2012114727A1 (ja) | 2012-08-30 |
US20130022244A1 (en) | 2013-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102859525A (zh) | 图像处理装置以及图像处理方法 | |
CN106254933B (zh) | 字幕提取方法及装置 | |
JP4139615B2 (ja) | 前景/背景セグメント化を用いた画像のイベント・クラスタリング | |
JP5934653B2 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
EP2742442B1 (en) | A method for detecting a copy of a reference video, corresponding apparatus for extracting a spatio-temporal signature from video data and corresponding computer readable storage medium | |
CN106663196B (zh) | 用于识别主体的方法、系统和计算机可读存储介质 | |
WO2013031096A1 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
CN102509118B (zh) | 一种监控视频检索方法 | |
CN107609546B (zh) | 一种文字标题识别方法及装置 | |
US20150242689A1 (en) | System and method for determining graph relationships using images | |
CN109801260B (zh) | 牲畜个数的识别方法、装置、控制装置及可读存储介质 | |
JP2017211259A (ja) | 検査装置、検査方法、及びプログラム | |
CN103348381A (zh) | 图像识别装置、图像识别方法、程序及集成电路 | |
CN101286230B (zh) | 图像处理设备和图像处理方法 | |
CN103765421A (zh) | 内容控制方法、内容控制装置以及程序 | |
CN105718861A (zh) | 一种识别视频流数据类别的方法及装置 | |
CN105095853A (zh) | 图像处理装置及图像处理方法 | |
WO2017056312A1 (ja) | 画像処理プログラムおよび画像処理装置 | |
CN102831166A (zh) | 一种基于色彩特征检测的刑侦视频预处理方法 | |
CN104517119A (zh) | 图像分配装置以及图像分配方法 | |
CN103477317A (zh) | 内容显示处理装置、内容显示处理方法、程序以及集成电路 | |
CN102473278A (zh) | 图像处理装置、图像处理方法和存储介质 | |
CN104981837A (zh) | 电子相册生成装置以及电子相册的制造方法 | |
JP5027201B2 (ja) | テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム | |
US8805062B2 (en) | Image processing apparatus, computer readable medium for processing image and method for processing image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130102 |