CN103905700A - 图像处理设备、摄像设备和图像处理方法 - Google Patents

图像处理设备、摄像设备和图像处理方法 Download PDF

Info

Publication number
CN103905700A
CN103905700A CN201310740104.1A CN201310740104A CN103905700A CN 103905700 A CN103905700 A CN 103905700A CN 201310740104 A CN201310740104 A CN 201310740104A CN 103905700 A CN103905700 A CN 103905700A
Authority
CN
China
Prior art keywords
share zone
candidate
zone
region
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310740104.1A
Other languages
English (en)
Other versions
CN103905700B (zh
Inventor
田村裕佑
儿玉泰伸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103905700A publication Critical patent/CN103905700A/zh
Application granted granted Critical
Publication of CN103905700B publication Critical patent/CN103905700B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3872—Repositioning or masking
    • H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本发明提供一种图像处理设备、摄像设备和图像处理方法。图像处理设备以优选方式对包括多个被摄体的图像确定剪切位置。所述图像处理设备从所述图像指定被摄体区域，并且对于所指定的被摄体区域中的每一个设置多个候选剪切区域。所述图像处理设备基于对于所述多个候选剪切区域所获得的评价值和所述多个候选剪切区域之间的相似度，从所述多个候选剪切区域中选择预定数量的剪切区域。

Description

图像处理设备、摄像设备和图像处理方法
技术领域
本发明涉及一种图像处理设备、摄像设备和图像处理方法，尤其涉及一种图像剪切技术。
背景技术
近年来，不仅通过使用诸如数字照相机等的摄像设备，而且还通过使用图像管理应用程序等，从图像检测诸如人等的特定被摄体。日本专利4625356公开了一种根据检测到的特定被摄体来剪切图像的技术。
根据日本专利4625356，确定剪切位置以使得一个被摄体位于剪切出的图像中的预定位置处。然而，对于包括多个被摄体的图像使用日本4625356号所述的方法，可能导致执行以下并非希望的剪切。
例如，假定将剪切出的图像的优选构图设置成使得被摄体存在于在水平方向上将剪切出的图像三等分的直线上的情况。在如图16A所示，在图像1200中仅存在一个人(被摄体)1201的情况下，作为结果的剪切出的图像1202与所设置的优选构图相一致。另一方面，假定如图16B所示，在图像1210中存在两个人的情况。在这种情况下，如果剪切该图像以使得将人1211包含在优选构图中，则如作为结果的剪切出的图像1213所示，人1212的一部分可能未被包含在优选构图中。
另外，日本特开2007-19893公开了一种技术，该技术根据预先设置的预定条件，对于图像设置多个剪切区域，并且基于所设置的剪切区域，根据该图像生成多个剪切图像。
然而，如果如日本特开2007-19893所述，根据设置的多个剪切区域生成剪切图像，则可能生成多个类似的剪切图像。
发明内容
考虑到传统技术的这些问题做出本发明。本发明提供一种生成优选剪切图像的图像处理设备、摄像设备和图像处理方法。
本发明的第一方面，提供一种图像处理设备，其包括：指定部件，用于从图像指定被摄体区域；设置部件，用于针对所述指定部件所指定的每个被摄体区域，设置多个候选剪切区域；评价部件，用于获得所述设置部件所设置的多个候选剪切区域的评价值；以及选择部件，用于从所述多个候选剪切区域中选择预定数量的剪切区域，其中，所述选择部件基于所述多个候选剪切区域之间的相似度和所述多个候选剪切区域的评价值，选择所述预定数量的剪切区域。
本发明的第二方面，提供一种图像处理设备，其包括：指定部件，用于从图像指定被摄体区域；以及设置部件，用于针对所述指定部件所指定的每个被摄体区域，设置多个候选剪切区域，其中，所述设置部件设置所述候选剪切区域，以使得将所述被摄体区域配置在所述候选剪切区域中的预定位置处，并且所述设置部件根据所述指定部件所指定的被摄体区域的数量、大小、种类和配置中的至少一个，改变所述预定位置。
本发明的第三方面，提供一种摄像设备，其包括：上述的图像处理设备；以及摄像部件，用于拍摄图像。
本发明的第四方面，提供一种图像处理方法，其包括以下步骤：指定步骤，用于从图像指定被摄体区域；设置步骤，用于针对在所述指定步骤中所指定的每个被摄体区域，设置多个候选剪切区域；评价步骤，用于获得在所述设置步骤中所设置的多个候选剪切区域的评价值；以及选择步骤，用于从所述多个候选剪切区域中选择预定数量的剪切区域，其中，所述选择步骤基于所述多个候选剪切区域之间的相似度和所述多个候选剪切区域的评价值，选择所述剪切区域。
本发明的第五方面，提供一种图像处理方法，其包括以下步骤：指定步骤，用于从图像指定被摄体区域；以及设置步骤，用于针对在所述指定步骤中所指定的每个被摄体区域，设置多个候选剪切区域，其中，所述设置步骤设置所述候选剪切区域，以使得将所述被摄体区域配置在所述候选剪切区域中的预定位置处，并且所述设置步骤根据在所述指定步骤中所指定的被摄体区域的数量、大小、种类和配置中的至少一个，改变所述预定位置。
通过以下(参考附图)对典型实施例的说明，本发明的其他特征将显而易见。
附图说明
图1是示出根据本发明实施例的数字照相机100的功能结构的框图。
图2是示出通过图像处理单元105所执行的剪切处理所使用的内部结构的框图；
图3示出候选剪切区域的高宽比和大小的例子。
图4是示出用于设置候选被摄体区域的优先级的处理的例子的流程图。
图5A示出与候选被摄体区域的面积相对应的评价值的计算的例子，并且图5B示出与从图像的中心到候选被摄体区域的距离相对应的评价值的计算的例子。
图6是示出候选剪切区域确定处理的例子的流程图。
图7A示出面部区域的大小，图7B示出根据面部区域的大小所估计的身体区域的大小，图7C示出关注的被摄体的面部区域和身体区域中的至少一个与另一被摄体的面部区域或身体区域重叠的例子，并且图7D示出关注的被摄体的面部区域和身体区域中的至少一个与另一被摄体的面部区域或身体区域不重叠的例子。
图8示出用于说明单独剪切中关注的面部区域的优选配置的图。
图9是示出用于单独剪切的评价处理的例子的流程图。
图10A示出候选对象被摄体区域的在对象图像外部的突出量大的例子，并且图10B示出候选对象被摄体区域的在对象图像外部的突出量小的例子。
图11A、11B和11C示出用于说明用于在单独剪切的评价处理中计算评价值的方法的图。
图12示出用于说明多个剪切中的面部区域的优选配置的图。
图13是示出多个剪切的评价处理的例子的流程图。
图14是用于说明面部区域存在于候选剪切区域外部的情况下的处理的图。
图15是示出用于选择用于各被摄体区域的剪切区域的处理的例子的流程图。
图16A和16B是用于说明传统剪切技术的问题的图。
具体实施方式
实施例
现参考附图详细说明本发明的示例性实施例。应该注意，在下述的一个实施例中，将本发明应用于能够通过从对象图像剪切任意区域来生成图像的数字照相机，其中，该数字照相机用作为图像处理设备的一个例子。然而，本发明可应用于能够对于对象图像设置剪切区域的任何设备。
数字照相机100的结构
图1是示出根据本发明实施例的数字照相机100的功能结构的框图。
控制单元101是例如CPU，并且控制包括在数字照相机100中的块的操作。更具体地，控制单元101通过读取存储在ROM102中的用于这些块的操作程序、将所读取的操作程序加载至RAM103、并且执行该操作程序，控制这些块的操作。
ROM102是例如可写非易失性存储器。除用于数字照相机100中所包括的块的操作程序以外，ROM102还存储这些块的操作所需的参数等的信息。RAM103是易失性存储器。RAM103不仅用作为用于加载块的操作程序的区域，而且还用作为用于临时存储在这些块的操作中所输出的中间数据的存储区域。
图像信号获取单元104输出数字图像信号。例如，图像信号获取单元104是诸如CCD或CMOS传感器等的图像传感器。图像信号获取单元104对利用附图中未示出的光学系统通过摄像在摄像面上所形成的光学图像进行光电转换，获取模拟图像信号。图像信号获取单元104还对所获取的模拟图像信号进行诸如采样处理、增益调整处理和A/D转换处理等的预定图像处理，并且输出数字图像信号。图像信号获取单元104可以被配置成经由外部记录介质和网络而接收和输出任何图像信号。
图像处理单元105对数字图像信号(以下简称为图像)进行诸如颜色转换处理和放大/缩小处理等的图像处理。图像处理单元105还执行用于从输入图像提取任意区域的剪切处理。
图像处理单元105的具体结构
参考图2，下面进一步说明本实施例中与通过图像处理单元105所执行的剪切处理相关联的处理线的功能结构。
被摄体区域提取单元111检测与输入图像(对象)中所包括的特定被摄体相对应的被摄体区域。在下面的本实施例的说明中，被摄体提取单元111将与对象图像中所包括的人的面部相对应的面部区域检测为被摄体区域。然而，本发明的实施例不局限于此。例如，被摄体区域的种类可以包括除人以外的动物的面部和外观具有特定模式的被摄体。此外，在本实施例的下面的说明中，被摄体区域提取单元111根据与输入给图像处理单元105的对象图像相对应的亮度图像，检测被摄体区域。然而，被摄体区域不局限于根据亮度图像来检测。可选地，可以根据与对象图像相对应的色差信号来检测被摄体区域。例如，被摄体区域提取单元111输出对象图像中所检测到的面部区域的中心坐标和所检测到的面部区域的大小的信息，作为被摄体区域的检测结果。
此外，如果从输入图像未能检测到面部区域，则被摄体区域提取单元111将图像分成多个块，并且获得各块的色相，以检测除面部区域以外的被摄体。然后，通过将具有类似色相的相邻块组合为同一被摄体，提取按照色相所分组的区域。此后，在按照色相所分组的这些区域中，设置和输出与图像的边缘不邻接的、并且具有等于或大于预定大小的大小的区域，作为被摄体区域的候选(候选被摄体区域)。
当被摄体区域提取单元111设置了不是面部区域的多个候选被摄体区域时，区域优先级设置单元112进行计算以对于这多个所检测到的候选被摄体区域确定区域优先级顺序。区域优先级设置单元112基于例如图像中的候选被摄体区域的位置、大小和距离信息，计算候选被摄体区域的评价值，并且对于具有所计算出的较大评价值的区域设置更高优先级顺序。例如，如果基于位置计算评价值，则候选被摄体区域的重心坐标越接近图像的中心坐标，则基于位置的评价值越大。将评价值不小于阈值、并且优先级顺序在预定范围内(例如，最高或次最高的优先级顺序)的候选区域，确定为被摄体区域。稍后将参考图4说明用于设置区域的优先级的方法。
候选剪切区域设置单元113设置作为在剪切处理中要剪裁的区域的候选的候选剪切区域。根据本实施例的图像处理单元105执行剪切处理，以从通过摄像所获取的对象图像剪裁如下的区域的图像，其中，该区域的图像中的每一个均表现以优选方式配置被摄体区域的构图。为此，候选剪切区域设置单元113对于通过被摄体区域提取单元111所检测到的被摄体区域中的每一个，设置满足与被摄体区域的配置有关的条件的多个候选剪切区域。可选地，候选剪切区域设置单元113可以基于从区域优先级设置单元112所提供的评价值和优先级顺序的信息，从通过被摄体区域提取单元111所设置的候选被摄体区域中确定被摄体区域，并且对于所确定的被摄体区域中的每一个，设置多个候选剪切区域。在本实施例中，候选剪切区域设置单元113将如图3所示的高宽比和大小(像素数)的矩形区域设置为候选剪切区域。
剪切区域评价单元114基于候选剪切区域中的被摄体区域的位置，计算通过候选剪切区域设置单元113所设置的每一个候选剪切区域中的评价值。稍后在用于确定剪切区域的处理的说明中，将详细说明用于计算剪切区域评价单元114中的候选剪切区域的评价值的方法。
剪切区域选择单元115基于通过剪切区域评价单元114所计算出的评价值，从通过候选剪切区域设置单元113所设置的候选剪切区域中选择剪切区域。例如，在根据一个图像要生成一个剪切图像的情况下，剪切区域选择单元115选择剪切区域评价单元114计算出最高评价值的候选剪切区域作为剪切区域。另一方面，在根据一个图像要生成多个剪切图像的情况下，剪切区域选择单元115与稍后所述的相似度判断单元116合作，在这多个候选剪切区域中确定在数量上与要生成的剪切图像相对应的剪切区域。
在根据一个图像要生成多个剪切图像的情况下，相似度判断单元116判断候选剪切区域的相似度，并且将该判断的结果返回给剪切区域选择单元115，以防止剪切区域选择单元115选择具有相似构图的剪切区域。例如，相似度判断单元116从最高评价值开始依次从剪切区域选择单元115连续接收候选剪切区域，并且判断每一个所接收到的候选剪切区域和已确定的剪切区域之间的相似度。如果该判断的结果表示相似，则剪切区域选择单元115不将相应的候选剪切区域设置为剪切区域，并且从候选中忽略该候选剪切区域。另一方面，如果该判断的结果表示不相似，则剪切区域选择单元115将相应的候选剪切区域设置为剪切区域。剪切区域选择单元115重复输出用于相似度判断单元116的相似度判断的候选剪切区域，并且基于相似度重复进行选择/判断，直到作为剪切区域所选择的候选剪切区域的数量达到要输出的剪切图像的数量为止。稍后将参考图15说明用于判断相似度和剪切区域的方法。
应该注意，在根据一个图像要生成一个剪切区域的情况下，剪切区域选择单元115将仅选择一个剪切区域，因此，不必执行相似度判断单元116的处理。
剪切区域提取结果输出单元117基于由剪切区域选择单元115所选择的剪切区域的信息或者由相似度判断单元116确定作为最终的剪切区域的区域的信息来剪切对象图像，生成剪切图像，然后输出所生成的剪切图像。
数字照相机100的显示单元106是诸如LCD等的设置在数字照相机100中的显示装置。显示单元106显示例如通过由图像信号获取单元104进行的摄像所获取的并且经过由图像处理单元105所执行的剪切处理的图像、或者记录在记录介质107中的图像。
记录介质107是诸如设置在数字照相机100中的内置存储器或者诸如存储卡或HDD等的以可安装/可拆卸方式被连接至数字照相机100的记录装置等的记录装置。将通过由图像信号获取单元104进行的摄像所获取的并经过由图像处理单元105所执行的剪切处理的图像记录在记录介质107中。
尽管在假定数字照相机100中作为硬件所包括的块实现处理的前提下，说明了本实施例，但是本发明的实施例不局限于此，可选地，可以通过执行相同处理的程序来实现这些块的处理。
用于设置区域优先级的处理
参考图4的流程图，下面说明与用于在区域优先级设置单元112中对被摄体区域的多个候选(候选被摄体区域)设置优先级的方法有关的具体处理。应该注意，例如，当被摄体区域提取单元111没有检测到面部区域、因此基于色相设置了多个候选被摄体区域时，开始该流程图。
首先，在步骤S200，区域优先级设置单元112判断对于所有所检测到的候选被摄体区域是否完成了综合评价值的计算。如果没有完成该计算，则区域优先级设置单元112进入步骤S201的处理，并且如果完成了该计算，则进入步骤S206的处理。
在步骤S201，区域优先级设置单元112从所检测到的候选被摄体区域中，选择仍未计算综合评价值的候选被摄体区域(候选对象被摄体区域)，并且获取该候选对象被摄体区域的面积。在本实施例中，区域优先级设置单元112获取在设置候选对象被摄体区域时所使用的块的数量作为该面积。接着，基于在步骤S201所获取的块的数量，区域优先级设置单元112针对候选对象被摄体区域的面积计算评价值(步骤S202)。图5A示出对于候选对象被摄体区域的面积的评价值的计算的例子。更具体地，图5A示出候选对象被摄体区域与整个图像的面积比，即，同候选对象被摄体区域相关联的块的数量与块的总数的比，和对于该面积的评价值之间的关系。如图5A所示，对于候选对象被摄体区域的面积设置评价值，以使得候选对象被摄体区域的面积越大则评价值越高，这样就足够了。
此后，在步骤S203，区域优先级设置单元112计算从图像的中心到候选对象被摄体区域的距离。更具体地，区域优先级设置单元112首先计算从图像的中心到构成候选对象被摄体区域的块的距离。然后，使用所计算出的从图像的中心到构成候选对象被摄体区域的所有块的距离的平均值，作为从图像的中心到候选对象被摄体区域的距离。接着，在步骤S204，基于在步骤S203所计算出的与图像的中心的距离，区域优先级设置单元112针对从图像的中心到候选对象被摄体区域的距离计算评价值。图5B示出针对到图像的中心的距离的评价值的计算的例子。如图5B所示，针对从图像的中心到候选对象被摄体区域的距离设置评价值，以使得从图像的中心到候选对象被摄体区域的距离越大，则评价值越小，这样就足够了。
随后，在步骤S205，区域优先级设置单元112基于在步骤S202和S204所计算出这两种类型的评价值，计算候选对象被摄体区域的综合评价值。通过例如将在步骤S202和S204所计算出的这两种类型的评价值相乘来计算综合评价值，这样就足够了。在步骤S205的处理之后，区域优先级设置单元112返回至S200的处理，并且再次判断对于所有候选被摄体区域是否完成了综合评价值的计算，并且如果没有完成该计算，则对于下一候选被摄体区域重复上述处理。
如果对于所有候选被摄体区域完成了综合评价值的计算(步骤S200为“是”的分支)，则在步骤S206，区域优先级设置单元112从最高综合评价值开始依次将优先级顺序分配给候选被摄体区域。
候选剪切区域确定处理
参考图6的流程图，下面具体说明在被摄体区域提取单元111输出面部区域作为被摄体区域的情况下所执行的候选剪切区域确定处理。在控制单元101的控制下，通过候选剪切区域设置单元113和剪切区域评价单元114实现与该流程图相对应的处理。应该注意，在假定下面的前提下说明该候选剪切区域确定处理：当例如在设置了要进行自动剪切处理的对象图像之后，被摄体区域提取单元111检测到被摄体区域时，开始该候选剪切区域确定处理。还假定：在该候选剪切区域确定处理中，在对象图像中至少包括一个面部区域。
在步骤S301，候选剪切区域设置单元113获取通过被摄体区域提取单元111所检测到的面部区域(被摄体区域)的位置和大小的信息。
在步骤S302，候选剪切区域设置单元113判断对象图像中所包括的面部区域的数量是否等于或大于预定数量。在根据本实施例的数字照相机100中，如果对象图像中所包括的面部区域的数量等于或大于预定数量，则候选剪切区域设置单元113判断为对象图像是集体照片。也就是说，在集体照片的情况下，即使剪切区域(构图)被判断为是将一个面部区域配置在剪切出的图像中的优选位置，也可能存在未被配置在优选位置的大量面部区域。为此，在本实施例中，如果判断为拍摄了集体照片，也就是说，如果对象图像中所包括的面部区域的数量等于或大于预定数量，则候选剪切区域设置单元113不基于一个面部区域的配置来确定剪切区域。
尽管在假定如果对象图像中所包括的面部区域的数量等于或大于预定数量，则将拍摄的对象图像判断为是集体照片的前提下，说明了本实施例，但是可以基于面部区域的大小和其他条件的组合来判断对象图像是否是集体照片。例如，如果所拍摄的对象图像包括在摄像期间出现的不相关的人，则将该人的面部区域确定为集体照片中的被摄体是不适当的。鉴于此，例如，可以针对面部区域的大小设置范围，并且对于在判断对象图像是否是集体照片时所使用的面部区域，可以仅对大小落在所设置的范围内的面部区域进行计数。
如果判断为对象图像中所包括的面部区域的数量等于或大于预定数量，则候选剪切区域设置单元113进入步骤S309的处理，并且如果判断为对象图像中所包括的面部区域的数量小于预定数量，则进入步骤S303的处理。
在步骤S303，候选剪切区域设置单元113判断在对象图像中是否仅包括一个面部区域。在本实施例中，剪切区域评价单元114根据在对于剪切处理所设置的候选剪切区域中是否包括多个面部区域，使用不同的评价方法。为此，在该步骤中，候选剪切区域设置单元113使用适用于如下条件的评价方法：候选剪切区域中可包括的面部区域的数量确定是一个。如果判断为在对象图像中仅包括一个面部区域，则候选剪切区域设置单元113进入步骤S305的处理，并且如果判断为在对象图像中包括多个面部区域，则进入步骤S304的处理。
在步骤S304，候选剪切区域设置单元113判断这多个被摄体的配置，更具体地，与面部区域相对应的拍摄被摄体在对象图像中是否重叠。更确切地说，控制单元101针对与所检测到面部区域相对应的被摄体，估计被推测处于与所检测到的面部区域的下边缘邻接的身体的区域(身体区域)，并且判断这些身体区域是是否以预定比率以上与其他被摄体的身体区域或面部区域重叠。
例如，在图7A所示的面部区域的情况下，通过将面部区域的宽度和高度乘以如图7B所示的预先设置的系数，就足以估计身体区域。如果关注的被摄体的面部区域和身体区域中的至少一个与其他被摄体的面部区域或身体区域重叠，如图7C所示，则候选剪切区域设置单元113判断为不将这些面部区域分成不同的候选剪切区域。另一方面，如果关注的被摄体的面部区域和身体区域都不与其他被摄体的面部区域或身体区域重叠，如图7D所示，则判断为通过将与这些被摄体相对应的面部区域分成不同的候选剪切区域，获得优选构图。
尽管在本实施例中，在假定身体与面部区域的下边缘邻接的前提下，说明了用于设置身体区域的方法，但是本实施例不局限于此。例如，可以根据通过面部区域所计算出的面部的方位来设置身体区域。可选地，如果数字照相机100能够检测重力的方向，则可以在假定身体区域垂直存在于面部区域下方的前提下设置身体区域。可选地，在没有获得身体区域的情况下，可以基于面部区域之间的距离判断拍摄被摄体在对象图像是否重叠。
如果判断为与面部区域相对应拍摄被摄体在对象图像中重叠，则候选剪切区域设置单元113进入步骤S307的处理，并且如果判断为与面部区域相对应的拍摄被摄体在对象图像中不重叠，则进入步骤S305的处理。应该注意，可以对于所检测到的每一面部区域执行该步骤的处理。更具体地，可以进行控制，以使得候选剪切区域设置单元113仅针对被判断为与同对象图像中所包括的面部区域相对应的其他被摄体中的任何一个都不重叠的面部区域进行步骤S305的评价处理。在这种情况下，控制单元101进行控制以使得针对被判断为与同面部区域相对应的其他被摄体中的任一个重叠的面部区域进行步骤S307的评价处理，这就足够了。
在步骤S305，候选剪切区域设置单元113对于要从对象图像单独剪切的面部区域设置候选剪切区域。更具体地，候选剪切区域设置单元113顺序选择要单独剪切的面部区域(关注的面部区域)，并且对于所选择的面部区域中的每一个，设置多个模式的候选剪切区域。候选剪切区域设置单元113设置每一候选剪切区域，以使得将关注的面部区域配置在所设置的候选剪切区域中的当前位置处。在本实施例中，如图8所示，设置六种类型的候选剪切区域，其中，基于用于在水平方向和垂直方向上将候选剪切区域三等分以获得根据经验所优选考虑的构图的线段，确定关注的面部区域的位置。如上所述，根据本实施例的通过候选剪切区域设置单元113所设置的候选剪切区域，是符合五种类型的高宽比、并且每一高宽比具有三个大小的矩形区域。因此，对于一个关注的面部区域，设置5×3×6＝90种类型的候选剪切区域。应该注意，上述六种类型的构图仅是示例性的，并且可以使用其他类型的构图，诸如将面部区域配置在中心的构图和将面部区域配置在上部中心的构图等。
在步骤S306，剪切区域评价单元114针对在步骤S305所设置的所有候选剪切区域进行用于单独剪切的评价处理，以获取候选剪切区域的评价值。
评价处理(单独)
参考图9的流程图，下面具体说明在步骤S306所执行的用于单独剪切的评价处理。在下面的说明中，将作为该评价处理的对象的候选剪切区域称为“候选对象区域”。
在步骤S601，剪切区域评价单元114判断候选对象区域的一部分是否参考对象图像外部的区域。更具体地，如图10A所示，剪切区域评价单元114在该步骤中判断通过虚线所表示的候选对象区域是否将下面的区域包括到剪切区域：该区域突出到通过实线所表示的对象图像的范围外部。如果剪切区域评价单元114判断为候选对象区域参考了对象图像外部的区域，则控制单元101进入步骤S602的处理。如果剪切区域评价单元114判断为候选对象区域参考了对象图像内部的区域，则控制单元101进入步骤S604的处理。
在步骤S602，剪切区域评价单元114判断候选对象区域突出到对象图像外部的量是否等于或小于预先设置的阈值。在该步骤中，剪切区域评价单元114获取候选对象区域在水平方向和垂直方向上突出到对象图像外部的量(突出量)，并且判断突出量是否等于或小于允许微小调整候选对象区域的阈值。在图10A的例子中，由于候选对象区域仅在垂直方向上突出到对象图像外部，因而基于其在垂直方向上的突出量Δ来进行该判断。如果剪切区域评价单元114判断为突出量小于或等于预先设置的阈值，则控制单元101进入步骤S603的处理，并且如果判断为突出量超过预先设置的阈值，则进入步骤S605的处理。
在步骤S603，在控制单元101的控制下，候选剪切区域设置单元113根据在步骤S602所获取的突出量的信息，更新参考范围，从而使得候选对象区域适合在对象图像内。例如，如果如图10B所示，突出量Δ等于或小于允许微小调整的阈值，则仅通过将候选对象区域在突出的方向上，也就是说，垂直方向上平移Δ来更新候选对象区域，这样就足够了。
在步骤S604，剪切区域评价单元114计算候选对象区域的评价值。在本实施例中，通过相乘下面的四个值(E1、E2、E3、E4)来计算候选剪切区域的评价值E。
1.针对候选对象区域中关注的面部区域的面积比所确定的评价值E1。
2.针对关注的面部区域的配置位置所确定的评价值E2。
3.针对高宽比所确定的评价值E3。
4.抑制评价结果的偏差的随机值E4。
例如，如图11A所示，根据候选对象区域中关注的面部区域的面积比(占有率)，将范围Val1～Val2中的值设置为评价值E1。在图11A的例子中，在作为关注的面部区域的占有率R的优选范围所确定的范围R2≤R<3中，评价值E1取最大值Val2。在被判断为太小或太大的范围R<R1和范围R≥R4中，评价值E1取最小值Val1。此外，根据上述范围之间的中间范围R1≤R<R2和R3≤R<R4中的比，评价值E1取最大值和最小值之间的中间值。
尽管如图11A所示设置本实施例所述的评价值E1，但是本发明的实施例不局限于此。例如，如果由于过曝光的摄像，人后面的背景区域包括大量具有高光溢出的像素，则不将包括具有高光溢出的区域的剪切区域作为优选构图。在除与被摄体相对应的区域以外的区域包括具有高于预定亮度值的亮度值的像素、并且这些像素的比超过预定值的情况下，可以设置评价值E1，以使得关注的面部区域的占有率越高，则评价值E1越大。另一方面，例如，在由于曝光不足的摄像，对象图像整体表现低亮度氛围的情况下，如果关注的面部区域太大，则包括背景的对象图像的氛围不太可能保持在剪切出的图像中。在这种情况下，例如，可以设置评价值E1，以使得关注的面部区域的占有率越低，评价值E1越高。
例如，针对候选剪切区域中配置关注的面部区域的位置，如图11B所示设置评价值E2。更具体地，针对下面的候选剪切区域设置较高的评价值E2：在该候选剪切区域中，将关注的面部区域配置在在垂直方向上三等分候选剪切区域的线中的上面的线上和在水平方向上三等分候选剪切区域的线上，其中，三等分线用于设置根据经验所优选考虑的构图。应该注意，评价值E2的分布不局限于此，并且可以改变，以使得对根据摄像场景的判断结果和在摄像时所设置的摄像模式等所确定的优选构图给予高的评价。
根据对象图像的高宽比确定评价值E3，以使得对候选剪切区域所优选的高宽比给予高的评价值。剪切区域评价单元114计算包围对象图像中的面部区域和身体区域的最小矩形区域的高度Hobj和宽度Wobj，并且获得该矩形区域的高宽比，即，Wobj/Hobj。假定将图3所示的候选剪切区域的高宽比表示为Wtri:Htri，则剪切区域评价单元114使用下面的公式获得两个高宽比之间的相似度值。
(i)在Wobj/Hobj<Wtri/Htri的情况下:
外观相似度值＝(Wobj/Hobj)/(Wtri/Htri)
(ii)在Wobj/Hobj≥Wtri/Htri的情况下：
外观相似度值＝(Wtri/Htri)/(Wobj/Hobj)
如图11C所示，剪切区域评价单元114针对具有更接近1的外观相似度值的候选剪切区域设置较高的评价值E3。可选地，代替包围面部区域和身体区域的最小矩形区域的高宽比，剪切区域评价单元114可以基于对象图像的高宽比和候选剪切区域的高宽比，根据相似度值来确定候选剪切区域的评价值E3。
使用随机值E4改变评价结果，从而使得所自动设置的剪切区域每一次都不具有相同的构图。希望将随机值E4设置成例如范围0.9～1.1中的、对于其他评价值具有小的影响的值，以防止评价结果的明显变化，其中，评价结果的明显变化导致选择不想要的构图作为剪切区域。
在通过以上述方式将针对对于候选对象区域所获取的四个值相乘来计算评价值E之后，剪切区域评价单元114完成该评价处理。
如果剪切区域评价单元114在步骤S602判断为突出量超过了预先设置的阈值，则在步骤S605向候选对象区域分配评价值0(低评价)，然后完成该评价处理。
另一方面，如果想要进行剪切以包括多个面部区域，则候选剪切区域设置单元113在控制单元101的控制下，设置候选剪切区域。更具体地，候选剪切区域设置单元113将被判断为相互重叠的所有面部区域当作为一个组。然后，候选剪切区域设置单元113设置候选剪切区域，从而使得将该组中最左边的面部区域和最右边的面部区域配置在预先设置位置处。
对于最左边的面部区域和最右边的面部区域的条件，可以如图12所示。图12示出在对象图像包括两个面部区域的情况下对于配置位置的条件的例子。具体地，设置候选剪切区域，从而使得将最左边的面部区域配置在水平方向上三等分候选剪切区域的线中的左边的线上、以及(i)在垂直方向上三等分候选剪切区域的线中的上面的线、(ii)在垂直方向上三等分候选剪切区域的线之间的中间部分和(iii)在垂直方向上三等分候选剪切区域的线中的下面的线中的一个上。另外，设置候选剪切区域，从而使得将最右边的面部区域配置在水平方向上三等分候选剪切区域的线中的右边的线上、以及(i)在垂直方向上三等分候选剪切区域的线中的上面的线、(ii)在垂直方向上三等分候选剪切区域的线之间的中心部分和(iii)在垂直方向上三等分候选剪切区域的线中的下面的线中的一个上。
因此，在该步骤，针对“所有”对象面部区域设置5×3×6＝90种类型的候选剪切区域。
在步骤S308，在控制单元101的控制下，剪切区域评价单元114对于在步骤S307中所设置的所有候选剪切区域进行用于多个剪切的评价处理，以获取这些候选剪切区域的评价值。
评价处理(多个)
参考图13的流程图，下面具体说明在该步骤所执行的用于多个剪切的评价处理。在下面的说明中，给予包括与上述用于单独剪切的评价处理中的处理相同处理的步骤以相同附图标记，并且省略对其的说明。
在直到与候选对象区域和对象图像之间的关系有关的步骤S603的处理之后，剪切区域评价单元114在步骤S1001判断该组的所有面部区域是否都包括在候选对象区域中。如果剪切区域评价单元114判断为所有面部都包括在候选对象区域中，则控制单元101进入步骤S1004的处理，并且如果判断为所有面部区域未都包括在候选对象区域中，则进入步骤S1002的处理。
剪切区域评价单元114判断被定义为包括该组的所有面部区域的最小矩形区域突出到候选对象区域外部的量，是否等于或小于预先设置的阈值。在本实施例中，剪切区域评价单元114获取在水平方向和垂直方向上面部区域突出到候选对象区域外部的突出量，并且判断突出量是否等于或小于允许微小调整候选对象区域的阈值。更具体地，在该组的面部区域中，获取最上面的、最下面的、最左边的和最右边的面部区域的在候选对象区域外部的突出量，并且在该判断中使用这些突出量。如果剪切区域评价单元114判断为突出量小于或等于预先设置的阈值，则控制单元101进入步骤S1003的处理，并且如果判断为突出量超过预先设置的阈值，则进入步骤S605的处理。
在步骤S1003，在控制单元101的控制下，候选剪切区域设置单元113根据在步骤S1002所获取的突出量的信息，更新参考范围，从而使得该组的所有面部区域适合在候选对象区域内。例如，如果如图14所示，在垂直方向上的突出量Δ等于或小于允许微小调整的阈值，则仅通过在垂直方向上将候选对象区域平移Δ来更新候选对象区域，这样就足够了。如果即使在该步骤中更新了候选对象区域的位置，该组中的所有面部区域也不适合在候选对象区域内，则处理进入步骤S605。可选地，可以在下面的状态，在稍后所述的步骤S1004计算评价值：在该状态下，所有面部区域不适合在候选对象区域内，并且可以使用通过将所计算出的评价值乘以小于1的系数(例如，0.8)所获得的值，作为新的评价值。
在以上述方式设置了候选对象区域时，类似于用于单独剪切的评价处理的步骤S604，剪切区域评价单元114在步骤S1004计算候选对象区域的评价值，然后完成该评价处理。在该步骤所使用的评价方法可以与针对单独剪切的情况所使用的评价方法相同或不同。当使用与对于单独剪切的情况所使用的方法相同的方法时，使用针对候选对象区域中的所有面部区域所计算出的占有率的平均值作为评价值E1，并且使用针对所有面部区域的配置位置的评价值的总和作为评价值E2。可以简单设置评价值E2，以使得该组中的最下面的面部区域和候选对象区域的下边缘之间的距离越长，则评价值E2越大。
另一方面，如果在候选剪切区域确定处理的步骤S302，控制单元101判断为对象图像中所包括的面部区域的数量等于或大于预定数量，则候选剪切区域设置单元113在步骤S309设置用于集体照片的候选剪切区域。更具体地，候选剪切区域设置单元113设置以对象图像中的所有面部区域的重心位置作为中心的候选剪切区域。如上所述，在本实施例中，预先设置候选剪切区域，以符合五种类型的高宽比和用于每一高宽比的三个大小，因此，在该步骤设置5×3＝15种类型的候选剪切区域。
在步骤S310，在控制单元101的控制下，剪切区域评价单元114计算在步骤S309所设置的所有候选剪切区域的评价值。尽管这里没有具体说明用于集体照片的剪切的评价处理，但是在包括所有面部区域的前提下，将进行该评价。
这样结束对于用于在对象图像包括至少一个面部区域的情况下确定候选剪切区域的方法的说明。
尽管在上述说明中，根据所检测到的面部区域的数量改变评价方法，但是本发明的实施例不局限于此。也就是说，很容易地预测，将上述用于多个剪切的评价处理应用于针对仅包括一个面部区域的对象图像所设置的候选剪切区域，将不会有任何问题。
现说明用于在被摄体区域提取单元111输出了候选被摄体区域的情况下，也就是说，在对象图像不包括面部区域的情况下确定候选剪切区域的方法。如上所述，在对象图像不包括任何面部区域的情况下，基于该评价值和通过区域优先级设置单元112所计算出的优先级顺序，确定被摄体区域。
对于面部区域，候选剪切区域设置单元113判断与面部区域相对应的拍摄被摄体在对象图像中是否重叠，相反，对于不是面部区域的被摄体区域，不进行该判断。这是因为认为，用户不会受到除面部以外的被摄体向剪切区域外部的突出的困扰。因此，在对象图像不包括任何面部区域的情况下，使用与对于检测到了一个面部区域的情况所使用的方法相同的方法针对每一被摄体区域来设置候选剪切区域，这样就足够了。
更具体地，在获取不是面部区域的被摄体区域的位置和大小的信息时，候选剪切区域设置单元113基于在水平方向和垂直方向上三等分候选剪切区域的线段，确定被摄体区域的位置。可选地，可以设置候选剪切区域，从而使得不是面部区域的被摄体区域位于中心，或者候选剪切区域可以仅包括不是面部区域的被摄体区域的一部分。在这些情况下，被摄体区域将至少占每一候选剪切区域的50％，并且设置候选剪切区域，以使得被摄体区域在水平方向或者垂直方向上的两端不突出到候选剪切区域外部。
然后，剪切区域评价单元114对于所设置的所有候选剪切区域进行用于单独剪切的评价处理，以获取候选剪切区域的评价值。此时，对于面部区域执行与评价处理相同的处理就足够了。
用于选择剪切区域和判断相似度的方法
接着说明相似度判断单元116和剪切区域选择单元115中用于选择剪切区域的方法。
图15是本实施例中用于基于针对候选剪切区域所计算出的评价值从对一个被摄体区域所设置的候选剪切区域中确定剪切区域的方法的流程图。每当确定一个剪切区域时，完成该流程图的处理，但是重复执行该处理，直到选择了针对一个被摄体区域所预先设置的剪切区域的数量(要生成的剪切区域的数量)为止。此外，如果对象图像包括多个被摄体区域，则该处理从最高优先级开始顺序选择所检测到的被摄体区域，并且执行该处理，直到对于每一被摄体区域设置了预定数量的剪切区域为止。
首先，在步骤S1501，剪切区域选择单元115从所设置的候选剪切区域中选择被计算出了最大评价值的候选剪切区域，作为候选判断对象。剪切区域选择单元115然后将所选择的候选判断对象的信息输出给相似度判断单元116。
在步骤S1502，根据所接收到的候选判断对象的信息，相似度判断单元116判断作为判断对象所选择的候选剪切区域(候选判断对象)和针对同一被摄体区域已确定的剪切区域之间在高宽比方面的相似度。更具体地，相似度判断单元116将已确定的所有剪切区域的高宽比与候选判断对象的高宽比进行比较，如果它们之间的差落在预定范围内，则进入步骤S1503的处理。另一方面，如果它们之间的差未落在预定范围内，则相似度判断单元116向剪切区域选择单元115输出表示不相似的判断结果，并且进入步骤S1506的处理。然后，在步骤S1506，剪切区域选择单元115将候选判断对象确定为正在处理中的被摄体区域的剪切区域中的一个，并且完成该选择处理。
在步骤S1503，相似度判断单元116判断候选判断对象和对于同一被摄体区域已确定的剪切区域之间在大小方面的相似度。相似度判断单元116将已确定的所有剪切区域的大小与候选判断对象的大小进行比较，如果它们之间的差落在预定范围内，则进入步骤S1504的处理。另一方面，如果它们之间的差未落在预定范围内，则相似度判断单元116向剪切区域选择单元115输出表示不相似的判断结果，并且进入步骤S1506的处理。
在步骤S1504，相似度判断单元116判断候选判断对象和针对同一被摄体区域已确定的剪切区域之间在剪切范围方面的相似度。首先，相似度判断单元116获取所有剪切区域和候选判断对象的区域开始坐标(例如，区域左上角的坐标)。然后，相似度判断单元116计算剪切区域的区域开始坐标和候选判断对象的区域开始坐标之间在水平方向和垂直方向上的差，如果这些差中的任一个同时满足以下提供的两个条件式，则相似度判断单元116向剪切区域选择单元115输出表示相似的判断结果，并且进入步骤S1505的处理。如果这些差中没有一个满足这些条件式中的至少一个，则相似度判断单元116向剪切区域选择单元115输出表示不相似的判断结果，并且进入步骤S1506的处理。
(水平方向上的区域开始坐标之间的差)/(水平方向上剪切区域中的像素的数量)<1/2
(垂直方向上的区域开始坐标之间的差)/(垂直方向上剪切区域中的像素的数量)<1/2
在步骤S1505，基于所接收到的判断结果，剪切区域选择单元115不将候选判断对象确定为剪切区域，并且从候选剪切区域中省略候选判断对象。然后，剪切区域选择单元115选择当前进行了该判断的候选判断对象的、具有第二最大评价值的候选剪切区域，作为新的候选判断对象，将新的候选判断对象的信息输出给相似度判断单元116，并且返回至步骤S1502的处理。
在针对一个被摄体区域要生成多个剪切图像的情况下，上述处理可以省略对于具有相似构图的剪切区域的设置。
将这样所确定的剪切区域的信息传送给剪切区域提取结果输出单元117。剪切区域提取结果输出单元117根据所传送的信息，针对对象图像进行剪切处理，并且输出作为结果的剪切图像。
如上所述，根据本实施例的图像处理设备检测要进行剪切的、所获得的对象图像中所包括的特定被摄体。对于该对象图像，图像处理设备设置并评价一个以上的如下的候选剪切区域：利用该候选剪切区域，将一个所检测到的被摄体配置在剪切区域中满足预定条件的位置处。
这使得不仅可以设置被摄体在剪切区域中的配置位置，而且还可以设置具有包括所有特定被摄体的优选构图的剪切区域。
此外，如果具有大的评价值的候选剪切区域与针对同一被摄体区域已选择的其他剪切区域相似，则不选择该候选剪切区域作为剪切区域，因此，可以抑制生成多个相似的剪切图像。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (18)

1.一种图像处理设备，其包括：
指定部件，用于从图像指定被摄体区域；
设置部件，用于针对所述指定部件所指定的每个被摄体区域，设置多个候选剪切区域；
评价部件，用于获得所述设置部件所设置的多个候选剪切区域的评价值；以及
选择部件，用于从所述多个候选剪切区域中选择预定数量的剪切区域，
其中，所述选择部件基于所述多个候选剪切区域之间的相似度和所述多个候选剪切区域的评价值，选择所述预定数量的剪切区域。
2.根据权利要求1所述的图像处理设备，其中，
所述选择部件在忽略被判断为与在先已选择的剪切区域相似的候选剪切区域的情况下，从最高评价值开始依次从所述多个候选剪切区域中选择所述预定数量的剪切区域。
3.根据权利要求2所述的图像处理设备，其中，
所述选择部件从满足如下的条件的候选剪切区域中选择所述预定数量的剪切区域：该候选剪切区域的高宽比和在先已选择的每个剪切区域的高宽比之间的差在预先设置的范围外。
4.根据权利要求2所述的图像处理设备，其中，
所述选择部件从满足如下的条件的候选剪切区域中选择所述预定数量的剪切区域：该候选剪切区域的大小和在先已选择的每个剪切区域的大小之间的差在预先设置的范围外。
5.根据权利要求2所述的图像处理设备，其中，
所述选择部件从满足如下的条件的候选剪切区域中选择所述预定数量的剪切区域：该候选剪切区域的区域开始坐标和在先已选择的每个剪切区域的区域开始坐标之间的差在针对该在先已选择的剪切区域的宽度和高度而预先设置的范围外。
6.根据权利要求1所述的图像处理设备，其中，
所述评价部件基于面积和到图像中心的距离，获得所述多个候选剪切区域的评价值。
7.根据权利要求1所述的图像处理设备，其中，还包括：
生成部件，用于从所述图像提取由所述选择部件所选择的剪切区域定义的区域的图像，并且输出所提取的图像。
8.一种图像处理设备，其包括：
指定部件，用于从图像指定被摄体区域；以及
设置部件，用于针对所述指定部件所指定的每个被摄体区域，设置多个候选剪切区域，
其中，所述设置部件设置所述候选剪切区域，以使得将所述被摄体区域配置在所述候选剪切区域中的预定位置处，并且所述设置部件根据所述指定部件所指定的被摄体区域的数量、大小、种类和配置中的至少一个，改变所述预定位置。
9.根据权利要求8所述的图像处理设备，其中，
在所述指定部件指定了多个被摄体区域的情况下，所述设置部件基于所述多个被摄体区域的位置，针对所述多个被摄体区域中的每一个被摄体区域设置多个候选剪切区域，或者针对包括所述多个被摄体区域的区域设置多个候选剪切区域。
10.根据权利要求9所述的图像处理设备，其中，
在所述多个被摄体区域重叠的情况下，所述设置部件针对包括所述多个被摄体区域的区域，设置多个候选剪切区域。
11.根据权利要求8所述的图像处理设备，其中，
在所述指定部件指定了预定数量以上的被摄体区域的情况下，所述设置部件针对包括所述预定数量以上的被摄体区域的区域，设置候选剪切区域。
12.根据权利要求8所述的图像处理设备，其中，
所述设置部件针对所述指定部件所指定的被摄体区域，设置具有不同数量的像素和不同的高宽比的候选剪切区域。
13.根据权利要求8所述的图像处理设备，其中，
在所述设置部件未能以使得将所述指定部件所指定的被摄体区域配置在所述预定位置处的方式设置所述候选剪切区域的情况下，所述设置部件设置所述候选剪切区域，以使得将所述被摄体区域配置在从所述预定位置偏移的位置处。
14.根据权利要求8所述的图像处理设备，其中，还包括：
评价部件，用于获得所述设置部件所设置的多个候选剪切区域的评价值；以及
选择部件，用于从所述多个候选剪切区域中选择预定数量的剪切区域。
15.一种摄像设备，其包括：
根据权利要求1～7中任一项所述的图像处理设备；以及
摄像部件，用于拍摄图像。
16.一种摄像设备，其包括：
根据权利要求8～14中任一项所述的图像处理设备；以及
摄像部件，用于拍摄图像。
17.一种图像处理方法，其包括以下步骤：
指定步骤，用于从图像指定被摄体区域；
设置步骤，用于针对在所述指定步骤中所指定的每个被摄体区域，设置多个候选剪切区域；
评价步骤，用于获得在所述设置步骤中所设置的多个候选剪切区域的评价值；以及
选择步骤，用于从所述多个候选剪切区域中选择预定数量的剪切区域，
其中，所述选择步骤基于所述多个候选剪切区域之间的相似度和所述多个候选剪切区域的评价值，选择所述剪切区域。
18.一种图像处理方法，其包括以下步骤：
指定步骤，用于从图像指定被摄体区域；以及
设置步骤，用于针对在所述指定步骤中所指定的每个被摄体区域，设置多个候选剪切区域，
其中，所述设置步骤设置所述候选剪切区域，以使得将所述被摄体区域配置在所述候选剪切区域中的预定位置处，并且所述设置步骤根据在所述指定步骤中所指定的被摄体区域的数量、大小、种类和配置中的至少一个，改变所述预定位置。
CN201310740104.1A 2012-12-26 2013-12-26 图像处理设备、摄像设备和图像处理方法 Expired - Fee Related CN103905700B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2012283671 2012-12-26
JP2012-283671 2012-12-26
JP2012286167 2012-12-27
JP2012-286167 2012-12-27
JP2013-234313 2013-11-12
JP2013234313A JP5882975B2 (ja) 2012-12-26 2013-11-12 画像処理装置、撮像装置、画像処理方法、及び記録媒体

Publications (2)

Publication Number Publication Date
CN103905700A true CN103905700A (zh) 2014-07-02
CN103905700B CN103905700B (zh) 2017-10-20

Family

ID=50071301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310740104.1A Expired - Fee Related CN103905700B (zh) 2012-12-26 2013-12-26 图像处理设备、摄像设备和图像处理方法

Country Status (6)

Country Link
US (1) US10115178B2 (zh)
JP (1) JP5882975B2 (zh)
CN (1) CN103905700B (zh)
DE (1) DE102013226164B4 (zh)
GB (2) GB2529734B (zh)
RU (1) RU2587410C2 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528786A (zh) * 2015-12-04 2016-04-27 小米科技有限责任公司 图像处理方法及装置
JP2019029884A (ja) * 2017-08-01 2019-02-21 株式会社東芝 画像処理装置
CN109495687A (zh) * 2018-12-21 2019-03-19 努比亚技术有限公司 拍照方法、装置、终端及存储介质
CN110557515A (zh) * 2018-05-30 2019-12-10 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN112655196A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理设备、程序及图像处理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292756B2 (en) * 2013-12-10 2016-03-22 Dropbox, Inc. Systems and methods for automated image cropping
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
JP2019029998A (ja) * 2017-07-28 2019-02-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、および制御プログラム
JP7094691B2 (ja) * 2017-11-22 2022-07-04 キヤノン株式会社 放射線撮影システム、放射線撮影方法、制御装置及びプログラム
US11462009B2 (en) 2018-06-01 2022-10-04 Apple Inc. Dynamic image analysis and cropping
WO2020031284A1 (ja) * 2018-08-08 2020-02-13 株式会社日立ビルシステム エレベータ診断システム
CN109948494B (zh) * 2019-03-11 2020-12-29 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
US11030465B1 (en) * 2019-12-01 2021-06-08 Automotive Research & Testing Center Method for analyzing number of people and system thereof
CN111583273A (zh) * 2020-04-29 2020-08-25 京东方科技集团股份有限公司 可读存储介质、显示装置及其图像处理方法
TWI800814B (zh) * 2021-04-12 2023-05-01 宏碁股份有限公司 影像拼接方法
WO2023163217A1 (ja) * 2022-02-28 2023-08-31 富士フイルム株式会社 処理装置、処理方法、及び処理プログラム
WO2023189829A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139371A1 (en) * 2004-12-29 2006-06-29 Funmail, Inc. Cropping of images for display on variably sized display devices
US20080181512A1 (en) * 2007-01-29 2008-07-31 Andrew Gavin Image editing system and method
US20100156931A1 (en) * 2008-12-18 2010-06-24 Canon Kabushiki Kaisha Automatic image cropping
US7831901B1 (en) * 2007-02-16 2010-11-09 Adobe Systems Incorporated Systems and methods employing multiple crop areas
US20100290705A1 (en) * 2008-09-08 2010-11-18 Yusuke Nakamura Image Processing Apparatus and Method, Image Capturing Apparatus, and Program

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS4625356Y1 (zh) 1967-05-17 1971-09-01
US5978519A (en) * 1996-08-06 1999-11-02 Xerox Corporation Automatic image cropping
GB2370438A (en) * 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
US6898316B2 (en) * 2001-11-09 2005-05-24 Arcsoft, Inc. Multiple image area detection in a digital image
US7162102B2 (en) * 2001-12-19 2007-01-09 Eastman Kodak Company Method and system for compositing images to produce a cropped image
JP2004274428A (ja) * 2003-03-10 2004-09-30 Konica Minolta Holdings Inc 画像処理方法、画像処理装置、記憶媒体及びプログラム
US7286723B2 (en) * 2003-06-27 2007-10-23 Hewlett-Packard Development Company, L.P. System and method for organizing images
US7573486B2 (en) * 2003-08-18 2009-08-11 LumaPix Inc. Method and system for automatic generation of image distributions
US8739060B2 (en) * 2003-09-29 2014-05-27 Eqapez Foundation, L.L.C. Method and system for displaying multiple aspect ratios of a viewport
US7656543B2 (en) * 2004-11-12 2010-02-02 Hewlett-Packard Development Company, L.P. Albuming images
AU2004231206A1 (en) * 2004-11-19 2006-06-08 Canon Kabushiki Kaisha Displaying a plurality of images in a stack arrangement
US7528846B2 (en) * 2005-02-23 2009-05-05 Microsoft Corporation Systems and methods to adjust a source image aspect ratio to match a different target display aspect ratio
JP4625356B2 (ja) * 2005-03-30 2011-02-02 セイコーエプソン株式会社 ユーザ負担を低減した画像のトリミング
US20060222243A1 (en) * 2005-04-02 2006-10-05 Newell Martin E Extraction and scaled display of objects in an image
TWI309026B (en) * 2005-04-12 2009-04-21 Newsoft Technology Corp Method for auto-cropping image objects and method for detecting image object contour
JP4929631B2 (ja) 2005-07-08 2012-05-09 カシオ計算機株式会社 画像生成装置、及び画像生成方法
JP2007020122A (ja) * 2005-07-11 2007-01-25 Canon Inc 画像処理装置、画像処理装置の制御方法およびプログラム
US7529390B2 (en) * 2005-10-03 2009-05-05 Microsoft Corporation Automatically cropping an image
JP4624948B2 (ja) * 2006-03-22 2011-02-02 富士フイルム株式会社 画像のトリミング方法および撮像装置
JP4493631B2 (ja) * 2006-08-10 2010-06-30 富士フイルム株式会社 トリミング装置および方法並びにプログラム
US7403643B2 (en) * 2006-08-11 2008-07-22 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8578267B2 (en) * 2006-09-28 2013-11-05 Hewlett-Packard Development Company, L.P. Graphic assembly layout with maximum page coverage and minimum content removal
US20080100642A1 (en) * 2006-10-31 2008-05-01 International Business Machines Corporation User definable aspect ratios for image regions
GB2451483B (en) * 2007-07-31 2012-05-30 Hewlett Packard Development Co Image processing method, system and computer readable medium
JP4850818B2 (ja) * 2007-11-30 2012-01-11 キヤノン株式会社 画像処理装置およびその方法
JP2009212929A (ja) * 2008-03-05 2009-09-17 Fujifilm Corp 画像トリミング範囲の評価方法、装置およびプログラム
JP4945486B2 (ja) 2008-03-18 2012-06-06 富士フイルム株式会社 画像重要度判定装置、アルバム自動レイアウト装置、プログラム、画像重要度判定方法およびアルバム自動レイアウト方法
US20090295787A1 (en) * 2008-06-02 2009-12-03 Amlogic, Inc. Methods for Displaying Objects of Interest on a Digital Display Device
US9165388B2 (en) * 2008-09-22 2015-10-20 International Business Machines Corporation Method of automatic cropping
US8385609B2 (en) * 2008-10-21 2013-02-26 Flashfoto, Inc. Image segmentation
US20100299621A1 (en) * 2009-05-20 2010-11-25 Making Everlasting Memories, L.L.C. System and Method for Extracting a Plurality of Images from a Single Scan
US8406515B2 (en) * 2009-06-24 2013-03-26 Hewlett-Packard Development Company, L.P. Method for automatically cropping digital images
EP2446618A4 (en) * 2009-06-24 2013-03-06 Hewlett Packard Development Co CREATING AN ALBUM OF MAGES
US8180178B2 (en) * 2009-06-24 2012-05-15 Hewlett-Packard Development Company, L.P. Autocropping and autolayout method for digital images
JP4844657B2 (ja) 2009-07-31 2011-12-28 カシオ計算機株式会社 画像処理装置及び方法
KR100999056B1 (ko) * 2009-10-30 2010-12-08 (주)올라웍스 이미지 컨텐츠에 대해 트리밍을 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP2011176747A (ja) * 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
JP5803058B2 (ja) 2010-03-30 2015-11-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9070182B1 (en) * 2010-07-13 2015-06-30 Google Inc. Method and system for automatically cropping images
JP5631181B2 (ja) 2010-12-01 2014-11-26 キヤノン株式会社 画像処理装置及びその制御方法、及びプログラム
JP5629562B2 (ja) 2010-12-01 2014-11-19 キヤノン株式会社 画像処理装置及びその制御方法、及びプログラム
JP5761991B2 (ja) 2010-12-24 2015-08-12 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
JP6019567B2 (ja) 2011-03-31 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9449411B2 (en) * 2011-04-29 2016-09-20 Kodak Alaris Inc. Ranking image importance with a photo-collage
US20120294514A1 (en) * 2011-05-19 2012-11-22 Xerox Corporation Techniques to enable automated workflows for the creation of user-customized photobooks
US9424765B2 (en) * 2011-09-20 2016-08-23 Sony Corporation Image processing apparatus, image processing method, and program
US9025836B2 (en) * 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US20130108119A1 (en) * 2011-10-28 2013-05-02 Raymond William Ptucha Image Recomposition From Face Detection And Facial Features
US8938116B2 (en) * 2011-12-08 2015-01-20 Yahoo! Inc. Image cropping using supervised learning
US9881354B2 (en) * 2012-03-15 2018-01-30 Microsoft Technology Licensing, Llc Image completion including automatic cropping
US9171404B1 (en) * 2015-04-20 2015-10-27 Popcards, Llc Augmented reality greeting cards

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060139371A1 (en) * 2004-12-29 2006-06-29 Funmail, Inc. Cropping of images for display on variably sized display devices
US20080181512A1 (en) * 2007-01-29 2008-07-31 Andrew Gavin Image editing system and method
US7831901B1 (en) * 2007-02-16 2010-11-09 Adobe Systems Incorporated Systems and methods employing multiple crop areas
US20100290705A1 (en) * 2008-09-08 2010-11-18 Yusuke Nakamura Image Processing Apparatus and Method, Image Capturing Apparatus, and Program
US20100156931A1 (en) * 2008-12-18 2010-06-24 Canon Kabushiki Kaisha Automatic image cropping

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105528786A (zh) * 2015-12-04 2016-04-27 小米科技有限责任公司 图像处理方法及装置
WO2017092289A1 (zh) * 2015-12-04 2017-06-08 小米科技有限责任公司 图像处理方法及装置
US10534972B2 (en) 2015-12-04 2020-01-14 Xiaomi Inc. Image processing method, device and medium
JP2019029884A (ja) * 2017-08-01 2019-02-21 株式会社東芝 画像処理装置
CN110557515A (zh) * 2018-05-30 2019-12-10 佳能株式会社 图像处理装置、图像处理方法和存储介质
US11308318B2 (en) 2018-05-30 2022-04-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
CN110557515B (zh) * 2018-05-30 2022-05-31 佳能株式会社 图像处理装置、图像处理方法和存储介质
CN112655196A (zh) * 2018-09-12 2021-04-13 索尼公司 图像处理设备、程序及图像处理方法
US11528429B2 (en) 2018-09-12 2022-12-13 Sony Corporation Image processing device, and image processing method
CN109495687A (zh) * 2018-12-21 2019-03-19 努比亚技术有限公司 拍照方法、装置、终端及存储介质

Also Published As

Publication number Publication date
GB2511194A (en) 2014-08-27
DE102013226164A1 (de) 2014-06-26
GB201423310D0 (en) 2015-02-11
DE102013226164B4 (de) 2022-04-28
JP5882975B2 (ja) 2016-03-09
GB2511194B (en) 2017-06-14
US10115178B2 (en) 2018-10-30
GB201322770D0 (en) 2014-02-05
RU2587410C2 (ru) 2016-06-20
CN103905700B (zh) 2017-10-20
RU2013157873A (ru) 2015-06-27
GB2529734A (en) 2016-03-02
GB2529734B (en) 2017-11-15
JP2014143673A (ja) 2014-08-07
US20140176612A1 (en) 2014-06-26

Similar Documents

Publication Publication Date Title
CN103905700A (zh) 图像处理设备、摄像设备和图像处理方法
CN102447832B (zh) 追踪设备和追踪方法
CN108389274B (zh) 停车场收费分账方法、装置、系统及计算机可读存储介质
CN102457665B (zh) 摄像设备、摄像系统和摄像设备的控制方法
CN101527860B (zh) 白平衡控制设备及其控制方法和摄像设备
CN107087107A (zh) 基于双摄像头的图像处理装置及方法
CN101996409B (zh) 图像处理设备和图像处理方法
EP2806629A1 (en) Electronic sensor and method for controlling the same
EP2950570B1 (en) Remote imaging method and remote imaging control device
CN105323425A (zh) 融合图像系统中的场景运动校正
CN101841653B (zh) 拍摄装置以及视场角调节方法
CN101605209A (zh) 摄像装置及图像再生装置
CN103888645A (zh) 摄像设备及用于控制摄像设备的方法
CN103905727A (zh) 被摄体区域跟踪设备及其控制方法
CN105516611A (zh) 摄像装置和摄影方法
US20150098621A1 (en) Video based method and system for automated side-by-side traffic load balancing
JP4973585B2 (ja) 画像のグループ化装置、およびカメラ
CN102542251A (zh) 被摄体检测装置以及被摄体检测方法
US10009539B2 (en) Image processing apparatus, image processing method, and program
JP2008033818A (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
JP4771536B2 (ja) 撮像装置及び主被写体となる顔の選択方法
JP6049846B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN114596537A (zh) 区域人流数据确定方法、装置、设备及存储介质
CN111654620A (zh) 拍摄方法及装置
CN117676315B (zh) 一种基于高像素相机形成预览双画面的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171020

CF01 Termination of patent right due to non-payment of annual fee