CN101843093A - 图像处理设备和方法、图像捕捉设备、以及程序 - Google Patents
图像处理设备和方法、图像捕捉设备、以及程序 Download PDFInfo
- Publication number
- CN101843093A CN101843093A CN200980100857A CN200980100857A CN101843093A CN 101843093 A CN101843093 A CN 101843093A CN 200980100857 A CN200980100857 A CN 200980100857A CN 200980100857 A CN200980100857 A CN 200980100857A CN 101843093 A CN101843093 A CN 101843093A
- Authority
- CN
- China
- Prior art keywords
- input picture
- image
- parts
- zone
- pruning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 196
- 238000000034 method Methods 0.000 title abstract description 9
- 238000003384 imaging method Methods 0.000 title abstract description 4
- 239000000203 mixture Substances 0.000 claims abstract description 409
- 238000013138 pruning Methods 0.000 claims description 172
- 230000033001 locomotion Effects 0.000 claims description 138
- 244000141353 Prunus domestica Species 0.000 claims description 86
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 238000003672 processing method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 96
- 238000004458 analytical method Methods 0.000 description 71
- 238000009966 trimming Methods 0.000 description 64
- 238000005457 optimization Methods 0.000 description 60
- 230000001815 facial effect Effects 0.000 description 39
- 238000001514 detection method Methods 0.000 description 26
- 239000000284 extract Substances 0.000 description 16
- 238000012216 screening Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 239000000872 buffer Substances 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 244000025254 Cannabis sativa Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013316 zoning Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/22—Cropping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明涉及使得即使对于除人以外的对象也可以修剪出具有最佳构图的图像的图像处理设备和方法、图像捕捉设备、以及程序。构图模式设置部件(33)基于输入图像中被关注的显著区域的数量、以及输入图像的场景来设置对应于输入图像的构图模式。基于构图模式设置部件(33)所设置的构图模式,构图分析部件(34)确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。本发明可应用于例如用于对捕捉图像的构图进行调整的图像处理设备。
Description
技术领域
本发明涉及图像处理设备和方法、图像捕捉设备、以及程序,特别地,涉及使得即使对于除人以外的对象也可以修剪出具有最佳构图的图像的图像处理设备和方法、图像捕捉设备、以及程序。
背景技术
在用诸如数码相机的图像捕捉设备来拍摄对象时,进行拍摄以取得喜欢的构图。由于在拍摄时适当地设置构图需要技巧,所以通过拍摄得到的图像并非总是具有期望的构图。在这种情况下,存在对图像执行修整以取得期望的构图的技术。
例如,提出了执行修整而不引起人体或重要背景的损失(参见例如专利文献1)。
专利文献1:日本未审查专利申请公开第2008-42800号
发明内容
技术问题
然而,根据专利文献1的技术是基于对象中包括人的假设,恐怕对于包括除人以外的对象的图像无法实现最佳修整。
本发明是鉴于以上情景做出的,并且使得即使对于除人以外的对象也可以修剪出具有最佳构图的图像。
技术方案
根据本发明第一方面的图像处理设备包括:设置装置,用于基于输入图像中被关注的显著区域的数量、以及输入图像的场景,设置对应于该输入图像的构图模式;以及确定装置,用于基于设置装置所设置的构图模式,确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。
图像处理设备可以进一步包括:修剪装置,用于从输入图像修剪出确定装置所确定的修剪区域。
确定装置可以基于设置装置所设置的构图模式,确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域的多个候选,图像处理设备可以进一步包括:显示装置,用于在输入图像上显示修剪区域的多个候选;以及选择装置,用于选择显示装置所显示的修剪区域的多个候选中的一个候选,并且修剪装置可以从输入图像修剪出选择装置所选择的修剪区域。
图像处理设备可以进一步包括:提取装置,用于提取输入图像中被关注的每个显著区域;以及甄别装置,用于甄别输入图像的场景。
确定装置可以确定修剪区域,以使得包括输入图像中所有被关注的显著区域的最小矩形区域的中心位置靠近输入图像中修剪区域的中心。
确定装置可以确定修剪区域,以使得修剪区域变得更大,并且使得包括输入图像中所有被关注的显著区域的最小矩形区域与修剪区域之间的公共区域变得更大。
确定装置可以确定修剪区域,以使得修剪区域不脱离输入图像。
图像处理设备可以进一步包括:判断装置,用于通过将输入图像的宽高比与预定阈值相比较来判断输入图像是否是全景图像,并且如果判断装置判定输入图像是全景图像,则确定装置可以基于设置装置所设置的构图模式,确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域的多个候选。
图像处理设备可以进一步包括:添加装置,用于将表示确定装置所确定的修剪区域的信息添加到输入图像作为EXIF(Exchangeable Image File,可交换图像文件)信息。
输入图像中被关注的对象可以包括在每个显著区域中,图像处理设备可以进一步包括:检测装置,用于检测对象的朝向,并且确定装置可以基于设置装置所设置的构图模式、以及检测装置所检测出的对象的朝向,确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。
输入图像中被关注的对象可以包括在每个显著区域中,图像处理设备可以进一步包括:运动方向确定装置,用于确定对象运动的方向,并且确定装置可以基于设置装置所设置的构图模式、以及运动方向确定装置所确定的对象运动的方向,确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。
图像处理设备可以进一步包括:总体运动计算装置,用于得出输入图像的总体运动;以及局部运动计算装置,用于得出每个显著区域的运动,并且运动方向确定装置可以基于总体运动计算装置所得出的输入图像的总体运动的朝向、以及局部运动计算装置所得出的每个显著区域的运动的朝向,确定对象运动的方向。
根据本发明第一方面的图像处理方法包括:设置步骤,用于基于输入图像中被关注的显著区域的数量、以及输入图像的场景,设置对应于输入图像的构图模式;以及确定步骤,用于基于设置步骤中所设置的构图模式,确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。
根据本发明第一方面的程序使得计算机执行包括如下步骤的处理:设置步骤,用于基于输入图像中被关注的显著区域的数量、以及输入图像的场景,设置对应于输入图像的构图模式;以及确定步骤,用于基于设置步骤中所设置的构图模式,确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。
根据本发明第二方面的图像捕捉设备包括:图像捕捉装置,用于捕捉对象;获取装置,用于获取图像捕捉装置捕捉到的捕捉图像的场景;设置装置,用于基于包括捕捉图像中被关注对象的显著区域的数量、以及获取装置所获取的场景,设置对应于捕捉图像的构图模式,以及确定装置,用于基于设置装置所设置的构图模式,确定捕捉图像中对于要从捕捉图像按该构图模式修剪出的图像而言最佳的修剪区域。
在本发明的第一方面中,基于输入图像中被关注的显著区域的数量、以及输入图像的场景来设置对应于输入图像的构图模式,并且基于所设置的构图模式确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。
在本发明的第二方面中,捕捉对象,获取捕捉到的捕捉图像的场景,基于包括捕捉图像中被关注对象的显著区域的数量、以及所获取的场景来设置对应于捕捉图像的构图模式,并且基于所设置的构图模式确定捕捉图像中对于要从捕捉图像按该构图模式修剪出的图像而言最佳的修剪区域。
根据本发明的第一和第二方面,即使对于除人以外的对象,也可以修剪出具有最佳构图的图像。
附图说明
[图1]图1是示出了应用了本发明的图像处理设备的实施例的功能配置实例的方框图。
[图2]图2是示出了显著区域提取部的功能配置实例的方框图。
[图3]图3是示出了图1的图像处理设备中的图像修剪处理的流程图。
[图4]图4是示出了显著区域的实例的图。
[图5]图5是示出了基于显著区域的数量以及场景设置的构图模式的图。
[图6]图6是示出了构图模式设置部件设置的构图模式的实例的图。
[图7]图7是示出了修剪区域确定处理的流程图。
[图8]图8是示出了能量函数Ec的系数的图。
[图9]图9是示出了三分构图中的显著区域的图。
[图10]图10是示出了九分构图的图。
[图11]图11是示出了能量函数Es的创建的图。
[图12]图12是示出了能量函数Ep的创建的图。
[图13]图13是示出了最佳修剪区域的实例的图。
[图14]图14是示出了最佳修剪区域的图像的实例的图。
[图15]图15是示出了图像处理设备的另一配置实例的方框图。
[图16]图16是示出了图15的图像处理设备中的图像修剪处理的流程图。
[图17]图17是示出了根据物体的构图模式的实例的图。
[图18]图18是示出了图像处理设备的又一配置实例的图。
[图19]图19是示出了图18的图像处理设备中的图像修剪处理的流程图。
[图20]图20是示出了修剪区域候选确定处理的流程图。
[图21]图21是示出了修剪区域候选的显示实例的图。
[图22]图22是示出了确认屏幕的显示实例的图。
[图23]图23是示出了图像处理设备的另一配置实例的方框图。
[图24]图24是示出了图23的图像处理设备中的图像修剪处理的流程图。
[图25]图25是示出了目标函数E的系数的图。
[图26]图26是示出了在全景图像中修剪出修剪区域候选的图像的图。
[图27]图27是示出了图像处理设备的又一配置实例的方框图。
[图28]图28是示出了图像处理设备的又一配置实例的方框图。
[图29]图29是示出了图28的图像处理设备中的图像修剪处理的流程图。
[图30]图30是示出了图像处理设备的又一配置实例的方框图。
[图31]图31是示出了图30的图像处理设备中的图像修剪处理的流程图。
[图32]图32是示出了应用了本发明的图像捕捉设备的实施例的功能配置实例的方框图。
[图33]图33是示出了图32的图像捕捉设备中的图像修剪处理的流程图。
[图34]图34是示出了图像处理设备的又一配置实例的方框图。
[图35]图35是示出了图34的图像处理设备中的图像修剪处理的流程图。
[图36]图36是示出了朝向检测处理的流程图。
[图37]图37是示出了图34的图像处理设备中的图像修剪处理的流程图。
[图38]图38是示出了朝向信息的图。
[图39]图39是示出了三分构图的图。
[图40]图40是示出了朝向信息的图。
[图41]图41是示出了图像处理设备的又一配置实例的方框图。
[图42]图42是示出了图41的图像处理设备中的图像修剪处理的流程图。
[图43]图43是示出了运动方向确定处理的流程图。
[图44]图44是示出了图41的图像处理设备中的图像修剪处理的流程图。
[图45]图45是示出了运动方向信息的图。
[图46]图46是示出了计算机的硬件配置实例的方框图。
具体实施方式
在下文中,将参照附图对本发明的实施例进行描述。应当注意,将以如下次序给出描述。
1.第一实施例
2.第二实施例
3.第三实施例
4.第四实施例
5.第五实施例
6.第六实施例
7.第七实施例
8.第八实施例
9.第九实施例
10.第十实施例
<第一实施例>
[图像处理设备的配置实例]
图1示出了应用了本发明的图像处理设备的实施例的功能配置实例。
图1中的图像处理设备11根据从诸如数码相机的图像捕捉设备输入的输入图像的显著区域和场景来设置构图模式,并输出最佳修剪区域中修剪出的图像作为基于该构图模式的输出图像。
图像处理设备11包括显著区域提取部件31、场景甄别部件32、构图模式设置部件33、构图分析部件34、以及图像修剪部件35。
输入到图像处理设备11的输入图像被提供给显著区域提取部件31、场景甄别部件32、以及图像修剪部件35。
显著区域提取部件31提取输入图像中被关注的显著区域,并将表示显著区域的显著区域信息提供给构图模式设置部件33。显著区域是输入图像中包括(环绕)对象(物体)的矩形区域。针对输入图像中的对象数量设置和提取显著区域。此外,显著区域信息是例如矩形区域顶点的位置等等。
图2示出了显著区域提取部件31的功能配置实例。
显著区域提取部件31包括显著性计算部件51、显著矩形区域确定部件52、以及面部矩形区域确定部件53。
显著性计算部件51得出关于输入图像的每个像素的特征量,并根据特征量计算各个像素的显著性。此处,特征量是图像边缘部分的尺寸、与附近像素的色调差、图像预定区域中的色彩分布、整个图像的平均色与每个像素的色调之间的差异等等。此外,显著性计算部件51根据各像素的显著性(特征量)生成对应于单个输入图像的显著性图,并将显著性图提供给显著矩形区域确定部件52。显著性计算部件51生成的显著性图可以说是表示如下区域的信息:该区域包括单个输入图像中被关注的对象。
另外,显著性计算部件51根据关于单个输入图像的每个像素所得出的特征量来计算面部性(面部相似性),从而生成对应于单个输入图像的面部性图,并将面部性图提供给面部矩形区域确定部件53。显著性计算部件51生成的面部性图可以说是表示如下区域的信息:该区域包括单个输入图像中被关注的面部。
显著矩形区域确定部件52基于来自显著性计算部件51的显著性图确定显著矩形区域,并将表示显著矩形区域的显著矩形区域信息提供给构图模式设置部件33。更具体地,在显著性图中,显著矩形区域确定部件52将显著性高于预定阈值的像素(位置)设置为矩形的中心,并将其附近的显著性低于另一阈值的像素(位置)设置为矩形的端点(顶点),从而确定显著矩形区域。
此外,如果确定了多个显著矩形区域,则当矩形的中心之间的距离小于预定距离时,将包括所有这些区域的最小矩形区域设置为显著矩形区域。
面部矩形区域确定部件53基于来自显著性计算部件51的面部性图确定面部矩形区域,并将表示面部矩形区域的面部矩形区域信息提供给构图模式设置部件33。更具体地,在面部性图中,面部矩形区域确定部件53将面部的鼻子的像素(位置)设置为矩形的中心,并将其附近的面部性出现突然改变(降低)的像素(位置)设置为矩形的端点(顶点),从而确定面部矩形区域。
应当注意,显著矩形区域确定部件52获得的显著矩形区域、以及面部矩形区域确定部件53获得的面部矩形区域统称为显著区域信息。
回到图1,场景甄别部件32对输入图像执行频率转换以提取频率信息,以频率信息作为特征量(矢量)来甄别输入图像的场景,并将作为甄别结果获得的、表示场景的场景信息提供给构图模式设置部件33。更具体地,场景甄别部件32通过使用用于学习以及例如诸如SVM(支持向量机)的机器学习的预设图像来执行场景甄别。
在SVM中执行两类别甄别(一对一甄别)。例如,将类别判定为类别“海岸”和其它类别、类别“乡村景观”和其它类别、类别“天空”和其它类别、类别“山”和其它类别等等,并且将它们各自的分值进行比较,其中使得具有最高分值的类别作为甄别的结果。
应当注意,虽然场景甄别部件32采用SVM,但这并非限制性的。例如,可以采用使用神经网络的模式识别、或者基于模式匹配的模式识别等。
构图模式设置部件33基于来自场景甄别部件32的场景信息、以及来自显著区域提取部件31的显著区域信息的数量来设置对应于输入图像的构图模式,并将构图模式提供给构图分析部件34。构图模式是与场景、以及显著区域(对象)的数量相关联地预先确定的。有关构图模式的详细内容将在后面参照图5进行描述。
基于来自构图模式设置部件33的构图模式,构图分析部件34确定输入图像中对于要按该构图模式修剪出的图像而言最佳的修剪区域,并将最佳修剪区域提供给图像修剪部件35。
构图分析部件34包括构图模型创建部件34a、安全模型创建部件34b、惩罚(penalty)模型创建部件34c、目标函数创建部件34d、以及优化部件34e。
构图模型创建部件34a基于来自构图模式设置部件33的构图模式创建表示修剪区域的构图模型。构图模型以预定能量函数Ec来表示。
安全模型创建部件34b创建用于防止修剪区域变得太小的安全模型。安全模型以预定能量函数Es来表示。
惩罚模型创建部件34c创建用于估算修剪区域的脱离输入图像的区域面积的惩罚模型。惩罚模型以预定能量函数Ep来表示。
目标函数创建部件34d根据表示构图模型的能量函数Ec、表示安全模型的能量函数Es、以及表示惩罚模型的能量函数Ep创建目标函数E。
优化部件34e确定使目标函数E最小化的修剪区域,并将修剪区域作为最佳修剪区域提供给图像修剪部件35。
有关能量函数Ec、Es和Ep、以及目标函数E的详细内容将在后面进行描述。
图像修剪部件35基于来自构图分析部件34的最佳修剪区域从所输入的输入图像修剪出最佳修剪区域的图像,并输出修剪出的图像。
[图像处理设备中的图像修剪处理]
接下来,参照图3中的流程图,将对图1的图像处理设备11中的图像修剪处理给出描述。
在步骤S11中,显著区域提取部件31生成对应于输入图像的显著性图和面部性图。更具体地,显著性计算部件51生成对应于输入图像的显著性图,并将显著性图提供给显著矩形区域确定部件52,并且还生成对应于输入图像的面部性图,并将面部性图提供给面部矩形区域确定部件53。
在步骤S12中,显著区域提取部件31基于显著性图和面部性图提取和确定输入图像中被关注的显著区域。更具体地,显著矩形区域确定部件52基于来自显著性计算部件51的显著性图确定显著矩形区域,并将表示显著矩形区域的显著矩形区域信息提供给构图模式设置部件33。此外,面部矩形区域确定部件53基于来自显著性计算部件51的面部性图确定面部矩形区域,并将表示面部矩形区域的面部矩形区域信息提供给构图模式设置部件33。
应当注意,虽然在步骤S12中显著矩形区域和面部矩形区域均被确定成显著区域,但面部矩形区域也可以被共同处理成显著矩形区域。
图4中示出了以此方式确定的显著区域的实例。
在图4中,输入图像P是在天空中飞的一只鸟(鹤)的图像。如图4中所示,根据步骤S12中的处理,这只鸟被关注,并且确定单个显著区域L以包括这只鸟。
回到图3中的流程图,在步骤S13中,场景甄别部件32对输入图像执行频率转换以提取频率信息,以频率信息作为特征量(矢量)来甄别输入图像的场景,并将作为甄别结果的、表示场景的场景信息提供给构图模式设置部件33。
在步骤S14中,构图模式设置部件33基于来自场景甄别部件32的场景信息、以及来自显著区域提取部件31的显著区域信息的数量,设置对应于输入图像的构图模式,并将该构图模式提供给构图分析部件34。
此处,参照图5,将对基于场景、以及显著区域(对象)的数量设置的构图模式给出描述。
在图5中,各种构图模式均是与场景“海岸”、“乡村景观”、“天空”、“山”、“高速公路”、“街道”、“城市”和“高层建筑物”中的每个场景、以及显著区域(对象)的数量相关联地确定的。
根据图5,例如,当场景为“海岸”的输入图像中显著区域的数量为0时(即,当只存在海岸的景观时),将水平构图设置为构图模式。当显著区域的数量为1时,将三分构图和水平构图设置为构图模式。此外,当显著区域的数量为2至5时,将对比构图和水平构图设置为构图模式,并且当显著区域的数量为6或更多时,将对比构图和水平构图设置为构图模式。
此外,当场景为“乡村景观”的输入图像中显著区域的数量为0时(即,当只存在乡村景观时),将径向构图设置为构图模式。当显著区域的数量为1时,将三分构图和径向构图设置为构图模式。此外,当显著区域的数量为2至5时,将对比构图和径向构图设置为构图模式,并且当显著区域的数量为6或更多时,将径向构图和图案构图设置为构图模式。
同样地,根据场景为“天空”的输入图像、场景为“山”的输入图像、场景为“高速公路”的输入图像等中的显著区域的数量来设置构图模式。
应当注意,当设置了两个构图模式时,设置满足这些构图中每个构图的构图模式。
此外,参照图5描述的与场景以及显著区域的数量相关联的构图模式可以提前设置,或者可以由用户适当地设置。
此处,参照图6,将对构图模式设置部件33设置的构图模式的实例给出描述。
图6中的构图A表示三分构图,其中对象放置在竖直线和水平线的交叉点上,从而提供了良好均衡的图像。
图6中的构图B表示对比构图,在这种构图中相似的对象或相同的对象并排布置。在构图B中,通过将主要对象放置得大并将其它对象放置得小,突出了主要对象。
图6中的构图C表示对角线构图,在期望产生韵律感时使用这种构图。另外,构图C是使得可以有效地利用狭窄区域的构图。
图6中的构图D表示径向构图,在期望产生开阔或扩张感时使用这种构图。对象的实例包括树枝和破云而出的日光。
图6中的构图E是水平构图,在期望给出横向扩张感时使用这种构图。可以通过在竖直方向上移动水平线的位置来改变主题。
图6中的构图F是竖直构图,在期望强调图像的竖直方向时使用这种构图。对象的实例包括树干和道路。
图6中的构图G是远景构图,在期望从没影点(图中对角线的交叉点)产生扩张感时使用这种构图。
图6中的构图H是图案构图,在这种构图中多个相似的对象有规则地放置,并且在期望产生韵律感或一致感时使用这种构图。
即,基于场景信息以及显著区域的数量,构图模式设置部件33从图6中所示的构图模式之中设置图5中与场景以及显著区域的数量相关联的构图模式。应当注意,构图模式的种类不限于图6中所示的八种,而是可以存在更多种模式。
例如,对于图4中所示的输入图像P,由于显著区域的数量为1,并且场景是“天空”,所以构图模式设置部件33设置三分构图(构图A),通过这种三分构图,这些内容在图5中相关联。
应当注意,在以下描述中,假设在步骤S14中将三分构图设置为输入图像P的构图模式。
回到图3中的流程图,在步骤S15中,构图分析部件34基于来自构图模式设置部件33的构图模式执行修剪区域确定处理,并确定输入图像中对于要按该构图模式修剪出的图像而言最佳的修剪区域。
[构图分析部件中的修剪区域确定处理]
此处,参照图7中的流程图,将对图3的流程图中的步骤S15中的修剪区域确定处理给出描述。
在步骤S31中,构图分析部件34的构图模型创建部件34a基于来自构图模式设置部件33的构图模式创建表示修剪区域的构图模型。换言之,构图模型创建部件34a得出关于构图模型的能量函数Ec。能量函数Ec以下面的公式(1)给出。
[公式1]
在公式(1)中,SVA表示显著区域的面积,并且GDLhn、GDLvn、以及GDPn以下面的公式(2)给出。
[公式2]
在公式(2)中,LDh、LDv、以及PD分别表示在输入图像中将水平方向分成三份的线(水平三分线)、将竖直方向分成三份的线(竖直三分线)、以及水平三分线和竖直三分线的交叉点(三分线交叉点),并且Pn表示显著区域的中心位置。此外,d是修剪区域对角线的长度,其以下面的公式(3)给出。
[公式3]
因此,公式(1)中的GDLhn、GDLvn、以及GDPn的值分别随着显著区域的中心位置靠近水平三分线、竖直三分线、以及三分线交叉点而变得更大。
此外,公式(1)中的系数αhn、αvn、以及αpn分别是如下这种参数:该参数根据下面的公式(4)给出的显著区域的宽高比“VA_aspect_ration”,如图8的从上至下的图所示而变化,假设显著区域的宽度和高度分别为“Crop_width”和“Crop_height”。在图8的从上至下的图中,水平轴表示宽高比“VA_aspect_ration”,而竖直轴表示系数αhn、αvn、以及αpn中每个系数的值。
[公式4]
VA_aspect_ration=VA_widthn/VA_heightn …(4)
根据图8顶部的图,当宽高比“VA_aspect__ration”为0至r_min时,系数αhn变成1.0,并且当宽高比“VA_aspect_ration”大于r_mid1时,系数αhn变成0.0。此外,当宽高比“VA_aspect_ration”为r_min至r_mid1时,系数αhn随着宽高比VA_aspect_ration增大而减小。即,在公式(1)中,系数αhn在显著区域被竖直伸长时变得有效。
根据图8中间的图,当宽高比VA_aspect_ration为0至r_mid2时,系数αvn变成0.0,并且当宽高比VA_aspect_ration大于r_max时,系数αvn变成1.0。此外,当宽高比VA_aspect_ration为r_mid2至r_max时,系数αvn随着宽高比VA_aspect_ration增大而增大。即,在公式(1)中,系数αvn在显著区域被水平伸长时变得有效。
根据图8底部的图,当宽高比VA_aspect_ration为0至r_min或者大于r_max时,系数αpn变成0.0,并且当宽高比VA_aspect_ration为r_mid1至r_mid2时,系数αpn变成1.0。此外,当宽高比VA_aspect_ration为r_min至r_mid1时,系数αpn随着宽高比VA_aspect_ration增大而增大,并且当宽高比VA_aspect_ration为r_mid2至r_max时,系数αpn随宽高比VA_aspect_ration增大而减小。即,在公式(1)中,系数αpn在显著区域形状接近于正方形时变得有效。
根据以上内容,公式(1)表示如果显著区域分别被竖直伸长、水平伸长、或者形状接近于正方形,则能量函数Ec的值随着显著区域靠近水平三分线、竖直三分线、以及三分线交叉点而变得更大。
例如,在图9的实例中,由于显著区域Rh被竖直伸长并接近水平三分线,显著区域Rv被水平伸长并接近竖直三分线,并且显著区域Rp形状接近于正方形并接近三分线交叉点,所以能量函数Ec变大。
虽然以上描述关注于采用三分构图作为构图模式的情况,但例如,如图10中所示,还可以采用通过进一步将三分构图中的单个划分区域划分成三份而获得的构图(九分构图)。根据九分构图,可以预见到的是,该构图提供较之三分构图而言的纵深。
关于九分构图的能量函数Ec以下面的公式(5)给出。
[公式5]
在公式(5)中,GdLhn、GdLvn、以及GdPn以下面的公式(6)给出。
[公式6]
在公式(6)中,Ldh、Ldv、以及Pd分别表示在九分构图中将水平方向分成九份的线(水平九分线)、将竖直方向分成九份的线(竖直九分线)、以及水平九分线和竖直九分线的交叉点(九分线交叉点)。然而,应当注意,如图10中所示,三分构图中心处所划分区域内的、水平九分线h1a、h1b与竖直九分线v1a、v1b之间的交叉点不包括在内。
此外,在公式(5)中,系数α3rd取0到1的值,并且是确定关于三分构图的能量函数的值与关于九分构图的能量函数的值之间的比率的参数。例如,当要应用的构图模式只是九分构图时,系数可以被设置为α3rd=0。
回到图7中的流程图,在步骤S32中,安全模型创建部件34b创建用于防止修剪区域变得太小的安全模型。换言之,安全模型创建部件34b创建关于安全模型的能量函数Es。能量函数Es以下面的公式(7)给出。
[公式7]
此处,如图11中所示,使输入图像内包括所有显著区域的最小矩形为完整显著矩形区域,其面积为SWVA,并且中心位置为PWVA。此外,使修剪区域的面积为SCrop,并且中心位置为PCrop。此外,使完整显著矩形面积与修剪区域之间公共区域的面积为SWVA&Crop。
此时,公式(7)的能量函数Es的值随着完整显著矩形区域与修剪区域之间公共区域的面积SWVA&Crop变得更大而变得更大(公式(7)的第一项)。
此外,公式(7)的能量函数Es的值随着修剪区域的中心位置PCrop与完整显著矩形区域的中心位置PWVA之间的距离变得更加接近而变得更大(公式(7)的第二项)。
在步骤S33中,惩罚模型创建部件34c创建用于估算修剪区域的脱离输入图像的区域面积的惩罚模型。换言之,惩罚模型创建部件34c创建关于惩罚模型的能量函数Ep。能量函数Ep以下面的公式(8)给出。
[公式8]
此处,如图12中所示,使修剪区域的面积为SCrop,并且使脱离输入图像区域的修剪区域的面积为SOver。
此时,公式(8)的能量函数Ep的值随着脱离输入图像区域的修剪区域的面积SOver变得更大而变得更大。应当注意,为了减少计算量,当修剪区域脱离输入图像区域时,可以将能量函数总是设置为Ep=1。
在步骤S34中,目标函数创建部件34d根据能量函数Ec、Es、以及Ep创建以下面的公式(9)给出的目标函数E。
[公式9]
E=1/(Cc×EC+CS×ES)+CP×EP …(9)
在公式(9)中,系数CC、CS、以及CP分别是关于能量函数Ec、Es、以及Ep的调整函数。公式(9)表示目标函数E的值越小,所获得的修剪区域变得越接近最佳修剪区域。
在步骤S35中,优化部件34e基于关于使目标函数E最小化的修剪区域的位置信息确定最佳修剪区域,并将最佳修剪区域提供给图像修剪部件35。更具体地,优化部件34e通过使用粒子群优化(PSO)来优化目标函数E。
在粒子群优化中,虽然多个变量随机改变,但随着变量中的一个变量靠近目标最佳值,其它变量也靠近最佳值,并且重复此处理以使得多个变量变成其各自的最佳值。
即,通过取修剪区域的修剪开始位置(水平方向/竖直方向)、以及修剪区域的尺寸(宽度/高度)作为变量,优化部件34e通过粒子群优化得出使目标函数E最小化的位置信息(修剪区域的开始位置和尺寸)。优化部件34e基于所得出的位置信息确定最佳修剪区域,并且处理返回步骤S15。
应当注意,在修剪区域的宽高比固定的情况下,优化部件34e可以将修剪区域的修剪开始位置(水平方向和竖直方向)、以及修剪区域的尺寸(宽度)设置为变量。此外,可以添加修剪区域的旋转角度作为变量。
图13中示出了以此方式确定的最佳修剪区域的实例。
如图13中所示,在输入图像P中,以如下这种方式确定最佳修剪区域Pc:该方式使得单只鸟被放置在三分构图中的三分线交叉点的位置处。
回到图3中的流程图,在步骤S16中,图像修剪部件35基于来自构图分析部件34的最佳修剪区域,从所输入的输入图像修剪出最佳修剪区域的图像,并输出修剪出的图像。例如,图像修剪部件35基于来自构图分析部件34的最佳修剪区域,在如图14中所示的三分构图中修剪出最佳修剪区域Pc的图像。
根据以上处理,可以基于与输入图像的场景、以及输入图像中显著区域的数量相关联的构图模式确定修剪区域。由于显著区域即使在对象并非人时也得以确定,所以即使对于除人以外的对象也可以修剪出具有最佳构图的图像。此外,由于构图模式是基于场景以及显著区域的数量设置的,所以无论输入图像的类别如何都可以修剪出具有最佳构图的图像。
虽然以上描述关注于与场景以及显著区域的数量相关联地提前确定的构图模式的配置,但还可以对输入图像执行物体识别,并根据物体设置构图模式。
<2.第二实施例>
[图像处理设备的配置实例]
图15示出了被配置成对输入图像执行物体识别、并根据物体设置构图模式的图像处理设备的配置实例。应当注意,在图15的图像处理设备111中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图15中的图像处理设备111与图1中的图像处理设备11的不同之处在于:提供了构图模式设置部件131来取代构图模式设置部件33。
应当注意,在图15中,场景甄别部件32甄别输入图像的场景,并将作为甄别结果获得的、表示场景的场景信息提供给构图模式设置部件131。
构图模式设置部件131识别来自场景甄别部件32的输入图像中的物体。此外,构图模式设置部件131基于来自场景甄别部件32的场景信息所表示的场景、以及识别出的物体来设置对应于输入图像的构图模式,并将构图模式提供给构图分析部件34。构图模式设置部件131针对各个场景存储提前确定了构图内物体的比例和放置的构图模式,并通过从所存储的构图模式之中根据场景和物体选择构图模式来设置构图模式。可以以使得增强构图平衡的方式来设置构图内物体的比例和放置。应当注意,具有针对各个场景提前确定的构图内物体的比例和放置的构图模式可以存储在未示出的数据库等中。
[图像处理设备中的图像修剪处理]
接下来,参照图16中的流程图,将对图15的图像处理设备111中的图像修剪处理给出描述。应当注意,由于图16的流程图中的步骤S111至S113、S115、以及S116中的处理与参照图3中的流程图描述的步骤S11至S13、S15、以及S16中的处理一样,所以略去了其描述。
即,在步骤S114中,构图模式设置部件131识别来自场景甄别部件32的输入图像中的物体。此外,构图模式设置部件131基于来自场景甄别部件32的场景信息所表示的场景、以及识别出的物体来设置对应于输入图像的构图模式,并将构图模式提供给构图分析部件34。
此处,参照图17,将对根据物体的构图模式的实例给出描述。
在图17所示的输入图像中,天空、岩石、草、以及人作为物体存在。在识别出图17所示的输入图像中的这些物体后,构图模式设置部件131从所存储的构图模式之中选择构图内天空、岩石、草、以及人的比例分别为30%、20%、40%、以及10%的构图模式。结果,最终修剪出图17中的输入图像上的框所表示的构图的图像。
根据以上处理,可以识别输入图像中的物体,并根据物体和场景设置构图模式。由于构图模式所确定的构图内的物体的比例和放置被设置成使得增强构图的平衡,所以可以修剪出具有最佳构图的图像。
虽然以上描述关注于只确定了输入图像中的一个修剪区域的配置,但也可以确定输入图像中的修剪区域的多个候选。
<3.第三实施例>
[图像处理设备的配置实例]
图18示出了被配置成用于确定输入图像中的修剪区域的多个候选的图像处理设备的配置实例。应当注意,在图18的图像处理设备211中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图18中的图像处理设备211与图1中的图像处理设备11的不同之处在于:提供了构图分析部件231来取代构图分析部件34,以及额外提供了显示部件232和操作输入部件233。
构图分析部件231基于来自构图模式设置部件33的构图模式,为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域的多个候选(修剪区域候选),并将修剪区域候选提供给显示部件232。此外,基于来自操作输入部件233的、表示选择了修剪区域候选之一的操作信号,构图分析部件231将所选择的修剪区域提供给图像修剪部件35
构图分析部件231包括构图模型创建部件231a、安全模型创建部件231b、惩罚模型创建部件231c、目标函数创建部件231d、以及优化部件231e。应当注意,由于构图模型创建部件231a至目标函数创建部件231d的功能与图1中的构图模型创建部件34a至目标函数创建部件34d一样,所以略去了其描述。
优化部件231e确定给出前n个最小目标函数E的修剪区域,并将这些修剪区域作为修剪区域候选提供给显示部件232。
显示部件232被配置成其上堆叠有作为触摸面板的操作输入部件233的监视器,并在输入图像上显示表示来自构图分析部件231的修剪区域候选的框或者显示用于向用户指示操作的操作图像。
操作输入部件233被配置成堆叠在显示部件232的显示表面上的触摸面板,并将根据用户操作的操作信号提供给构图分析部件231。
[图像处理设备中的图像修剪处理]
接下来,参照图19中的流程图,将对图18的图像处理设备211中的图像修剪处理给出描述。应当注意,由于图16的流程图中的步骤S211至S114中的处理与参照图3中的流程图描述的步骤S11至S14中的处理一样,所以略去了其描述。
即,在步骤S215中,构图分析部件231执行修剪区域候选确定处理,该处理基于来自构图模式设置部件33的构图模式,为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域的多个候选。
[构图分析部件中的修剪区域候选确定处理]
此处,参照图20中的流程图,将对图19的流程图中的步骤S215的修剪区域候选确定处理给出描述。应当注意,由于图20的流程图中的步骤S231至S234的处理与参照图7中的流程图描述的步骤S31至S34中的处理一样,所以略去了其描述。
即,在步骤S235中,优化部件231e确定给出前n个最小目标函数E的修剪区域,并将这些修剪区域作为修剪区域候选提供给显示部件232。
更具体地,例如,在通过使用粒子群优化对目标函数E执行优化后,优化部件231e保存此时的位置信息和本地最小值,并将具有较大变化的位置信息(按照目标函数E的值升序排列)的前n个集合提供给显示部件232,并且处理返回到步骤S15。
以此方式,构图分析部件231可以确定修剪区域候选。
回到图19中的流程图,在步骤S216中,例如,显示部件232以图21中所示的方式在输入图像上显示表示来自构图分析部件231的修剪区域候选的框。
图21中所示的显示部件232显示表示两个修剪区域候选的框,并命名为“候选1”和“候选2”,以用于标识这些候选中的每个候选。用户可以借助于作为堆叠在显示部件232上的触摸面板的操作输入部件233来选择“候选1”或“候选2”所表示的修剪区域候选。
在步骤S217中,构图分析部件231判断是否选择了修剪区域候选之一。即,构图分析部件231判断是否从操作输入部件233提供了表示选择了修剪区域候选之一的操作信号。
此时,当用户选择了图21中所示的“候选1”和“候选2”所表示的修剪区域候选之一时,显示如图22中所示的包括词语“此视角可以吗?”、“是”、“否”的确认屏幕。当在图22中通过用户在作为显示部件232上的触摸面板的操作输入部件233上的操作而选择了“是”时,表示选择了修剪区域候选之一的操作信号被提供给构图分析部件231。
如果在步骤S217中判定两个修剪区域候选均未被选择,则重复该处理直到提供了来自操作输入部件233的、表示选择了修剪区域候选之一的操作信号。
另一方面,如果在步骤S217中判定选择了修剪区域候选之一,则构图分析部件231基于来自操作输入部件233的、表示选择了修剪区域候选中之一的操作信号,将所选择的修剪区域提供给图像修剪部件35。
在步骤S218中,图像修剪部件35基于来自构图分析部件231的修剪区域,从所输入的输入图像中修剪出所选择的修剪区域的图像。
根据以上处理,由于可以显示最佳修剪区域的多个候选以用于选择,所以用户可以检查修剪区域的候选并做出选择。因此,可以修剪出具有匹配用户喜好的最佳构图的图像。
虽然以上没有提到输入图像的尺寸,但也可以输入全景图像作为输入图像。
<4.第四实施例>
[图像处理设备的配置实例]
图23示出了被配置成用于输入全景图像作为输入图像的图像处理设备的配置实例。应当注意,在图23的图像处理设备311中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图23中的图像处理设备311与图1中的图像处理设备11的不同之处在于:额外提供了全景甄别部件331,以及提供了构图分析部件332来取代构图分析部件34。
全景甄别部件331甄别输入图像是否是全景图像,并将甄别结果提供给构图分析部件332。
根据来自全景甄别部件331的甄别结果,基于来自构图模式设置部件33的构图模式,构图分析部件332为要按该构图模式修剪出的图像确定输入图像中的修剪区域,并将修剪区域提供给图像修剪部件35。
构图分析部件332包括构图模型创建部件332a、安全模型创建部件332b、惩罚模型创建部件332c、目标函数创建部件332d、以及优化部件332e。应当注意,由于构图模型创建部件332a、安全模型创建部件332b、以及惩罚模型创建部件332c的功能分别与图1中的构图模型创建部件34a、安全模型创建部件34b、以及惩罚模型创建部件34c一样,所以略去了其描述。
如果来自全景甄别部件331的甄别结果表示输入图像是全景图像,则目标函数创建部件332d将目标函数E中的能量函数Es项置零。
如果来自全景甄别部件331的甄别结果表示输入图像不是全景图像,则优化部件332e确定使目标函数E最小化的修剪区域,并将该修剪区域作为最佳修剪区域提供给图像修剪部件35。此外,如果来自全景甄别部件331的甄别结果表示输入图像是全景图像,则优化部件231e确定给出前n个最小目标函数E的修剪区域,并将这些修剪区域作为修剪区域候选提供给图像修剪部件35。
[图像处理设备中的图像修剪处理]
接下来,参照图24中的流程图,将对图23的图像处理设备311中的图像修剪处理给出描述。应当注意,由于图24的流程图中的步骤S311至S314中的处理与参照图3中的流程图描述的步骤S11至S14中的处理一样,所以略去了其描述。此外,由于图24的流程图中的步骤S318和S319中的处理与参照图3中的流程图描述的步骤S15和S16中的处理一样,所以略去了其描述。
即,在步骤S315中,全景甄别部件331甄别输入图像是否是全景图像。更具体地,使输入图像的宽度和高度分别为“In_width”和“In_height”,全景甄别部件331将下面的公式(10)所表示的宽高比In_aspect_ratio与预定阈值In_aspect_ratio_th相比较。
[公式10]
如果在步骤S315中甄别出输入图像是全景图像,则全景甄别部件331将宽高比In_aspect_ratio连同用于表示输入图像是全景图像的信息一起提供给构图分析部件332,并且处理前往步骤S316。
在步骤S316中,构图分析部件332基于来自全景甄别部件331的表示输入图像是全景图像的信息、以及宽高比In_aspect_ratio执行修剪区域候选确定处理。
应当注意,由于图23中的图像处理设备311所进行的修剪区域候选确定处理与以上参照图20中的流程图描述的图18中的图像处理设备211中的处理基本上一样,所以略去了其描述。
然而应当注意,在步骤S234中,目标函数创建部件332d将目标函数E中的能量函数Es项置零,其中步骤S234是图20的流程图中对应于图像处理设备311所进行的修剪区域候选确定处理的处理。更具体地,目标函数创建部件332d根据图25中所示的特性改变公式(9)所表示的目标函数E中的系数Cs的值。
图25示出了输入图像的宽高比In_aspect_ratio与目标函数E中的系数Cs之间的关系。
根据图25,当宽高比In_aspect_ratio大于预定阈值In_aspect_ratio_th时,目标函数E中的系数Cs的值变成0.0,并且当宽高比In_aspect_ratio小于预定阈值In_aspect_ratio_th时,目标函数E中的系数Cs的值变成1.0。即,当输入图像是全景图像时,在目标函数E中,将关于用于防止修剪区域变得太小的安全模型的能量函数设置为0。
相应地,将修剪区域候选提供给图像修剪部件35作为相对较小的修剪区域。
回到图24中的流程图,在步骤S317中,基于来自构图分析部件332的修剪区域候选,图像修剪部件35以如图26中所示的方式从所输入的输入图像(全景图像)修剪出修剪区域候选的图像,并输出修剪出的图像。
图26示出了全景图像中修剪区域候选的实例。在图26中,在全景图像(即输入图像)上设置表示三个修剪区域候选(候选1至3)的框。
回到图24中的流程图,如果甄别出输入图像不是全景图像,则全景甄别部件331将表示输入图像不是全景图像的信息提供给构图分析部件332。然后,处理前往步骤S318,并且确定最佳修剪区域。在步骤S319中,从输入图像修剪出最佳修剪区域的图像。
根据以上处理,当输入图像是全景图像时,可以确定多个小修剪区域候选。因此,用户可以从在全景图像中修剪出的多个构图中选择具有匹配用户喜好的最佳构图的图像。
虽然以上描述关注于只输出修剪区域图像作为输出图像的配置,但也可以将输入图像不做变化地连同修剪区域图像一起输出。
<5.第五实施例>
[图像处理设备的配置实例]
图27示出了被配置成用于将输入图像不做变化地连同修剪区域图像一起输出的图像处理设备的配置实例。应当注意,在图27的图像处理设备411中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图27中的图像处理设备411与图1中的图像处理设备11的不同之处在于:将输入图像不做变化地连同修剪区域图像一起输出。
根据以上配置,由于可以将输入图像不做变化地连同修剪区域图像一起输出,所以当这些图像被输出到显示设备时,用户可以将输入图像和修剪区域图像彼此相比较。例如,如果输入图像是用户用图像捕捉设备捕捉到的图像,则用户可以检查用户自身拍摄到图像的构图与修剪出的图像的构图之间的差异。
应当注意,由于图27中的图像处理设备411所进行的修剪区域候选确定处理与参照图3中的流程图描述的图1中的图像处理设备11中的处理基本上一样,所以略去了其描述。
虽然以上描述关注于在所确定的修剪区域的基础上从输入图像修剪出修剪区域的图像并将其输出的配置,但也可以只输出表示修剪区域的信息。
<6.第六实施例>
[图像处理设备的配置实例]
图28示出了被配置成用于只输出表示修剪区域的信息连同修剪区域图像的图像处理设备的配置实例。应当注意,在图28的图像处理设备511中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图28中的图像处理设备511与图1中的图像处理设备11的不同之处在于:移除了图像修剪部件35,并将输入图像不做变化地输出。
应当注意,图28中的构图分析部件34基于来自构图模式设置部件33的构图模式,为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域,并将表示最佳修剪区域的信息输出到外部设备等。
[图像处理设备中的图像修剪处理]
接下来,参照图29中的流程图,将对图28的图像处理设备511中的图像修剪处理给出描述。应当注意,由于图29的流程图中的步骤S511至S515中的处理与参照图3中的流程图描述的步骤S11至S15中的处理一样,所以略去了其描述。
即,在步骤S516中,图像处理设备511将输入图像不做变化地输出,并且构图分析部件34将表示输入图像中的所确定的最佳修剪区域的信息输出到外部设备等。
根据以上处理,由于可以将表示图像修剪区域的信息而非修剪区域的图像连同输入图像一起输出,所以可以减小图像处理设备511内的未示出的帧存储器的容量。
虽然以上描述关注于分别输出输入图像以及表示最佳修剪区域的信息的配置,但也可以将输入图像以及表示最佳修剪区域的信息作为单条数据输出。
<7.第七实施例>
[图像处理设备的配置实例]
图30示出了被配置成用于将输入图像以及表示最佳修剪区域的信息作为单条数据输出的图像处理设备的配置实例。应当注意,在图30的图像处理设备611中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图30中的图像处理设备611与图1中的图像处理设备11的不同之处在于:提供了添加部件631来取代图像修剪部件35。
应当注意,图30中的构图分析部件34基于来自构图模式设置部件33的构图模式,为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域,并将表示该最佳修剪区域的信息输出到添加部件631。
添加部件631将来自构图分析部件34的、表示最佳修剪区域的信息添加到所输入的输入图像作为EXIF信息,并输出结果作为输出图像。
[图像处理设备中的图像修剪处理]
接下来,参照图31中的流程图,将对图30的图像处理设备611中的图像修剪处理给出描述。应当注意,由于图31的流程图中的步骤S611至S615中的处理与参照图3中的流程图描述的步骤S11至S15中的处理一样,所以略去了其描述。
即,在步骤S616中,添加部件631将来自构图分析部件34的、表示最佳修剪区域的信息添加到所输入的输入图像作为EXIF信息,并输出结果作为输出图像。
根据以上处理,由于可以将表示最佳修剪区域的信息作为EXIF信息添加到输入图像并且将其输出,所以不生成修剪区域的图像,并且可以减小图像处理设备611内的未示出的帧存储器的容量。
虽然以上描述关注于用图像捕捉设备等捕捉到的图像作为输入图像来输出修剪区域的图像的图像处理设备,但图像捕捉设备也可以包括用于确定关于已捕捉到的捕捉图像的修剪区域的配置。
<8.第八实施例>
[图像捕捉设备的配置实例]
图32示出了被配置成用于确定关于已捕捉到的捕捉图像的修剪区域的图像捕捉设备的配置实例。应当注意,在图32的图像捕捉设备711中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图32中的图像捕捉设备711与图1中的图像处理设备11的不同之处在于:额外提供了图像捕捉部件731、图像处理部件732、以及显示部件733。
应当注意,图32中的构图分析部件34基于来自构图模式设置部件33的构图模式,为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域,并将该最佳修剪区域提供给图像修剪部件35和显示部件733。
图像捕捉部件731被配置成包括光学透镜、成像装置、以及A/D(模拟/数字)转换部件(均未示出)。在图像捕捉部件731中,成像装置接收入射在光学透镜上的光并执行光电转换从而捕捉对象,并且对所获得的模拟图像信号施加A/D转换。图像捕捉部件731将作为A/D转换结果获得的数字图像数据(捕捉图像)提供给图像处理部件732。
图像处理部件732对来自图像捕捉部件731的捕捉图像应用诸如去噪的图像处理,并将所得图像提供给显著区域提取部件31、场景甄别部件32、图像修剪部件35、以及显示部件733。
显示部件733在来自图像处理部件732的捕捉图像上显示表示来自构图分析部件34的最佳修剪区域的框、或者显示图像修剪部件35修剪出的最佳修剪区域的图像。
[图像捕捉设备中的图像修剪处理]
接下来,参照图33中的流程图,将对图32的图像捕捉设备711中的图像修剪处理给出描述。应当注意,由于图33的流程图中的步骤S713至S717中的处理与参照图3中的流程图描述的步骤S11至S15中的处理一样,所以略去了其描述。
即,在步骤S711中,图像捕捉部件731捕捉对象,并将所获得的捕捉图像提供给图像处理部件732。
在步骤S712中,图像处理部件732对来自图像捕捉部件731的捕捉图像应用诸如去噪的图像处理,并将所得图像提供给显著区域提取部件31、场景甄别部件32、图像修剪部件35、以及显示部件733。
在步骤S718中,显示部件733在来自图像处理部件732的捕捉图像上显示表示来自构图分析部件34的最佳修剪区域的框。此时,例如,当用户对未示出的操作输入部件进行操作,并且将表示用于修剪出最佳修剪区域的图像的指令的操作信号提供给图像修剪部件35时,处理前往步骤S719。
在步骤S719中,图像修剪部件35基于来自构图分析部件34的最佳修剪区域,从来自图像处理部件732的捕捉图像修剪出最佳修剪区域的图像。
在步骤S720中,显示部件733显示图像修剪部件35修剪出的最佳修剪区域的图像。
根据以上处理,可以基于与捕捉图像的场景以及捕捉图像中的显著区域的数量相关联的构图模式来确定修剪区域。由于显著区域在即使对象并非人时也得以确定,所以即使对于除人以外的对象也可以修剪出具有最佳构图的图像。此外,由于构图模式是基于场景以及显著区域的数量设置的,所以无论捕捉图像的类别如何都可以修剪出具有最佳构图的图像。
虽然以上描述关注于无论显著区域中所包括的对象朝向哪个方向都可以确定最佳修剪区域的配置,但也可以根据对象的朝向确定最佳修剪区域。
<9.第九实施例>
[图像处理设备的配置实例]
图34示出了被配置成用于根据对象的朝向确定最佳修剪区域的图像处理设备的配置实例。应当注意,在图34的图像处理设备811中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图34中的图像处理设备811与图1中的图像处理设备11的不同之处在于:额外提供了朝向检测部件831,以及提供了构图分析部件832来取代构图分析部件34。
应当注意,在图34中,显著区域提取部件31提取输入图像中被关注的显著区域,并将表示显著区域的显著区域信息提供给构图模式设置部件33和朝向检测部件831。此外,场景甄别部件32甄别输入图像的场景,将作为甄别结果获得的、表示场景的场景信息连同输入图像一起提供给构图模式设置部件131,并且还将场景信息提供给朝向检测部件831。
朝向检测部件831检测来自显著区域提取部件31的显著区域信息所表示的显著区域中所包括的对象的朝向,并将表示朝向的朝向信息提供给构图分析部件832。
基于来自构图模式设置部件33的构图模式、以及来自朝向检测部件831的朝向信息,构图分析部件832为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域,并将该最佳修剪区域提供给图像修剪部件35。
构图分析部件832包括构图模型创建部件832a、安全模型创建部件832b、惩罚模型创建部件832c、目标函数创建部件832d、以及优化部件832e。应当注意,由于构图模型创建部件832a至目标函数创建部件832d的功能分别与图1中的构图模型创建部件34a至目标函数创建部件34d一样,所以略去了其描述。
优化部件832e基于来自朝向检测部件831的朝向信息确定使目标函数E最小化的修剪区域,并将该修剪区域作为最佳修剪区域提供给图像修剪部件35。
[图像处理设备中的图像修剪处理]
接下来,参照图35中的流程图,将对图34的图像处理设备811中的图像修剪处理给出描述。应当注意,由于图35的流程图中的步骤S811至S814、以及S817中的处理与参照图3中的流程图描述的步骤S11至S14、以及S16中的处理一样,所以略去了其描述。此外,在参照图35中的流程图描述的图像修剪处理中,假设对象的数量(即,显著区域的数量)为1。
即,在步骤S815中,朝向检测部件831在输入图像中执行朝向检测处理,以检测来自显著区域提取部件31的显著区域信息所表示的显著区域中所包括的对象的朝向。
[朝向检测部件中的朝向检测处理]
此处,参照图36中的流程图,将对图35的流程图中的步骤S815的朝向检测处理给出描述。
在步骤S821中,朝向检测部件831判断来自显著区域提取部件31的显著区域信息所表示的显著区域是否是面部矩形区域。
如果在步骤S821中判定显著区域是面部矩形区域,即,如果来自显著区域提取部件31的显著区域信息是面部矩形区域信息,则处理前往步骤S822。
在步骤S822中,朝向检测部件831在输入图像中检测面部矩形区域信息所表示的面部矩形区域中所包括的面部的朝向,并将表示该朝向的朝向信息提供给构图分析部件832。
更具体地,例如,在通过预先学习作为学习样本的、朝向各个方向的面部图像而形成的树状结构中,朝向检测部件831从树状结构最上游的节点向末端节点对面部矩形区域中所包括的面部的图像重复进行甄别,从而识别出(检测出)面部的朝向。例如,朝向检测部件831预先学习朝向九个方向(前方、上方、下方、左方、右方、右上方、右下方、左上方、以及左下方)的面部图像,并从九个方向之中选择面部矩形区域中所包括的面部的朝向。
应当注意,朝向检测部件831当然可以不仅通过上述技术也可以通过其他技术来检测面部的朝向。
另一方面,如果在步骤S821中判定显著区域不是面部矩形区域,即,如果来自显著区域提取部件31的显著区域信息是面部矩形区域信息,则处理前往步骤S823。
在步骤S823中,基于来自场景甄别部件32的场景信息,朝向检测部件831在输入图像中检测显著矩形区域信息所表示的显著矩形区域中所包括的对象的朝向,并将表示朝向的朝向信息提供给构图分析部件832。
更具体地,朝向检测部件831针对各个场景存储包括如下这种图像的模板:在该图像中,场景中可以存在的物体朝向九个方向(前方、上方、下方、左方、右方、右上方、右下方、左上方、以及左下方);从根据来自场景甄别部件32的场景信息所表示的场景的模板之中,检索与显著矩形区域中所包括的对象对应的物体的模板;并基于所检索的模板执行模板匹配,从而识别出(检测出)显著矩形区域中所包括的对象的朝向。
例如,如果来自场景甄别部件32的场景信息所表示的场景是“草地”,并且显著矩形区域中所包括的对象是“花”,则朝向检测部件831从针对“草地”的模板中检索“花”的模板,并基于该模板执行模板匹配,从而识别出作为对象的“花”的朝向。
应当注意,朝向检测部件831当然可以不仅通过上述技术也可以通过其他技术来检测对象的朝向。
此外,在上文中,朝向检测部件831通过从对应于场景信息的模板之中使用对应于对象的物体的模板来识别对象及其朝向。然而,例如,朝向检测部件831还可以通过使用用于识别目标物体的识别器,基于输入图像中的特征量来判断输入图像中是否存在目标物体,从而识别出对象及其朝向,其中该目标对象是通过基于特征量执行统计学习处理而生成的。
以上述方式,朝向检测部件831在输入图像中检测显著区域中所包括的对象的朝向。
回到图35中的流程图,在步骤S816中,构图分析部件832基于来自构图模式设置部件33的构图模式、以及来自朝向检测部件831的朝向信息执行修剪区域确定处理,并为要接该构图模式修剪出的图像确定输入图像中的最佳修剪区域。
[构图分析部件中的修剪区域确定处理]
此处,参照图37中的流程图,将对图35的流程图中的步骤S816中的修剪区域确定处理给出描述。
应当注意,由于图37的流程图中的步骤S831至S834中的处理与参照图7中的流程图描述的步骤S31至S34中的处理一样,所以略去了其描述。
即,在步骤S835中,优化部件832e基于关于使目标函数E最小化的修剪区域的位置信息、以及来自朝向检测部件831的朝向信息确定最佳修剪区域,并将最佳修剪区域提供给图像修剪部件35。
如果显著区域中所包括的对象是面部,则例如,将图38中所示的朝向信息D10至D18中的一条从朝向检测部件831提供给优化部件832e。在图38中,当面朝该图时,示出了分别朝向前方、上方、右上方、右方、右下方、下方、左下方、左方、以及左上方的面部D10至D18,其中每个面部对应于表示面部朝向方向的朝向信息。即,朝向信息D10表示面部在输入图像中朝向前方,朝向信息D11表示面部朝向上方,并且朝向信息D12表示面部朝向右上方。同样地,朝向信息D13表示面部朝向右方,并且朝向信息D14表示面部朝向右下方。此外,朝向信息D15表示面部朝向下方,朝向信息D16表示面部朝向左下方,朝向信息D17表示面部朝向左方,并且朝向信息D18表示面部朝向左上方。
此处,假设将三分构图设置为构图模式,则优化部件832e根据朝向信息D10至D18确定对象(面部)在三分构图中的放置,得出关于使目标函数E最小化的修剪区域的位置信息,并基于该位置信息确定最佳修剪区域。
更具体地,例如,当朝向信息是朝向信息D13和D14中的一个时,即,当面部朝向右方或右下方时,优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P0上。此外,当朝向信息是朝向信息D16和D17中的一个时,即,当面部朝向左下方或左方时,优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P1上。此外,当朝向信息是朝向信息D12时,即,当面部朝向右上方时,优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P2上。此外,当朝向信息是朝向信息D18时,即,当面部朝向左上方时,优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P3上。
应当注意,当朝向信息是朝向信息D10和D15中的一个时,即,当面部朝向前方或下方时,优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P0和P1中的一个上。此外,当朝向信息是朝向信息D11时,即,当面部朝向上方时,优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P2和P3中的一个上。以此方式,在针对朝向信息选择了两种或更多种面部放置时,将放置确定为给出较小目标函数E的一种放置。
此处,存在较少用作用于将面部放置在图39中的三分线交叉点P0至P3之中下侧的三分线交叉点P2和P3上的条件的朝向信息的原因在于:当对象是整个人时,面部在构图中自然被朝上侧放置。然而,每个朝向信息与三分线交叉点之间的对应关系可以任意改变。
以上述方式,优化部件832e根据面部的朝向确定面部在三分构图中的放置。特别地,优化部件832e以如下这种方式确定面部的放置:该方式使得面部所朝向的一侧的空间在三分构图中变大。因此,位于作为对象的人的面部(视线)前面的物体或景观可以包括在修剪区域中,从而使得可以修剪出具有给出较大扩张感的最佳构图的图像。
此外,如果显著区域中所包括的对象是花,则例如,将图40中所示的朝向信息D20至D28中的一条从朝向检测部件831提供给优化部件832e。在图40中,当面朝该图时,示出了分别朝向前方、上方、右上方、右方、右下方、下方、左下方、左方、以及左上方的花D20至D28,其中每个花对应于表示花朝向方向的朝向信息。即,朝向信息D20表示花在输入图像中朝向前方,朝向信息D21表示花朝向上方,并且朝向信息D22表示花朝向右上方。同样地,朝向信息D23表示花朝向右方,并且朝向信息D24表示花朝向右下方。此外,朝向信息D25表示花朝向下方,朝向信息D26表示花朝向左下方,朝向信息D27表示花朝向左方,并且朝向信息D28表示花朝向左上方。
然后,假设将三分构图设置为构图模式,则优化部件832e根据朝向信息D20至D28确定对象(花)在三分构图中的放置,得出关于使目标函数E最小化的修剪区域的位置信息,并基于该位置信息确定最佳修剪区域。
更具体地,例如,当朝向信息是朝向信息D24时,即,当花朝向右下方时,优化部件832e确定花在图39中所示的三分构图中的放置为在三分线交叉点P0上。此外,当朝向信息是朝向信息D26时,即,当花朝向左下方时,优化部件832e确定花在图39中所示的三分构图中的放置为在三分线交叉点P1上。此外,当朝向信息是朝向信息D22和D23中的一个时,即,当花朝向右上方或右方时,优化部件832e确定花在图39中所示的三分构图中的放置为在三分线交叉点P2上。此外,当朝向信息是朝向信息D27和D28中的一个时,即,当花朝向左方或左上方时,优化部件832e确定花在图39中所示的三分构图中的放置为在三分线交叉点P3上。
应当注意,当朝向信息是朝向信息D25时,即,当花朝向下方时,优化部件832e确定花在图39中所示的三分构图中的放置为在三分线交叉点P0和P1中的一个上。此外,当朝向信息是朝向信息D20和D21中的一个时,即,当花朝向前方或上方时,优化部件832e确定花在图39中所示的三分构图中的放置为在三分线交叉点P2和P3中的一个上。以此方式,在针对朝向信息选择了两种或更多种花放置时,将放置确定为给出较小目标函数E的一种放置。
此处,存在较少用作用于将花放置在图39中的三分线交叉点P0至P3之中上侧的三分线交叉点P0和P1上的条件的朝向信息的原因在于:花在构图中自然被朝下侧放置。然而,每个朝向信息与其上要放置花的三分线交叉点之间的对应关系可以任意改变。
以上述方式,优化部件832e根据花的朝向确定花在三分构图中的放置。特别地,优化部件832e以如下这种方式确定花的放置:该方式使得花所朝向的一侧的空间在三分构图中变大。因此,位于作为对象的花的前面的物体或景观可以包括在修剪区域中,从而使得可以修剪出具有给出较大扩张感的最佳构图的图像。
虽然以上描述关注于根据对象的朝向确定最佳修剪区域的配置,但也可以根据对象的运动确定最佳修剪区域。
<10.第十实施例>
[图像处理设备的配置实例]
图41示出了被配置成用于根据对象的运动确定最佳修剪区域的图像处理设备的配置实例。应当注意,在图41的图像处理设备861中,功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注,并适当地略去了其描述。
即,图41中的图像处理设备861与图1中的图像处理设备11的不同之处在于:额外提供了帧缓冲器881、GMV(全局运动矢量)计算部件882、LMV(局部运动矢量)计算部件883、以及运动方向确定部件884,以及提供了构图分析部件885来取代构图分析部件34。
应当注意,在图41中,显著区域提取部件31提取输入图像中被关注的显著区域,并将表示显著区域的显著区域信息提供给构图模式设置部件33和LMV计算部件883。
帧缓冲器881保存相当于输入图像的一帧,并将输入图像提供给GMV计算部件882和LMV计算部件883。
GMV计算部件882根据输入图像、以及来自帧缓冲器881的紧挨的前一帧的输入图像(在下文中,称为“前一帧输入图像”)计算表示图像总体运动的GMV,并将GMV提供给运动方向确定部件884。
LMV计算部件883根据输入图像以及来自帧缓冲器881的前一帧输入图像,计算表示来自显著区域提取部件31的显著区域信息所表示的显著区域中的局部运动的LMV,并将LMV提供给运动方向确定部件884。
运动方向确定部件884基于来自GMV计算部件882的GMV以及来自LMV计算部件883的LMV,确定显著区域中所包括对象的运动的方向(运动方向),并将表示运动方向的运动方向信息提供给构图分析部件885。
基于来自构图模式设置部件33的构图模式、以及来自运动方向确定部件884的运动方向信息,构图分析部件885为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域,并将该最佳修剪区域提供给图像修剪部件35。
构图分析部件885包括构图模型创建部件885a、安全模型创建部件885b、惩罚模型创建部件885c、目标函数创建部件885d、以及优化部件885e。应当注意,由于构图模型创建部件885a至目标函数创建部件885d的功能分别与图1中的构图模型创建部件34a至目标函数创建部件34d一样,所以略去了其描述。
优化部件885e基于来自运动方向确定部件884的运动方向信息,确定使目标函数E最小化的修剪区域,并将该修剪区域作为最佳修剪区域提供给图像修剪部件35。
[图像处理设备中的图像修剪处理]
接下来,参照图42中的流程图,将对图41的图像处理设备861中的图像修剪处理给出描述。应当注意,由于图42的流程图中的步骤S861至S864、以及S867中的处理与参照图3中的流程图描述的步骤S11至S14、以及S16中的处理一样,所以略去了其描述。此外,在参照图42中的流程图描述的图像修剪处理中,假设对象的数量(即,显著区域的数量)为1。
即,在步骤S865中,运动方向确定部件884执行运动方向确定处理,以确定来自显著区域提取部件31的显著区域信息所表示的显著区域中所包括的对象在输入图像中的运动方向。
[运动方向确定部件中的运动方向确定处理]
此处,参照图43中的流程图,将对图42的流程图中的步骤S865的运动方向确定处理给出描述。
在步骤S871中,GMV计算部件882根据输入图像、以及来自帧缓冲器881的前一帧输入图像计算GMV,并将GMV提供给运动方向确定部件884。
在步骤S872中,LMV计算部件883根据输入图像以及来自帧缓冲器881的前一帧输入图像,计算来自显著区域提取部件31的显著区域信息所表示的显著区域的LMV,并将LMV提供给运动方向确定部件884。
在步骤S873中,运动方向确定部件884判断LMV是否为0或基本上为0。
如果在步骤S873中判定LMV不是0或不是基本上为0,即,如果显著区域中所包括的对象有足够的运动,则处理前往步骤S874,并且运动方向确定部件884将LMV的朝向确定为运动方向,并将表示运动方向的运动方向信息提供给构图分析部件885。
另一方面,如果在步骤S873中判定LMV为0或基本上为0,即,如果显著区域中所包括的对象完全或基本上没有运动,则处理前往步骤S875,并且运动方向确定部件884判断GMV是否为0或基本上为0。
如果在步骤S875中判定GMV不是0或不是基本上为0,即,如果图像总体上有足够的运动,则处理前往步骤S876,并且运动方向确定部件884将与GMV的朝向相反的朝向确定为对象的运动方向,并将表示运动方向的运动方向信息提供给构图分析部件885。
步骤S875中的状态代表如下这种状态:在该状态中,虽然输入图像总体上有运动,但显著区域中所包括的对象没有运动,例如,背景移动但对象维持静止的状态。在此情况下,对象相对于背景在与背景的运动朝向相反的朝向上移动。即,相对而言,与GMV的朝向相反的朝向是对象的运动方向。
另一方面,如果在步骤S875中判定GMV为0或基本上为0,即,如果图像总体上完全或基本上没有运动,则处理前往步骤S877,并且运动方向确定部件884确定不存在运动方向,并将表示不存在运动方向的运动方向信息提供给构图分析部件885。
以上述方式,运动方向确定部件884确定显著区域中所包括的对象在输入图像中的运动方向。应当注意,在以上处理中,运动方向确定部件884将运动方向确定为例如以下九种中的一种:无、上方、下方、左方、右方、右上方、右下方、左上方、以及左下方。
回到图42中的流程图,在步骤S866中,构图分析部件885基于来自构图模式设置部件33的构图模式、以及来自运动方向确定部件884的运动方向信息执行修剪区域确定处理,并为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域。
[构图分析部件中的修剪区域确定处理]
此处,参照图44中的流程图,将对图42的流程图中的步骤S866中的修剪区域确定处理给出描述。
应当注意,由于图44的流程图中的步骤S881至S884中的处理与参照图7中的流程图描述的步骤S31至S34中的处理一样,所以略去了其描述。
即,在步骤S885中,优化部件885e基于关于使目标函数E最小化的修剪区域的位置信息、以及来自运动方向确定部件884的运动方向信息确定最佳修剪区域,并将该最佳修剪区域提供给图像修剪部件35。
更具体地,例如,将图45中所示的运动方向信息D30至D38中的一条从运动方向确定部件884提供给优化部件885e。在图45中,示出了表示上方、右上方、右方、右下方、下方、左下方、左方、以及左上方的运动的箭头,这些箭头包括分别对应于运动方向信息D30至D38的起始点。即,运动方向信息D30表示输入图像中不存在对象的运动方向,运动方向信息D31表示运动方向为上方,并且运动方向信息D32表示运动方向为右上方。同样地,运动方向信息D33表示运动方向为右方,并且运动方向信息D34表示运动方向为右下方。此外,运动方向信息D35表示运动方向为下方,运动方向信息D36表示运动方向为左下方,运动方向信息D37表示运动方向为左方,并且运动方向信息D38表示运动方向为左上方。
此处,假设将三分构图(图39)设置为构图模式,则优化部件885e根据运动方向信息D30至D38确定对象在三分构图中的放置,得出关于使目标函数E最小化的修剪区域的位置信息,并基于该位置信息确定最佳修剪区域。
更具体地,例如,当运动方向信息是运动方向信息D34时,即,当对象的运动方向为右下方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P0上。此外,当运动方向信息是运动方向信息D36时,即,当对象的运动方向为左下方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P1上。此外,当运动方向信息是运动方向信息D32中的一个时,即,当对象的运动方向为右上方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P2上。此外,当运动方向信息是运动方向信息D38时,即,当对象的运动方向为左上方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P3上。
应当注意,当运动方向信息是运动方向信息D31时,即,当对象的运动方向为上方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P2和P3中的一个上。此外,当运动方向信息是运动方向信息D33时,即,当对象的运动方向为右方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P0和P2中的一个上。此外,当运动方向信息是运动方向信息D35时,即,当对象的运动方向为下方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P0和P1中的一个上。此外,当运动方向信息是运动方向信息D37时,即,当对象的运动方向为左方时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P1和P3中的一个上。
此外,当运动方向信息是运动方向信息D30时,即,当不存在对象的运动方向时,优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P0至P3中的一个上。即,当对象中没有运动时,对象在三分构图中的放置可以为任意一个三分线交叉点。
以此方式,在针对运动方向信息选择了两种或更多种对象放置时,将放置确定为给出较小目标函数E的一种放置。
以上述方式,优化部件885e根据对象的运动方向确定对象在三分构图中的放置。特别地,优化部件885e以如下这种方式确定对象的放置:该方式使得对象朝之移动的方向上的空间在三分构图中变大。因此,位于对象移动方向前面的物体或景观可以包括在修剪区域中,从而使得可以修剪出具有给出较大扩张感的最佳构图的图像。
应当注意,虽然以上描述关注于对象在三分构图(图39)中的放置,但不仅可以在三分构图中也可以在诸如图6中所示的对比构图(构图B)和图案构图(构图H)的其它构图中根据对象的朝向或运动来放置对象。
此外,虽然以上描述是基于对象的数量(即,显著区域的数量)为1的假设,但即使在对象的数量为两个或更多个时,也可以根据它们各自的朝向或运动方向来放置这两个或更多个对象。
上述系列处理可以通过硬件执行也可以通过软件执行。如果要通过软件执行该系列处理,则将构成该软件的程序从程序记录介质安装到嵌入在专用硬件中的计算机中,或者安装到例如在安装了各种程序时可以执行各种功能的通用个人计算机等中。
图46是示出了执行上述系列处理的计算机的硬件配置实例的方框图。
在计算机中,CPU(中央处理单元)901、ROM(只读存储器)902、以及RAM(随机存取存储器)903经由总线904彼此相连。
总线904进一步与输入/输出接口905相连。输入/输出接口905与如下相连:由键盘、鼠标、麦克风等构成的输入部件906,由显示器、扬声器等构成的输出部件907,由硬盘、非易失性存储器等构成的存储部件908,由网络接口等构成的通信部件909,以及用于驱动诸如磁盘、光盘、磁光盘、或者半导体存储器的可拆除介质911的驱动器910。
在如上所述配置的计算机中,例如,上述系列处理通过如下方式执行:CPU 901经由输入/输出接口905和总线904将存储部件908中存储的程序加载到RAM 903中,并执行程序。
计算机(CPU 901)执行的程序通过如下方式提供:通过记录在可拆除介质911上,可拆除介质911是由例如磁盘(包括软盘)、光盘(诸如CD-ROM(压缩盘-只读存储器)或DVD(数字多功能盘))、磁光盘、或者半导体存储器等构成的封装介质;或者经由诸如局域网、因特网、或者数字卫星广播的有线或无线传输介质。
然后,可以通过在驱动器910中装配可拆除介质911而经由输入/输出接口905将程序安装到存储部件908中。此外,程序可以经由有线或无线传输介质被通信部件909接收,并被安装到存储部件908中。可替选地,可以将程序预先安装到ROM 902或存储部件908中。
应当注意,计算机执行的程序可以是如下这种程序:其中,按本说明书中所描述的次序以时间序列方式执行处理处理;或者可以是如下这种程序:其中,在必要的时刻(诸如被调用时)执行处理。
此外,本发明的实施例不限于上述实施例,并且在不脱离本发明范围的情况下可以进行各种修改。
附图标记说明
11图像处理设备,31显著区域提取部件,32场景甄别部件,33构图模式设置部件,34构图分析部件,34a构图模型创建部件,34b安全模型创建部件,34c惩罚模型创建部件,34d目标函数创建部件,34e优化部件,35图像修剪部件,51显著性计算部件,52显著矩形区域确定部件,53面部矩形区域确定部件,111图像处理设备,131构图模式设置部件,211图像处理设备,231构图分析部件,231a构图模型创建部件,231b安全模型创建部件,231c惩罚模型创建部件,231d目标函数创建部件,231e优化部件,232显示部件,233操作输入部件,311图像处理设备,331全景甄别部件,332构图分析部件,332a构图模型创建部件,332b安全模型创建部件,332c惩罚模型创建部件,332d目标函数创建部件,332e优化部件,631添加部件,711图像捕捉设备,811图像处理设备,831朝向检测部件,832构图分析部件,832e优化部件,861图像处理设备,881帧缓冲器,882GMV计算部件,883LMV计算部件,884运动方向确定部件,885构图分析部件,885e优化部件。
Claims (15)
1.一种图像处理设备,包括:
设置装置,用于基于输入图像中被关注的显著区域的数量、以及所述输入图像的场景,设置对应于所述输入图像的构图模式;以及
确定装置,用于基于所述设置装置所设置的构图模式,确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
2.根据权利要求1所述的图像处理设备,进一步包括:修剪装置,用于从所述输入图像修剪出所述确定装置所确定的修剪区域。
3.根据权利要求2所述的图像处理设备,其中:
所述确定装置基于所述设置装置所设置的构图模式,确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域的多个候选;并且
所述图像处理设备进一步包括:
显示装置,用于在所述输入图像上显示所述修剪区域的多个候选,以及
选择装置,用于选择所述显示装置所显示的所述修剪区域的多个候选中的一个候选;并且
所述修剪装置从所述输入图像修剪出所述选择装置所选择的修剪区域。
4.根据权利要求1所述的图像处理设备,进一步包括:
提取装置,用于提取所述输入图像中被关注的显著区域中的每个显著区域;以及
甄别装置,用于甄别所述输入图像的场景。
5.根据权利要求1所述的图像处理设备,其中,所述确定装置确定所述修剪区域,以使得包括所述输入图像中所有被关注的显著区域的最小矩形区域的中心位置靠近所述输入图像中的修剪区域的中心。
6.根据权利要求5所述的图像处理设备,其中,所述确定装置确定所述修剪区域,以使得所述修剪区域变得更大,并且使得包括所述输入图像中的所有被关注的显著区域的所述最小矩形区域与所述修剪区域之间的公共区域变得更大。
7.根据权利要求1所述的图像处理设备,其中,所述确定装置确定所述修剪区域,以使得所述修剪区域不脱离所述输入图像。
8.根据权利要求1所述的图像处理设备,进一步包括:
判断装置,用于通过将所述输入图像的宽高比与预定阈值相比较来判断所述输入图像是否是全景图像,
其中,如果所述判断装置判定所述输入图像是全景图像,则所述确定装置基于所述设置装置所设置的构图模式,确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域的多个候选。
9.根据权利要求1所述的图像处理设备,进一步包括:
添加装置,用于将表示所述确定装置所确定的修剪区域的信息添加到所述输入图像作为EXIF信息。
10.根据权利要求1所述的图像处理设备,其中:
所述输入图像中被关注的对象包括在所述显著区域中的每个显著区域中;
所述图像处理设备进一步包括:检测装置,用于检测所述对象的朝向;并且
所述确定装置基于所述设置装置所设置的构图模式、以及所述检测装置所检测出的对象的朝向,确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
11.根据权利要求1所述的图像处理设备,其中:
所述输入图像中被关注的对象包括在所述显著区域中的每个显著区域中;
所述图像处理设备进一步包括:运动方向确定装置,用于确定所述对象的运动方向;并且
所述确定装置基于所述设置装置所设置的构图模式、以及所述运动方向确定装置所确定的对象运动的方向,确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
12.根据权利要求11所述的图像处理设备,进一步包括:
总体运动计算装置,用于得出所述输入图像的总体运动;以及
局部运动计算装置,用于得出所述显著区域中的每个显著区域的运动,
其中,所述运动方向确定装置基于所述总体运动计算装置所得出的输入图像的总体运动的朝向、以及所述局部运动计算装置所得出的所述显著区域中的每个显著区域的运动的朝向,确定所述对象运动的方向。
13.一种图像处理方法,包括:
设置步骤,用于基于输入图像中被关注的显著区域的数量、以及所述输入图像的场景,设置对应于所述输入图像的构图模式;以及
确定步骤,用于基于在所述设置步骤中所设置的构图模式,确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
14.一种程序,用于使得计算机执行包括如下内容的处理:
设置步骤,用于基于输入图像中被关注的显著区域的数量、以及所述输入图像的场景,设置对应于所述输入图像的构图模式;以及
确定步骤,用于基于在所述设置步骤中所设置的构图模式,确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
15.一种图像捕捉设备,包括:
图像捕捉装置,用于捕捉对象;
获取装置,用于获取所述图像捕捉装置捕捉到的捕捉图像的场景;
设置装置,用于基于包括所述捕捉图像中被关注对象的显著区域的数量、以及所述获取装置所获取的场景,设置对应于所述捕捉图像的构图模式;以及
确定装置,用于基于所述设置装置所设置的构图模式,确定所述捕捉图像中对于要从所述捕捉图像按所述构图模式修剪出的图像而言最佳的修剪区域。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-229310 | 2008-09-08 | ||
JP2008229310 | 2008-09-08 | ||
PCT/JP2009/065626 WO2010027080A1 (ja) | 2008-09-08 | 2009-09-08 | 画像処理装置および方法、撮像装置、並びにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101843093A true CN101843093A (zh) | 2010-09-22 |
Family
ID=41797242
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200980100857A Pending CN101843093A (zh) | 2008-09-08 | 2009-09-08 | 图像处理设备和方法、图像捕捉设备、以及程序 |
Country Status (7)
Country | Link |
---|---|
US (2) | US8538074B2 (zh) |
EP (1) | EP2207341B1 (zh) |
JP (1) | JP5224149B2 (zh) |
CN (1) | CN101843093A (zh) |
BR (1) | BRPI0905360A2 (zh) |
RU (1) | RU2462757C2 (zh) |
WO (1) | WO2010027080A1 (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102376090A (zh) * | 2010-08-19 | 2012-03-14 | 索尼公司 | 图像处理装置和方法以及程序 |
CN103891263A (zh) * | 2011-11-09 | 2014-06-25 | 乐天株式会社 | 图像处理装置、图像处理装置的控制方法、程序和信息存储介质 |
CN105323491A (zh) * | 2015-11-27 | 2016-02-10 | 小米科技有限责任公司 | 图像拍摄方法及装置 |
CN105357436A (zh) * | 2015-11-03 | 2016-02-24 | 广东欧珀移动通信有限公司 | 用于图像拍摄中的图像裁剪方法和系统 |
CN105912259A (zh) * | 2016-04-14 | 2016-08-31 | 深圳天珑无线科技有限公司 | 照片优化的方法及设备 |
CN105989572A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN106162146A (zh) * | 2016-07-29 | 2016-11-23 | 暴风集团股份有限公司 | 自动识别并播放全景视频的方法及系统 |
CN107077749A (zh) * | 2014-09-30 | 2017-08-18 | 微软技术许可有限责任公司 | 优化媒体的视觉显示 |
CN107545576A (zh) * | 2017-07-31 | 2018-01-05 | 华南农业大学 | 基于构图规则的图像编辑方法 |
CN108810418A (zh) * | 2018-07-16 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
CN109246351A (zh) * | 2018-07-20 | 2019-01-18 | 维沃移动通信有限公司 | 一种构图方法及终端设备 |
CN110546942A (zh) * | 2017-04-14 | 2019-12-06 | 夏普株式会社 | 图像处理装置、终端装置以及图像处理程序 |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5224149B2 (ja) * | 2008-09-08 | 2013-07-03 | ソニー株式会社 | 画像処理装置および方法、撮像装置、並びにプログラム |
US8494259B2 (en) * | 2009-12-28 | 2013-07-23 | Teledyne Scientific & Imaging, Llc | Biologically-inspired metadata extraction (BIME) of visual data using a multi-level universal scene descriptor (USD) |
JP2011193125A (ja) * | 2010-03-12 | 2011-09-29 | Sony Corp | 画像処理装置および方法、プログラム、並びに撮像装置 |
US8692907B2 (en) | 2010-09-13 | 2014-04-08 | Sony Corporation | Image capturing apparatus and image capturing method |
US9325804B2 (en) | 2010-11-08 | 2016-04-26 | Microsoft Technology Licensing, Llc | Dynamic image result stitching |
WO2012105196A1 (ja) * | 2011-02-04 | 2012-08-09 | パナソニック株式会社 | 関心度推定装置および関心度推定方法 |
JP2012205037A (ja) * | 2011-03-25 | 2012-10-22 | Olympus Imaging Corp | 画像処理装置および画像処理方法 |
US9025873B2 (en) * | 2011-11-10 | 2015-05-05 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
JP2013153375A (ja) * | 2012-01-26 | 2013-08-08 | Sony Corp | 画像処理装置、画像処理方法および記録媒体 |
US8773543B2 (en) * | 2012-01-27 | 2014-07-08 | Nokia Corporation | Method and apparatus for image data transfer in digital photographing |
WO2013121471A1 (ja) * | 2012-02-16 | 2013-08-22 | パナソニック株式会社 | 映像生成装置 |
KR101952174B1 (ko) * | 2012-04-26 | 2019-05-22 | 엘지전자 주식회사 | 영상표시기기 및 그 영상표시방법 |
US9595298B2 (en) | 2012-07-18 | 2017-03-14 | Microsoft Technology Licensing, Llc | Transforming data to create layouts |
JP6137800B2 (ja) * | 2012-09-26 | 2017-05-31 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び、画像処理プログラム |
JP5882975B2 (ja) * | 2012-12-26 | 2016-03-09 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及び記録媒体 |
US9582610B2 (en) * | 2013-03-15 | 2017-02-28 | Microsoft Technology Licensing, Llc | Visual post builder |
JP2015002484A (ja) * | 2013-06-17 | 2015-01-05 | ソニー株式会社 | 表示制御装置、表示制御方法、プログラムおよび撮像装置 |
US9299004B2 (en) | 2013-10-24 | 2016-03-29 | Adobe Systems Incorporated | Image foreground detection |
US10019823B2 (en) * | 2013-10-24 | 2018-07-10 | Adobe Systems Incorporated | Combined composition and change-based models for image cropping |
US9330334B2 (en) | 2013-10-24 | 2016-05-03 | Adobe Systems Incorporated | Iterative saliency map estimation |
JP6381892B2 (ja) * | 2013-10-28 | 2018-08-29 | オリンパス株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US9195903B2 (en) * | 2014-04-29 | 2015-11-24 | International Business Machines Corporation | Extracting salient features from video using a neurosynaptic system |
FR3021768B1 (fr) * | 2014-05-28 | 2017-12-01 | Dxo Sa | Procede parametrable de traitement d'un fichier representatif d'au moins une image |
US9373058B2 (en) | 2014-05-29 | 2016-06-21 | International Business Machines Corporation | Scene understanding using a neurosynaptic system |
US9798972B2 (en) | 2014-07-02 | 2017-10-24 | International Business Machines Corporation | Feature extraction using a neurosynaptic system for object classification |
US10115054B2 (en) | 2014-07-02 | 2018-10-30 | International Business Machines Corporation | Classifying features using a neurosynaptic system |
US10282069B2 (en) | 2014-09-30 | 2019-05-07 | Microsoft Technology Licensing, Llc | Dynamic presentation of suggested content |
US9626584B2 (en) * | 2014-10-09 | 2017-04-18 | Adobe Systems Incorporated | Image cropping suggestion using multiple saliency maps |
GB201501311D0 (en) | 2015-01-27 | 2015-03-11 | Apical Ltd | Method, system and computer program product |
WO2016207875A1 (en) | 2015-06-22 | 2016-12-29 | Photomyne Ltd. | System and method for detecting objects in an image |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
KR102227161B1 (ko) | 2015-12-16 | 2021-03-15 | 그레이스노트, 인코포레이티드 | 동적 비디오 오버레이 |
WO2018094648A1 (zh) * | 2016-11-24 | 2018-05-31 | 华为技术有限公司 | 拍摄构图引导方法及装置 |
WO2018106213A1 (en) * | 2016-12-05 | 2018-06-14 | Google Llc | Method for converting landscape video to portrait mobile layout |
US10380228B2 (en) | 2017-02-10 | 2019-08-13 | Microsoft Technology Licensing, Llc | Output generation based on semantic expressions |
US10218901B2 (en) * | 2017-04-05 | 2019-02-26 | International Business Machines Corporation | Picture composition adjustment |
WO2019112642A1 (en) | 2017-12-05 | 2019-06-13 | Google Llc | Method for converting landscape video to portrait mobile layout using a selection interface |
JP7013272B2 (ja) * | 2018-02-13 | 2022-01-31 | キヤノン株式会社 | 画像処理装置 |
JP7236869B2 (ja) * | 2019-01-31 | 2023-03-10 | オリンパス株式会社 | 撮像装置、撮像方法及び撮像プログラム |
US11593581B2 (en) | 2019-02-28 | 2023-02-28 | Stats Llc | System and method for calibrating moving camera capturing broadcast video |
US11373407B2 (en) * | 2019-10-25 | 2022-06-28 | International Business Machines Corporation | Attention generation |
CN116097308A (zh) * | 2020-08-21 | 2023-05-09 | 华为技术有限公司 | 自动摄影构图推荐 |
WO2023286367A1 (ja) * | 2021-07-15 | 2023-01-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004274428A (ja) * | 2003-03-10 | 2004-09-30 | Konica Minolta Holdings Inc | 画像処理方法、画像処理装置、記憶媒体及びプログラム |
US6834127B1 (en) * | 1999-11-18 | 2004-12-21 | Fuji Photo Film Co., Ltd. | Method of adjusting output image areas |
JP2005175684A (ja) * | 2003-12-09 | 2005-06-30 | Nikon Corp | デジタルカメラおよびデジタルカメラの画像取得方法 |
US20070076979A1 (en) * | 2005-10-03 | 2007-04-05 | Microsoft Corporation | Automatically cropping an image |
JP2008147997A (ja) * | 2006-12-11 | 2008-06-26 | Fujifilm Corp | 撮像装置、撮像方法、監視システム、監視方法、及びプログラム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4049986B2 (ja) * | 1999-11-18 | 2008-02-20 | 富士フイルム株式会社 | 出力画像領域調整方法 |
US20020063725A1 (en) * | 2000-11-30 | 2002-05-30 | Virtuallylisted Llc | Method and apparatus for capturing and presenting panoramic images for websites |
US7561288B2 (en) * | 2002-07-05 | 2009-07-14 | Canon Kabushiki Kaisha | Recording system and controlling method therefor |
JP4605345B2 (ja) * | 2004-06-18 | 2011-01-05 | 富士フイルム株式会社 | 画像処理方法及び装置 |
JP2006121298A (ja) * | 2004-10-20 | 2006-05-11 | Canon Inc | トリミングの実行方法及び装置 |
JP4493631B2 (ja) | 2006-08-10 | 2010-06-30 | 富士フイルム株式会社 | トリミング装置および方法並びにプログラム |
US8218830B2 (en) * | 2007-01-29 | 2012-07-10 | Myspace Llc | Image editing system and method |
JP4854539B2 (ja) * | 2007-02-21 | 2012-01-18 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
JP5224149B2 (ja) * | 2008-09-08 | 2013-07-03 | ソニー株式会社 | 画像処理装置および方法、撮像装置、並びにプログラム |
US8406515B2 (en) * | 2009-06-24 | 2013-03-26 | Hewlett-Packard Development Company, L.P. | Method for automatically cropping digital images |
-
2009
- 2009-09-08 JP JP2010527850A patent/JP5224149B2/ja not_active Expired - Fee Related
- 2009-09-08 WO PCT/JP2009/065626 patent/WO2010027080A1/ja active Application Filing
- 2009-09-08 EP EP09811603.1A patent/EP2207341B1/en not_active Not-in-force
- 2009-09-08 CN CN200980100857A patent/CN101843093A/zh active Pending
- 2009-09-08 US US12/740,451 patent/US8538074B2/en active Active
- 2009-09-08 RU RU2010117215/07A patent/RU2462757C2/ru not_active IP Right Cessation
- 2009-09-08 BR BRPI0905360-3A patent/BRPI0905360A2/pt not_active IP Right Cessation
-
2013
- 2013-06-10 US US13/914,365 patent/US9390466B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6834127B1 (en) * | 1999-11-18 | 2004-12-21 | Fuji Photo Film Co., Ltd. | Method of adjusting output image areas |
JP2004274428A (ja) * | 2003-03-10 | 2004-09-30 | Konica Minolta Holdings Inc | 画像処理方法、画像処理装置、記憶媒体及びプログラム |
JP2005175684A (ja) * | 2003-12-09 | 2005-06-30 | Nikon Corp | デジタルカメラおよびデジタルカメラの画像取得方法 |
US20070076979A1 (en) * | 2005-10-03 | 2007-04-05 | Microsoft Corporation | Automatically cropping an image |
JP2008147997A (ja) * | 2006-12-11 | 2008-06-26 | Fujifilm Corp | 撮像装置、撮像方法、監視システム、監視方法、及びプログラム |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102376090A (zh) * | 2010-08-19 | 2012-03-14 | 索尼公司 | 图像处理装置和方法以及程序 |
CN102376090B (zh) * | 2010-08-19 | 2016-03-16 | 索尼公司 | 图像处理装置和方法 |
CN103891263B (zh) * | 2011-11-09 | 2016-10-26 | 乐天株式会社 | 图像处理装置、图像处理装置的控制方法 |
CN103891263A (zh) * | 2011-11-09 | 2014-06-25 | 乐天株式会社 | 图像处理装置、图像处理装置的控制方法、程序和信息存储介质 |
CN105787872B (zh) * | 2011-11-09 | 2019-08-09 | 乐天株式会社 | 图像处理装置、图像处理装置的控制方法 |
CN105787872A (zh) * | 2011-11-09 | 2016-07-20 | 乐天株式会社 | 图像处理装置、图像处理装置的控制方法 |
CN107077749A (zh) * | 2014-09-30 | 2017-08-18 | 微软技术许可有限责任公司 | 优化媒体的视觉显示 |
CN105989572B (zh) * | 2015-02-10 | 2020-04-24 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN105989572A (zh) * | 2015-02-10 | 2016-10-05 | 腾讯科技(深圳)有限公司 | 图片处理方法及装置 |
CN105357436A (zh) * | 2015-11-03 | 2016-02-24 | 广东欧珀移动通信有限公司 | 用于图像拍摄中的图像裁剪方法和系统 |
CN105323491A (zh) * | 2015-11-27 | 2016-02-10 | 小米科技有限责任公司 | 图像拍摄方法及装置 |
CN105323491B (zh) * | 2015-11-27 | 2019-04-23 | 小米科技有限责任公司 | 图像拍摄方法及装置 |
CN105912259A (zh) * | 2016-04-14 | 2016-08-31 | 深圳天珑无线科技有限公司 | 照片优化的方法及设备 |
CN106162146B (zh) * | 2016-07-29 | 2017-12-08 | 暴风集团股份有限公司 | 自动识别并播放全景视频的方法及系统 |
CN106162146A (zh) * | 2016-07-29 | 2016-11-23 | 暴风集团股份有限公司 | 自动识别并播放全景视频的方法及系统 |
CN110546942A (zh) * | 2017-04-14 | 2019-12-06 | 夏普株式会社 | 图像处理装置、终端装置以及图像处理程序 |
CN110546942B (zh) * | 2017-04-14 | 2021-04-06 | 夏普株式会社 | 图像处理装置、终端装置以及存储介质 |
CN107545576A (zh) * | 2017-07-31 | 2018-01-05 | 华南农业大学 | 基于构图规则的图像编辑方法 |
CN108810418A (zh) * | 2018-07-16 | 2018-11-13 | Oppo广东移动通信有限公司 | 图像处理方法、装置、移动终端及计算机可读存储介质 |
US11233933B2 (en) | 2018-07-16 | 2022-01-25 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and device for processing image, and mobile terminal |
CN109246351A (zh) * | 2018-07-20 | 2019-01-18 | 维沃移动通信有限公司 | 一种构图方法及终端设备 |
Also Published As
Publication number | Publication date |
---|---|
US8538074B2 (en) | 2013-09-17 |
US20160171647A9 (en) | 2016-06-16 |
US9390466B2 (en) | 2016-07-12 |
RU2462757C2 (ru) | 2012-09-27 |
JP5224149B2 (ja) | 2013-07-03 |
EP2207341A4 (en) | 2012-04-11 |
EP2207341A1 (en) | 2010-07-14 |
RU2010117215A (ru) | 2011-11-10 |
BRPI0905360A2 (pt) | 2015-06-30 |
US20130272611A1 (en) | 2013-10-17 |
WO2010027080A1 (ja) | 2010-03-11 |
US20100290705A1 (en) | 2010-11-18 |
EP2207341B1 (en) | 2013-11-06 |
JPWO2010027080A1 (ja) | 2012-02-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101843093A (zh) | 图像处理设备和方法、图像捕捉设备、以及程序 | |
JP5016541B2 (ja) | 画像処理装置および方法並びにプログラム | |
US7929756B2 (en) | Method for classifying a digital image | |
KR101434564B1 (ko) | 촬영 정보 자동 추출 시스템 및 방법 | |
CN102906790B (zh) | 图像信息处理装置 | |
EP2112817A1 (en) | Composition analysis method, image device having composition analysis function, composition analysis program, and computer-readable recording medium | |
JP2006295890A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
US9811919B2 (en) | Photo tagging system and method | |
JP2006293985A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
JP2006293986A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
JP2006295887A (ja) | アルバム作成装置、アルバム作成方法、及びプログラム | |
CN105518704A (zh) | 检测和分类使用移动设备采集的视频中对象的系统和方法 | |
TW200805200A (en) | System, apparatus, method, program and recording medium for processing image | |
CN111881849A (zh) | 图像场景检测方法、装置、电子设备及存储介质 | |
CN103324655A (zh) | 图像检索系统、图像检索装置以及图像检索方法 | |
CN102196177A (zh) | 图像处理设备、图像处理方法、程序以及成像设备 | |
JP2012164345A (ja) | 画像分類プログラム、画像分類装置および電子カメラ | |
JP5016540B2 (ja) | 画像処理装置および方法並びにプログラム | |
CN107077607A (zh) | 3d增强的图像校正 | |
JP3162664B2 (ja) | 3次元都市景観情報の作成方法および装置 | |
Nice et al. | Sky pixel detection in outdoor imagery using an adaptive algorithm and machine learning | |
CN114723610A (zh) | 图像智能处理方法、装置、设备及存储介质 | |
KR101202090B1 (ko) | 화상 처리 장치 및 화상 처리 프로그램을 기억한 기억 매체 | |
CN106933966A (zh) | 照片分类管理方法、装置及其移动终端 | |
CN101489044B (zh) | 影像场景辨识方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20100922 |