CN102984447A - 摄影系统及相片产生方法 - Google Patents

Abstract

本发明提供一种摄影系统，用以产生多张相片。该系统包括：一相片组成单元，用以由一三维场景中决定一取出视野；以及一相片合成器，耦接至该相片组成单元，用以依据该取出视野以产生一输出相片。本发明的摄影系统能够提高相片的输出效果。本发明还提供一种相片产生方法。

Description

摄影系统及相片产生方法

技术领域

本发明是有关于摄影系统，特别是有关于依据取出视野以产生相片之影像系统及相片产生方法。

背景技术

在传统摄影中，摄影师需通过选择一观赏角度、观赏位置及相机镜头来拍摄一张相片，这对专家摄影的美学相当重要。通过改变相机的方向及角度并调整缩放控制，可完成在一特定位置之相片组成。摄影专家在拍摄相片时，往往会花时间及集中注意力以组成一张相片。然而，对业余摄影师来说，难以学习许多专家摄影规则。因此，在拍摄相片时，业余摄影师大多不知道如何与摄影专家一样为相片组成而操作摄影规则。举例来说，业余摄影师可能会使用具有单镜头的数位相机，且其具有有限的光学变焦控制功能。因此，由业余摄影师所拍摄的相片可能不会有与摄影专家所拍的相片一样的特征，像是窄/广角镜头效果。

一种现有技术的电子影像处理器，用以撷取一电子影像。该影像处理器系合并了区域基础式的显著区域区分技术(region based saliency classificationtechniques)至一脸部侦测器(face detector)及一兴趣侦测器(interest detector)以由该电子影像中撷取一想要的影像区域。该专利中所揭露的方法包括下列步骤。第一，侦测在一影像中的显著区域。通过分派一高显著指定标示至具有下列组合之基础的区域，某些区域会较其他区域来得显著，上述组合包括：(i)该区域与其他相邻区域相比，具有相对异常的颜色、亮度或材质；及/或(ii)该区域相对于影像中之大部分区域具有相对异常的颜色、亮度或材质。影像处理器可决定该区域与人的脸部、头部或全身之相似程度，或是该区域与人之相似程度或是该区域接近该影像之中心的程度。第二，当形成最大的撷取界限时，该影像处理器应用辨识规则及消除干扰(eliminate distractions)在影像之边缘。第三，影像处理器为不同的组成应用辨识一主题中的不同组合之规则。第四，影像处理器系产生边缘品质标准(edge quality metrics)，包括选择适合于提供撷取边缘的位置。最后，影像处理器系产生一撷取品质标准(crop quality metrics)的权重加总值，以及实现比较性地存取多种可能的输出撷取方式之规则。

然而，现有技术限制于量测二维影像之资讯及撷取。现有技术会失去所撷取的影像之深度，且不再考虑真实三维世界中的几何资讯。

发明内容

为了解决上述问题，本发明提供一种摄影系统，用以产生多张相片。该系统包括：一相片组成单元，用以由一三维场景中决定一取出视野；以及一相片合成器，耦接至该相片组成单元，用以依据该取出视野以产生一输出相片。

本发明更提供一种相片产生方法。该方法包括：由一三维场景中决定一取出视野；以及依据该取出视野，合成一输出相片。

本发明提供的摄影系统和相片产生方法能够提高相片的输出效果。

附图说明

图1显示依据本发明一实施例之摄影系统的功能方块图。

图2显示依据本发明一实施例之摄影系统的细部方块图。

图3A显示依据本发明一实施例中之三维场景的示意图。

图3B显示依据本发明一实施例中之取出视野及范例集合的关系的示意图。

图4显示依据本发明一实施例之决定阶段的流程图。

具体实施方式

以下叙述显示本发明之实施例。其叙述用以说明本发明之基本概念并不带有限定之含意。

本发明以实施例配合图1～4揭露如下，然其并非用以限定本发明的范围。本发明之保护范围当视后附之申请专利范围所界定者为准。

本发明揭露用以产生相片的一种摄影系统。图1显示依据本发明一实施例之摄影系统的功能方块图。摄影系统100包括一影像获取单元110、一相片组成单元(photo composition unit)120及一相片合成器(photo synthesizer)130。需注意的是在摄影系统100中的某些装置，例如影像获取单元110，可被省略或是取代。可提供输入影像至相片组成单元120的任何装置均可使用，无论其是否为摄影系统100中之一部分。影像获取单元110用以撷取多个影像序列及/或视讯序列，及/或取得多张网际网路影像，以提供输入影像至相片组成单元120。影像获取单元110可进一步接收一三维场景的影像资料。在一些实施例中，影像获取单元110可为数位相机(digital cameras)、视讯摄影机(video recorders)、具有照相机的手持装置或移动装置，但本发明不限于此。相片组成单元120可依据来自影像获取单元110(或是可提供输入影像之其他资源)之输入影像，用以建立一三维场景，并由该三维场景决定一取出视野(extracted view)。在此实施例中，相片组成单元可依据至少一摄影组成规则(photographic composition rule)、至少一示范参数(exemplar parameter)或其组合，决定该取出视野。相片合成器130可依据该取出视野以合成一输出相片。在此实施例中，相片合成器130可依据使用者设定(user settings)、该三维场景资讯或其组合，以合成该输出相片。

图2显示依据本发明一实施例之摄影系统的细部方块图。相片组成单元120耦接至影像获取单元110，其包括一三维场景建立单元(3D scene building unit)121及一组成计算单元122。组成计算单元122系储存至少一摄影组成规则。这些摄影组成规则为针对相片美学组成(aesthetic photo composition)且在数学上可量测的不同规则(mathematically measurable rules)，例如九宫格规则(rule of thirds)、对角线支配(diagonal dominance)(注：主要线条)、视觉平衡(visual balance)、水平线(horizontal lines)、相对规模(relative scale)、层次(layering)、重复样式(repeatingpattern)等等，用以提供定量客观之量测(quantitative objective measurement)，但本发明并不限于此。举例来说，「九宫格规则」指由一照相机利用均距的2条水平线及2条垂直线将场景划分为九等份的区块。这些水平线及垂直线的交点可称为「权力点(power points)」，且其鼓励摄影师将影像的主要主题(main subject)放置在这些权力点周围而不要放在影像中央。同样在九宫格规则中，在影像中的强烈垂直/水平成份或线条应该与九宫格的线条对齐。至于「对角线支配」规则，其鼓励摄影师将主题沿着影像的对角线放置，特别是具有重要美感(aesthetically significant)的对角线。「对角线支配」最常见及有效的一种使用方式是利用主要线条(leading line)，其表示可让观赏者的眼睛能沿着注视的一条直线。「视觉平衡」的概念在影像组成的合谐(harmony)是一个重要元件。在一个视觉平衡的影像中，可视显著部分平衡地分配在影像中心点周围。当一影像为视觉平衡，「视觉质量(visual mass)」接近该影像之中心点，且此视觉质量考虑可视显著部分的显著程度及面积。当一输入影像符合多数的摄影组成规则，其表示该输入影像可能具有较佳的美学摄影组成。然而，实际上有些摄影组成规则只考虑影像的全域特征(global feature)，而另一些摄影组成规则只考虑区域最佳化特征。举例来说，当在一影像中的一显著物件(salient object)符合摄影组成规则中的「视觉平衡」，它并不一定符合摄影组成规则中的「九宫格规则」或「对角线支配」。

在训练阶段（training phase）中，组成计算单元122依据储存于相片资料库(photo database)140中的资讯及多个预定摄影组成规则，以决定至少一示范参数(exemplar parameter)。储存于相片资料库140中之资讯可包括不同摄影师(例如摄影专家)的至少一示范相片(exemplar photo)或艺术作品(artistic works)，用以进行主观分析(subjective analysis)，但本发明不限于此。该主观分析与许多空间组成资讯(spatial composition information)或颜色/色调资讯(color/tone information)有关。组成计算单元122由相片资料库140中取得其所储存的资讯以及预定摄影组成规则，用以训练至少一示范参数，例如是具有空间及/或色彩特征的示范参数。举例来说，摄影组成规则及示范相片之主观分析可帮助决定一似专家相片(expert-like photo)的多个示范参数。这些示范参数可用于后续处理由一三维场景中决定一取出视野以及相片合成器130中。组成计算单元122更可储存这些示范参数用以进行后续计算。

三维场景建立单元121依据来自影像获取单元110或任何其他资源之输入影像，用以建立一三维场景。在一实施例中，建立该三维场景可依据现有文献中所介绍的多视野影像几何技术(multi-view image geometry techniques)，例如文献「Multiple View Geometry in Computer Vision”,by R.I.Hartley,A.Zisserman,Cambridge University Press(2004)」。三维场景建立单元121使用多视野影像几何技术可由输入影像建立一三维场景以取代二维全景(2D panorama)。建立一三维场景需要同一场景的至少两张不同影像。举例来说，首先，影像获取单元110撷取具有一水平方向及/或垂直方向移动的一影像序列。接着，三维场景建立单元121可由该影像序列推导出其点或线特征。意即三维场景建立单元121可由点关联性(point correspondence)建立在一基本矩阵(fundamental matrix)之投影模糊(projective ambiguity)的三维点位置，并由该基本矩阵计算相机矩阵(cameramatrices)。更进一步，三维场景建立单元121可由点关联性建立三维点。因此，三维场景建立单元可投射这些三维点以建立该三维场景。该三维场景之几何资讯可帮助组成计算单元122决定一似专家输出相片的观赏位置、观赏角度及相机镜头，这些参数也是重要的相机参数(camera parameter)或摄影特征因素(photography feature factor)。

「取出视野」此词是代表一相机在该三维场景中的一虚拟视野(virtualview)，且该虚拟视野具有至少一相机参数包括(1)一三维转动/平移量以表示该相机在该三维场景中的一特定相对位置及观赏方向，或是(2)该相机的一焦距(focal length)、多个主轴点(principle point)、多个歪斜系数(skew factor)及镜头失真(lens distortion)等等的相机内部参数或其组合，其中相片组成单元120依据该至少一摄影组成规则，由该输入影像/视讯序列中建立该三维场景。

在决定阶段(determining phase)中，组成计算单元122可视为一评分机(scoring machine)。组成计算单元122依据例如是摄影组成规则、示范相片、使用者设定或其组合，对所建立的三维场景中的不同摄影组成或取样位置(sampling position)进行评分。组成计算单元122可将该评分问题制定(formulate)为一最佳化问题。在一实施例中，使用者设定包括主题模式设定(theme modesettings)、色彩/色调设定、高动态范围设定(high dynamic range settings)及景深设定(depth-of-field settings)，但本发明不限于此。

图3A显示依据本发明一实施例中之三维场景的示意图。图3B显示依据本发明一实施例中之取出视野及范例集合(set of exemplars)的关系的示意图。依据范例集合、摄影组成规则、使用者设定或其组合，所建立的三维场景可视为具有许多端点En(n=1～m)的一示范相片收集集合(exemplar photo collection set)Ω，如图3B所示。在示范相片收集集合Ω中的各端点En(n=1～m)系代表一摄影专家的风格。有许多参数可表示三维空间之资讯。在一实施例中，在决定阶段，组成计算单元122可将三维场景中的参数简化至数个摄影特征因素，从而有效率地评估三维场景。有了三维场景的几何资讯，组成计算单元122可得到深度影像。意即相机可沿着分别表示水平、垂直及深度方向的X、Y、Z轴移动。在一实施例中，举例来说，I(P;z,s,d,r)包括一相机在三维场景中的一取样或一取出视野，其中P表示三维场景之完整视野的集合；z表示相机的中心位置；s表示相机的尺寸；d表示相机的深度；r表示相机的旋转角度(rotation angle)，但本发明不限于此。为了解决该最佳化问题，组成计算单元122进行三维场景P中的一取出视野及在示范相片收集集合Ω中之至少一端点En(n=1～m)之间的相异性量测，其中该相异性量测可以下列方程式表示：

$\{z^{*},s^{*},d^{*},r^{*},E^{*}\}=\underset{E\∈\mathrm{\Ω}}{\underset{z,s,d,r}{\arg }}\min \mathrm{\ρ}(I(P;z,d,s,r),E_n)$

其中Ω表示示范相片收集集合；En(n=1～m)表示在示范相片收集集合Ω中之一端点(一专家风格)；ρ表示各端点En(n=1～m)的相异性量测分数。如图3A所示，假设三维场景P由取出视野I1及I2所建立。接着，在三维场景P建立之后，可由三维场景P中的不同位置及角度取出其他的视野，例如取出视野I3、I4及I5。

为了量测取出视野I及专家风格中至少一端点En(n=1～m)之间的相异性，组成计算单元122系评估取出视野之端点EI及该至少一端点En(n=1～m)之间的距离(如图3B所示)，并给取出视野I一「专家分数(expert score)」。若取出视野之端点EI及该至少一端点En(n=1～m)之间的距离较短，其会得到较高的专家分数。较高的专家分数表示较低的相异性及较高的优先权。因此，组成计算单元122可计算并加总至少一取出视野的专家分数，并由所建立的三维场景中推荐一取出视野，其中该取出视野具有在示范相片收集集合Ω中与某一专家风格(端点En)最近的距离，但本发明不限于此。举例来说，I1～In表示在所建立的三维场景中N个不同的取出视野。E1～Em表示在示范相片收集集合Ω中的M个候选端点(candidate nodes)。因此，在所建立的三维场景中具有N*M个计算所得的专家分数，且组成计算单元122可选择具有最高专家分数的取出视野。若二个或以上的取出视野具有一样高的专家分数，组成计算单元122可依据使用者设定以选择其中之一。在另一实施例中，使用者可预先选择他/她所喜爱的专家风格。接着，组成计算单元122可在示范相片收集集合Ω中仅保留与所选择专家风格有关的特定端点。

组成计算单元122更可依据至少一摄影组成规则，评估至少一取出视野的一「组成分数(composition score)」。举例来说，组成计算单元122对各摄影组成规则设定一组成分数。当取出视野符合一特定摄影组成规则，该取出视野则得到该特定摄影组成规则的组成分数。举例来说，在该取出视野与各摄影组成规则进行比对后，组成计算单元122可将各组成分数相加以得到该取出视野的累计组成分数(accumulated composition score)。较高的累计组成分数表示该取出视野于定量测量(quantitative measure)中在数学上拥有较佳的美学摄影组成。在所建立的三维场景中的各取出视野可拥有其组成分数，且组成计算单元122可依据这些组成分数以进行加总，并推荐一取出视野。与摄影组成规则相关的组成分数可相同或不同。举例来说，在n条摄影组成规则中之各者相关的组成分数可全为a。接着，符合n条摄影组成规则中之m条的取出视野会具有一累计组成分数S=m*a。在另一实施例中，组成计算单元122可为各摄影组成规则设定不同的组成分数。举例来说，与「九宫格规则」有关的组成分数可为a1，与「对角线支配」有关的组成分数可为a2，与「视觉平衡」有关的组成分数可为a3。因此，符合「九宫格规则」及「视觉平衡」的取出视野会具有累计组成分数S=a1+a3。

相片合成器130耦接至相片组成单元120。在一实施例中，相片合成器130依据来自组成计算单元122在所建立三维场景中之一推荐取出视野，合成并输出一输出相片。相片合成器130可包括一相片决定单元131及一三维处理单元132。相片决定单元131依据使用者设定，例如是喜爱的专家示范风格、色彩/色调、高动态范围、窄/广角相片镜头效果、集中/反集中效果(focus/defocus effect)、及/或景深等等，以进行操作。色彩/色调设定包括许多主题以表示不同的色彩风格。在一实施例中，影像获取单元110，例如是一数位相机，可提供不同摄影专家之风格及色彩/色调调整设定。若使用者选择一喜爱的专家风格A及色彩/色调设定B(或是主题模式B)，相片合成器130系利用设定A及B合成输出相片。在另一实施例中，因为可能有一个以上的取出视野具有最高的专家分数及/或累计组成分数，相片决定单元131更可在所建立的三维场景中决定送至三维处理单元132的取出视野。

三维处理单元132依据来自相片决定单元131的设定以合成一输出相片。有些相片效果需要场景的三维资讯，例如是景深(depth of field)、材质层次(texturelayering)、反射(reflection)、集中/反集中效果、窄/广角镜头效果、光线效果(lightning effect)等等。举例来说，若以三维场景中的资讯处理这些三维效果，输出相片会更接近真实世界。意即三维处理单元132更可依据三维场景之资讯、整合设定或其组合，通过处理取出视野的三维效果(三维计算摄影)以合成输出相片。除了三维场景中的三维效果，三维处理单元132更可利用由输入影像/视讯序列所建立之三维场景之资讯以进行传统二维影像处理。

在另一实施例中，影像获取单元110撷取一影像序列，且三维场景建立单元121依据该影像序列以建立三维场景。举例来说，组成计算单元122可同时计算该三维场景之相片观赏位置、角度及镜头。在计算示范相片收集集合Ω中之至少一端点及摄影组成规则之间的相异性后，组成计算单元122才决定相片观赏位置、角度及镜头之资讯。组成计算单元122由所建立的三维场景中之许多相机位置选择一推荐相机位置/角度，且推荐相机位置/角度与来自影像获取单元110之输入影像的位置/角度可相同或不同。在一实施例中，除了依据推荐相机位置/角度以合成输出相片外，组成计算单元122更可提供回馈资讯或推荐资讯至使用者。接着，使用者可改变数位相机或影像获取单元110的位置及/或角度以得到更为似专家的相片。使用者亦可了解若他们选择一推荐的主题模式及/或色彩/色调调整设定，相片合成器130的输出相片会接近某个摄影专家的风格。在另一实施例中，一个专家风格或一主题模式可另外预先合并至相片组成单元120。接着，组成计算单元122仅计算示范相片收集集合Ω中与该专家风格或主题模式有关的端点。

在又一实施例中，若来自相片组成单元120的推荐取出视野与输入影像中之一者本质上相同，相片合成器130可对这张输入影像进行优化(refine)，而不用合成一张新的输入影像。在一实施例中，有了适合的多视野显示器之支援，相片合成器130更可输出整个所建立的三维场景至多视野显示器，而不用经过转换二维影像至三维影像或是转换三维影像至二维影像的过程。

图4显示依据本发明一实施例之决定阶段的流程图。首先，在步骤S410，影像获取单元110撷取一场景之多张输入影像。接着，在步骤S420，三维场景建立单元121依据该等输入影像以建立一三维场景。在步骤S430，组成计算单元122由该三维场景中取得至少一取出视野。更进一步，在步骤S440，组成计算单元122为该至少一取出视野计算其专家分数及组成分数。在步骤S450，组成计算单元122依据计算所得之专家分数、组成分数、使用者设定或其组合以决定一取出视野。另外，在步骤S460，相片合成器130依据该取出视野及/或使用者设定以合成一输出相片。在步骤S470，相片合成器130输出所合成的输出相片。需注意的是，在图4中的步骤顺序仅用于说明。此外，图4所示之某些步骤可以省略。

除以上所述者，仅为本发明之较佳实施例而已，当不能以此限定本发明实施之范围，即大凡依本发明权利要求及发明说明内容所作之简单的等效变化与修饰，皆仍属本发明专利涵盖之范围内。另外本发明的任一实施例或权利要求不须达成本发明所揭露之全部目的或优点或特点。此外，摘要部分和标题仅是用以辅助专利文件搜寻之用，并非用以限制本发明之权利范围。

Claims (22)

1.一种摄影系统，用以产生多张相片，包括：

一相片组成单元，用以由一三维场景中决定一取出视野；以及

一相片合成器，耦接至该相片组成单元，用以依据该取出视野以产生一输出相片。

2.如权利要求1所述的摄影系统，其特征在于，该相片组成单元包括一三维场景建立单元，用以依据至少二张输入影像建立该三维场景。

3.如权利要求1所述的摄影系统，其特征在于，该相片组成单元更依据至少一摄影组成规则、至少一示范参数或其组合，用以决定该取出视野。

4.如权利要求3所述的摄影系统，其特征在于，该相片组成单元包括一组成计算单元，用以依据一相片资料库中之至少一示范相片及该至少一摄影组成规则，决定该至少一示范参数。

5.如权利要求4所述的摄影系统，其特征在于，该组成计算单元更通过计算来自该三维场景之至少一取出视野的一专家分数及一组成分数，以决定该取出视野。

6.如权利要求5所述的摄影系统，其特征在于，来自该三维场景之该取出视野表示一相机在该三维场景中之一虚拟视野，其具有至少一相机参数，包括：一三维转动/平移量以表示该相机在该三维场景中的一特定相对位置及一观赏方向，或该相机的多个相机内部参数，其中该相机内部参数包括：一焦距、多个主轴点、多个歪斜系数、镜头失真或其组合。

7.如权利要求5所述的摄影系统，其特征在于，该组成计算单元通过计算该至少一取出视野及该至少一示范参数之间的一相异性距离以计算来自该三维场景之该至少一取出视野的该专家分数。

8.如权利要求5所述的摄影系统，其特征在于，该组成计算单元系通过将该至少一取出视野与该至少一摄影组成规则进行比对，以计算来自该三维场景之该至少一取出视野的该组成分数。

9.如权利要求5所述的摄影系统，其特征在于，该相片合成器包括一相片决定单元，用以整合至少一使用者设定，该至少一使用者设定包括一喜爱示范风格、一主题模式、一色彩/色调、一高动态范围、一窄/广角相机镜头效果、一集中/反集中效果、一景深或其组合。

10.如权利要求9所述的摄影系统，其特征在于，该相片合成器更包括一三维处理单元，用以依据该三维场景之一资讯、整合后之该使用者设定或其组合，并通过处理该取出视野之多个三维效果，合成该输出相片。

11.如权利要求2所述的摄影系统，其特征在于，该至少一摄影组成规则包括九宫格规则、对角线支配、视觉平衡、多条水平线、相对规模、重复样式、层次或其组合。

12.一种相片产生方法，包括：

由一三维场景中决定一取出视野；以及

依据该取出视野，合成一输出相片。

13.如权利要求12所述的相片产生方法，其特征在于，该相片产生方法更包括：

依据至少一摄影组成规则、至少一示范参数或其组合，决定该取出视野。

14.如权利要求12所述的相片产生方法，其特征在于，该相片产生方法更包括：

依据至少二张输入影像，建立该三维场景。

15.如权利要求13所述的相片产生方法，其特征在于，该相片产生方法更包括：

依据一相片资料库中之至少一示范相片及该至少一摄影组成规则，决定该至少一示范参数。

16.如权利要求15所述的相片产生方法，其特征在于，该相片产生方法更包括：

通过计算来自该三维场景之至少一取出视野的一专家分数及一组成分数，决定该取出视野。

17.如权利要求16所述的相片产生方法，其特征在于，来自该三维场景之该取出视野表示一相机在该三维场景中之一虚拟视野，其具有至少一相机参数，包括：一三维转动/平移量以表示该相机在该三维场景中的一特定相对位置及一观赏方向，或该相机的多个相机内部参数，其中该相机内部参数包括：一焦距、多个主轴点、多个歪斜系数、镜头失真或其组合。

18.如权利要求16所述的相片产生方法，其特征在于，该相片产生方法更包括：

通过计算该至少一取出视野及该至少一示范参数之间的一相异性距离，计算来自该三维场景之该至少一取出视野的该专家分数。

19.如权利要求16所述的相片产生方法，其特征在于，该相片产生方法更包括：

通过将该至少一取出视野与该至少一摄影组成规则进行比对，计算来自该三维场景之该至少一取出视野的该组成分数。

20.如权利要求13所述的相片产生方法，其特征在于，该至少一摄影组成规则包括九宫格规则、对角线支配、视觉平衡、多条水平线、相对规模、重复样式、层次或其组合。

21.如权利要求12所述的相片产生方法，其特征在于，该相片产生方法更包括：

整合至少一使用者设定，其中该至少一使用者设定包括一喜爱示范风格、一主题模式、一色彩/色调、一高动态范围、一窄/广角相机镜头效果、一集中/反集中效果、一景深或其组合。

22.如权利要求21所述的相片产生方法，其特征在于，该相片产生方法更包括：

依据该三维场景之一资讯、整合后之该使用者设定或其组合，并通过处理该取出视野之多个三维效果，合成该输出相片。

Images