CN104717422B - 显示设备以及显示方法 - Google Patents

Abstract

本发明提供显示设备以及显示方法，能够以可直观地确认的方式显示模拟用户希望的阴影出现方式的结果。显示设备具有：位置判定部，其判定图像中的对象物的位置和对所述对象物进行照明的光源的位置；阴影变更部，其基于所述对象物与光源之间的位置关系，生成根据与所述光源之间的距离校正所述对象物的图像的阴影后得到的阴影变更图像；以及显示控制部，其在所述摄像图像上合成并显示所述阴影变更图像。

Description

显示设备以及显示方法

技术领域

本发明涉及能够在显示画面显示实时取景图像的显示设备、显示方法以及显示程序。

背景技术

近年来，数字相机等带摄影功能的便携设备(摄影设备)得以普及。这种摄影设备中存在具有显示部并具备显示摄影图像的功能的摄影设备。此外，存在在显示部显示菜单画面从而易于进行摄影设备的操作的摄影设备。用户在摄影时能够确认显示于该显示部的实时取景图像并进行摄影、观察操作。

另外，在有些摄影装置中，摄影时的各种设定实现了自动化。例如，在有些数字相机等中，搭载了使对焦自动化的AF功能、使曝光自动化的自动曝光(AE)功能。然而，在自动曝光中，测定摄影范围的平均的反射光量和来自关注被摄体的反射光量等并将图像整体的曝光控制为一致，而基于光源与被摄体的距离和位置关系，有时无法获得用户希望的阴影出现方式的图像。另外，在手动调整曝光时，在无法自由调整光源相对于被摄体的位置和距离的情况下，也难以通过希望的阴影出现方式对被摄体摄影。而实际上，通过被摄体和光源的位置来直观地确认可获得何种阴影本身就是很困难的。

于是，在专利文献1中公开了如下的技术，从相机取得画面内拍摄到的人物的信息，根据该信息从图像中提取人物的脸部，以使得脸部为适当浓度的方式确定印刷浓度。通过使用专利文献1的技术，能够获得作为被摄体的人物的脸部分不会偏暗也不会泛白的照片。

在先技术文献

专利文献

专利文献1：日本特开2004-191699号公报

发明内容

发明欲解决的课题

然而，在专利文献1的技术中，判定脸部图像并通过图像处理使浓度变得合适，但是，无法使阴影出现方式变为用户希望的那样。

本发明的目的在于，提供显示设备、显示方法以及显示程序，能够显示阴影变更图像作为用户希望的阴影出现方式的观察、用于获得摄像图像的观察、摄影辅助显示。

用于解决课题的手段

本发明的显示设备具有：位置判定部，其判定图像中的对象物的位置和对所述对象物进行照明的光源的位置；阴影变更部，其基于所述对象物与光源之间的位置关系，生成根据与所述光源之间的距离校正所述对象物的图像的阴影后得到的阴影变更图像；以及显示控制部，其在所述摄像图像上合成并显示所述阴影变更图像。

此外，本发明的显示方法具有：位置判定步骤，由摄像部提供被摄体的摄像图像，判定所述摄像图像中的对象物的位置和对所述对象物进行照明的光源的位置；阴影变更步骤，基于所述对象物与光源的位置关系，生成根据与所述光源之间的距离校正所述对象物的图像的阴影后得到的阴影变更图像；以及显示控制步骤，在所述摄像图像上合成并显示所述阴影变更图像。

此外，本发明的显示方法具有如下步骤：受理对显示于画面内的光源与被所述光源照明的对象物在所述画面上的位置关系进行变更的操作；在所述位置变更操作时形成副图像；以及根据所述位置关系变更在所述对象物上得到的阴影并将该阴影显示于所述副图像上。

此外，本发明的显示程序使计算机执行如下步骤：位置判定步骤，由摄像部提供被摄体的摄像图像，判定所述摄像图像中的对象物的位置和对所述对象物进行照明的光源的位置；阴影变更步骤，基于所述对象物与光源的位置关系，生成根据与所述光源之间的距离校正所述对象物的图像的阴影后得到的阴影变更图像；以及显示控制步骤，在所述摄像图像上合成并显示所述阴影变更图像。

发明的效果

本发明具有如下效果：能够以直观确认的方式对模拟用户希望的阴影出现方式的结果进行显示。

附图说明

图1是表示本发明的第1实施方式的显示设备的框图。

图2是用于说明本实施方式的阴影变更图像的说明图。

图3是表示相机控制的流程图。

图4是用于说明阴影变更图像的生成方法的说明图。

图5是用于说明阴影变更图像的生成方法的说明图。

图6是用于说明阴影变更图像的生成方法的说明图。

图7是表示本发明的第2实施方式的框图。

图8是表示第2实施方式的相机控制的流程图。

图9是用于说明阴影变更图像的生成方法的说明图。

图10A是用于说明阴影变更图像的生成方法的说明图。

图10B是用于说明阴影变更图像的生成方法的说明图。

图10C是用于说明阴影变更图像的生成方法的说明图。

图11是表示变形例的相机控制的流程图。

图12是用于说明变形例的显示的说明图。

图13是在本发明的第3实施方式中采用的流程图。

图14是用于说明在摄影图像的记录时同时记录的标签信息的说明图。

图15是表示显示画面56b上的显示例的说明图。

符号说明

10…摄像部，11…摄影辅助部，11a…脸部判定部，11b…光源位置判定部，11c…阴影变更部，11d…显示控制部，50…摄影机，52…摄像部，53…信号处理和控制部，53a…显示控制部，53b…脸部检测部，53c…阴影变更部，53d…距离分布判定部，53e…光源位置判定部，57…记录部。

具体实施方式

以下，参照附图详细说明本发明的实施方式。

(第1实施方式)

图1是表示本发明的第1实施方式的显示设备的框图。在本实施方式中，从摄像图像中检测作为摄影辅助显示的对象物的被摄体的位置和照明该被摄体的光源的位置，通过显示阴影变更图像，从而有效地辅助用户希望的影的出现方式(阴影)的确认，其中，该阴影变更图像示出在使对象物相对于光源的位置变化的情况下的对象物的阴影出现方式。

图2是用于说明本实施方式的阴影变更图像的说明图。图2的(a)示出人物21用右手22把持显示设备的壳体24，观看显示实时取景图像的显示部12的显示画面12a并进行自拍的情形。人物21在室内25站立于与窗户26离开规定的距离的位置处进行摄影。图2的(b)表示在图2的(a)的显示画面12a显示的实时取景图像31。实时取景图像31中包含用户本身的图像21a、用户的手的图像22a、窗户的图像26a、室内的天花板的图像27a和墙壁的图像28a。

图2的(b)的例子示意性示出如下状态：通过人物21的脸部41的图像41a的浓淡的显示，使得人物21的脸部41的右侧由于来自窗户26的光亮而被拍摄得较为明亮，脸部41的左侧由于与窗户26略微离开一段距离而被拍摄得比脸部的右侧暗。

可认为这种脸部的图像41a的右侧与左侧的明暗的比率在与作为光源的窗户26的距离发生变化时也是一定的。即，在与光源较近的位置处的脸部的图像41a的右侧与左侧的图像亮度存在相当于1个曝光级别的差的情况下，在较为远离光源的位置处脸部41的图像41a的右侧与左侧的图像亮度也存在相当于1个曝光级别的差。然而，与和窗户(光源)26之间的距离对应的背景亮度的变化与脸部41的亮度的变化不同，因而通过在接近窗户(光源)26时的脸部的图像41a的左右的1个级别的明暗变化而接受到的印象与通过远离窗户(光源)26时的脸部的图像41a的左右的1个级别的明暗变化而接受到的印象是明显不同的。通常，存在越接近窗户26则脸部的图像41a的明暗的差异越扩大的倾向，并且存在越远离窗户26则脸部的图像41a的明暗的差异越平稳化的倾向。

然而，一般的用户难以预测被摄体与光源的位置关系以及被摄体的阴影的显现情况，无法获悉被摄体(例如自身)相对于光源处于何种距离能够获得希望的浓淡的图像。于是，本实施方式在用户改变了被摄体的位置(例如自身的站立位置)的情况下，显示阴影变更图像(以下也称之为副图像)，该阴影变更图像表示获得何种阴影的图像。

副图像优选是切取出对象物、光源的部分的图像，是通过脸部检测、被摄体的轮廓判定，以脸部和光源部不会超出范围的方式切取获得的，然而，也可以是分割画面得到的特定大小的图像块。

图2的(b)的通过四边包围的阴影显示区域43a是显示阴影变更图像(副图像)43b的区域，该阴影变更图像43b表示作为被摄体的人物21接近窗户26时通过摄影可能获得的脸部41的阴影的情形，图2的(b)的通过四边包围的阴影显示区域44a是显示阴影变更图像44b的区域，该阴影变更图像44b表示人物21远离窗户26时通过摄影可能获得的脸部41的阴影的情形。另外，在图2的(b)的阴影变更图像43b、44b中为了简化附图，仅通过黑白来表示脸部的明暗。通过显示这种阴影变更图像43b、44b，人物21能够预测被摄体(例如自身)站立于何处、会成为何种氛围的图像。亦即，提供一种观察辅助方法，其具有如下步骤：受理对画面内显示的光源与通过所述光源照明的对象物在画面上的位置关系进行变更的操作；在所述位置变更操作时形成副图像；根据所述位置关系变更在所述对象物上得到的阴影并将该阴影显示在所述副图像上。

图1中，显示设备23的摄像部10对被摄体像摄像并输出摄像图像。来自摄像部10的摄像图像被提供给摄影辅助部11。摄影辅助部11具有脸部判定部11a，脸部判定部11a检测所输入的摄像图像中的脸部。

位置判定部11b从摄像图像中判定作为对象物的被摄体和光源存在于哪个位置。例如，位置判定部11b在摄像图像中存在规定等级以上的亮度部分的情况下，将该部分判定为光源。此外，阴影变更部11c为了根据与光源之间的距离来模拟被摄体的阴影状态，例如判定画面内的被摄体的距离分布。

阴影变更部11c在作为对象物的被摄体向接近或远离由位置判定部11b判定出的光源位置的方向上移动的情况下，根据摄像图像中的被摄体图像，分别通过模拟求出各种情况下的被摄体的阴影状态。阴影变更部11c将作为模拟结果的阴影变更图像提供给显示控制部11d。显示控制部11d将根据模拟结果改变被摄体的阴影而得到的阴影变更图像与来自摄像部10的摄像图像合成，将合成后得到的合成图像输出给显示部12。

显示部12例如设置于收容摄像部10的壳体，用户在进行摄像部10的摄影操作时能够视觉确认显示部12。在显示部12的显示画面12a中，在实时取景图像上重叠显示阴影变更图像，用户通过参照阴影变更图像，能够判断出当使被摄体相对于光源向哪个方向移动时，可获得希望的阴影的摄像图像。这里假定的是身边的相机或智能手机等，然而，当然也可以远程设置显示部12，远程进行阴影模拟。

接着，参照图3至图6说明如上构成的实施方式。图3是表示相机控制的流程图，图4至图6是用于说明阴影变更图像的生成方法的说明图。另外，在图3至图6中以人物的脸部作为摄影辅助显示的对象物进行说明。

摄影辅助部11在图3的步骤S11中判定是否指示了摄影模式。在未指示摄影模式的情况下，摄影辅助部11转移至其他模式。

指示了摄影模式后，在步骤S12中，摄影辅助部11取入来自摄像部10的摄像图像，脸部判定部11a判定摄像图像中的脸部。此外，阴影变更部11c对于摄像图像中的各部分判定画面内的距离分布。摄影辅助部11的显示控制部11d对来自摄像部10的摄像图像实施规定的图像处理，将图像处理后的摄像图像提供给显示部12并显示实时取景图像。

接着，阴影变更部11c例如判定画面内是否存在阴影差足够大的脸部的图像(步骤S13)。在摄像图像的例如中央处存在阴影差足够大的脸部的情况下，通过位置判定部11b判定是否存在对作为对象物的这种脸部进行照明的光源(步骤S14)。

另外，在步骤S14的光源位置判定中，假定窗户或照明器具等射出扩散的光的光源，未假定被摄体被直射日光照明的情况。例如，在被摄体的明暗部分的亮度差极大的情况下，可判定为直射日光照射在被摄体上。在这种情况下，即使被摄体向光源方向或其反方向移动，摄像图像的明暗变化也依然较大而不会变化，因此，可以显示摄像图像的印象会基于脸部的朝向而大幅变化等的建议，使处理从步骤S14转移到步骤S21。

位置判定部11b在无法进行光源位置的判定的情况下，可以通过显示控制部11d显示表示无法进行光源位置的判定的警告显示。例如，显示控制部11d将“无法进行光源位置的判定”这样的警告显示等显示于显示部12的显示画面12a上。

在对背景较暗、存在明亮的窗户的室内摄像的情况下等，可认为来自窗户的照明效果对于摄像图像的亮度起到主导作用。对室内的人物的脸部进行照明的光也依赖于从窗户扩散来的光束，在将窗户简单作为光源的情况下，可认为室内的亮度与到窗户的距离的乘方成反比例。

于是，阴影变更部11c考虑到来自窗户的扩散光的影响，为了模拟移动了位置时的对象物的阴影状态，在存在对对象物进行照明的光源的情况下，判定是否能够判定从光源到作为对象物的脸部的距离(步骤S15)。在能够判定距离的情况下，阴影变更部11c在步骤S16、S17中生成阴影变更图像。阴影变更部11c确定显示阴影变更图像的位置，模拟对象物存在于该位置时的阴影，并反映于阴影变更图像上。

图4表示从上方观看对被摄体摄影的情形，用于说明基于与光源的距离和亮度的影响的阴影状态的分析方法。图4示出以光源的位置作为基准，将阴影变更图像显示于光源与对象物之间的距离的1/2和2/3的位置时的例子。图4的(a)示出如下情形：作为光源的窗户26位于作为被摄体的人物21的横向，在通过来自窗户26的散射光从横向照明作为被摄体的人物21的状态下，显示设备23从人物21的正面对作为被摄体的人物21进行摄影。

窗户26从面对室内25的放射面朝室内25射出散射光。在人物21的后方存在作为背景的壁28。人物21在壁28的前方，位于从横向接受来自窗户26的散射光的位置。另外，将与窗户26的放射面正交的方向作为X方向。图4的(a)的自窗户26起的箭头表示向室内25的散射光的照射。另外，图4的(a)的扇型的虚线示意性表示散射光扩散的情形，来自窗户26的散射光随着离开窗户26而与距离的乘方成反比例地逐渐变暗。设从显示设备23的摄像部10到人物21的距离为Df，从摄像部10到作为光源的窗户26的距离为Dw。此外，设作为被摄体的人物21与窗户26之间的距离为Xwf。

图4的(b)例如通过×标记表示在脸部的高度(摄像图像中的包含脸部的规定的水平线)上与作为光源的窗户26的距离对应的亮度变化。与窗户26的距离为Xwf的人物21的脸部的亮度是Bf。在这种情况下，到窗户26的距离为Xwf/2的位置处的亮度为4Bf，到窗户26的距离为3Xwf/2的位置处的亮度为9/4(约Bf/2)。例如，阴影变更部11c在将阴影变更图像配置于到窗户26的距离为Xwf/2的位置上的情况下，生成使摄像图像中的脸部的亮度为原图像的4倍的阴影变更图像。

如上，阴影变更部11c按照阴影变更图像的显示位置改变阴影变更图像的亮度。然而，阴影变更图像的显示位置是以窗户26的位置为基准求出的，在窗户26占据摄像图像中较大面积的情况下，难以确定阴影变更图像的显示位置的基准。于是，在本实施方式中，阴影变更部11c以视场角基准确定阴影变更图像的显示位置。

图5示出阴影变更图像的显示位置的求出方法。图5的(a)表示与图4的(a)同样的摄影状态。图5的(a)示出如下例子：作为对象物的人物21位于摄像范围的中央，设最大的视场角为θ0，通过窗户框等而在视场角θw处检测到作为光源的窗户26。若设与窗户26之间的距离为Xwf/2的位置处的视场角为θl，则θl可通过下式(1)给出。

θl＝arctan{(Xwf/2)/Df}…(1)

图5的(b)表示基于所述式(1)的阴影变更图像的显示位置。图5的(a)示出显示部12的显示画面12a上的摄影辅助显示，摄影辅助显示在实时取景图像上显示阴影变更图像。光源侧的阴影显示区域43a显示于视场角θl的位置。此外，如图5的(b)所示，到窗户26的距离为3Xwf/2的位置通过视场角θd表现，该视场角θd表示以与视场角θl相同大小以画面中心为基准对称的位置。

图6在横轴取画面的水平位置、在纵轴取图像信号的电平(level)，用于说明阴影变更图像的图像信号电平。图6的(a)表示摄像图像的包含脸部的规定的行的图像信号电平，图6的(b)表示在光源方向上配置显示的阴影变更图像的图像信号电平，图6的(c)表示在光源方向的反方向上配置显示的阴影变更图像的图像信号电平。

图6的(b)中使图6的(a)的脸部的图像信号振幅为2倍，图6的(c)中使图6的(a)的脸部的图像信号振幅为1/2倍。在图5的(b)的光源侧显示位置处配置的阴影变更图像中，原来的脸部图像的图像信号的振幅被变为2倍，因而成为相比背景更为明亮的印象的图像。例如，可获得相比当前的摄像图像中的脸部的图像而言脸部更白的印象的图像。此外，在光源方向的反方向上配置的阴影变更图像中，原来的脸部的图像的图像信号的振幅被变为1/2倍，因而可获得相比背景更暗的印象的图像。例如，在摄像图像的脸部泛白时，也能够成为适当曝光的图像。

在步骤S16中，阴影变更部11c生成阴影变更图像，该阴影变更图像是将由脸部判定部11a判定出的脸部的图像信号的信号振幅例如强调为2倍而得到的图像。显示控制部11d以使得该生成的阴影变更图像位于从摄像图像中的脸部朝光源方向的视场角θ1(图5的(b))的位置处的方式，将摄像图像与阴影变更图像合成并提供给显示部12。由此，例如图2的(b)的阴影变更图像43b显示于视场角θl的位置。

此外，阴影变更部11c在步骤S17中，生成将由脸部判定部11a判定的脸部的图图像信号的信号振幅减弱为例如1/2倍后得到的图像，将所得到的图像作为阴影变更图像。显示控制部11d以使得该生成的阴影变更图像处于从摄像图像中的脸部朝光源的反对方向的视场角θd(图5的(b))的位置的方式，将摄像图像与阴影变更图像合成起来并提供给显示部12。由此，例如图2的(b)的阴影变更图像44b被显示于视场角θd的位置。

另外，此处还示出了阴影变更部11c使图像信号的振幅为2倍或1/2倍并显示于视场角θl、θd的位置的例子，然而可以适当设定使振幅为几倍，使视场角变更图像显示于与阴影的强调量对应的显示位置上即可。另外，不仅可使用改变图像信号的脸部分的振幅的手法，还可以采用以使得图像信号的脸部分的亮度整体变亮或变暗的方式发生变化的手法。

摄影辅助部11在步骤S18中，判定用户是否选择了在光源方向或光源的反方向显示的阴影变更图像中的一方。在用户进行了选择阴影变更图像中的一方的操作的情况下，显示用于催促向所选择的方向移动被摄体的引导显示(步骤S19)。在步骤S20中，显示控制部11d消除阴影变更图像的显示。

在步骤S21中，显示设备23判定是否进行了用于进行摄影的释放操作或触摸操作等。在进行了释放操作等的情况下，显示设备23进行摄影，记录摄像图像(步骤S22)。

如上在本实施方式中，模拟被摄体向光源方向移动的情况和向光源的反方向移动的情况下的被摄体图像并生成阴影变更图像，将其显示于与阴影变更图像的阴影的强调量对应的显示位置上。该阴影变更图像用于表示被摄体在移动至何处的情况下将以怎样的阴影(浓淡)被摄影，能够有效辅助获得用户希望的浓淡的摄像图像。例如，在用户希望以肌肤显得更白的方式摄影的情况、希望以观察不到皱纹的方式摄影的情况、希望在不泛白的状态下摄影的情况等，能够示出被摄体站立于哪个位置即可。用户通过参照阴影变更图像的图像的状态和显示位置，从而能够简单把握被摄体位于何处就能够获得希望的浓淡的摄像图像。

另外，在所述说明中，为了简化说明，说明的是光源位于对象物的水平方向的情况，然而本发明同样能够应用于光源相对于对象物位于除去正后方或正面之外的任何位置的情况。

(第2实施方式)

图7是表示本发明的第2实施方式的框图。本实施方式用于数字相机。

在图7中，本实施方式的显示设备50在前表面设有摄影光学系统61。摄影光学系统61向摄像部52引导被摄体像。另外，摄影光学系统61还可以与显示设备50独立构成，可以构成为以自由拆装的方式安装的更换镜头。

摄影光学系统61具有用于变焦和对焦的未图示的镜头等，这些镜头是通过镜头用控制部62进行驱动控制的。镜头用控制部62被后述的信号处理和控制部53控制。摄影光学系统61通过信号处理和控制部53对焦点位置、变焦位置和光圈等进行控制。

显示设备50具有通过CCD和CMOS传感器等摄像元件构成的摄像部52。摄像部52对来自摄影光学系统61的被摄体像进行光电转换而获得摄像图像。摄像部52被信号处理和控制部53驱动控制而输出摄像图像。

信号处理和控制部53例如通过未图示CPU和存储器等构成，按照存储于存储器的程序进行相机控制。信号处理和控制部53向摄像部52输出摄像元件的驱动信号并控制快门速度、曝光时间等，并且读出来自摄像部52的摄像图像。信号处理和控制部53对读出的摄像图像进行规定的信号处理，例如颜色调整处理、矩阵转换处理、噪声除去处理和其他各种信号处理。

显示设备50中还配设有操作判定部54和时钟部55。时钟部55产生信号处理和控制部53使用的时间信息。操作判定部54产生基于用户对操作部的操作的操作信号，并输出给信号处理和控制部53，其中该操作部包含设置于显示设备50的未图示的快门按钮、功能按钮、摄影模式设定等的各种开关等。信号处理和控制部53根据操作信号控制各部分。

信号处理和控制部53能够进行与摄像图像的记录和再生相关的处理。例如，信号处理和控制部53对信号处理后的摄像图像进行压缩处理，能够将压缩后的图像提供给记录部57记录。作为记录部57，例如可采用卡接口，记录部57能够在存储卡等记录介质中记录图像信息和声音信息等。

信号处理和控制部53的显示控制部53a执行与显示有关的各种处理。显示控制部53a能够将信号处理后的摄像图像提供给显示部56。显示部56具有LCD等显示画面，显示从显示控制部53a提供的图像。此外，显示控制部53a还能够使各种菜单显示等显示于显示部56的显示画面56b(参照图10A)上。

信号处理和控制部53能够读出记录于记录部57的摄像图像并进行解压缩处理。显示控制部53a将解压缩处理后的摄像图像提供给显示部56，从而能够进行记录图像的再生。

显示部56具有显示摄像图像的显示画面56b(参照图10A)，在显示画面56b上设有触摸面板56a。触摸面板56a能够产生与用户用手指指示的显示画面56b上的位置对应的操作信号。该操作信号被提供给信号处理和控制部53。由此，信号处理和控制部53在用户在显示画面56b上触摸或滑动的情况下，能够检测用户的触摸位置、闭合手指并离开的操作(捏合操作)、滑动操作和通过滑动操作到达的位置、滑动方向、触摸期间等的各种操作，执行与用户操作对应的处理。

另外，显示部56配设为占据显示设备50的例如背面的大致整个区域，摄影者在摄影时能够确认显示于显示部56的显示画面56b上的实时取景图像，能够在确认实时取景图像的同时进行摄影操作。

显示设备50设有加速度判定部58。加速度判定部58通过陀螺仪传感器、加速度传感器等构成，能够检测收容显示设备50的壳体的动作和姿态(倾斜)。加速度判定部58的判定结果被提供给信号处理和控制部53。

此外，显示设备50中还设有通信部59。通信部59能够在与外部设备之间进行通信，发送来自信号处理和控制部53的摄像图像，并将从外部设备接收的摄像图像输出给信号处理和控制部53。

在本实施方式中，信号处理和控制部53能够执行阴影模拟模式，该阴影模拟模式通过阴影变更图像示出为了获得用户希望的浓淡的图像而应该使被摄体相对于光源处于哪个位置即可。为了生成阴影变更图像，信号处理和控制部53除了具有显示控制部53a之外，还具有脸部检测部53b、阴影变更部53c、距离分布判定部53d和光源位置判定部53e。

脸部检测部53b通过对于摄像图像的公知的脸部检测处理等，能够将摄像图像中的人物的脸部或人体、动物或特定的物体等判定为阴影变更图像的对象物。进而，脸部检测部53b还可以将画面的中央的脸部、画面中心部等指定为对象物。

距离分布判定部53d求出从摄像部52到摄像图像中的各部分的距离的分布。例如，距离分布判定部53d能够判定从摄像部52到被摄体的距离和从摄像部52到光源的距离等。距离分布判定部53d既可以通过专用的距离传感器进行距离判定，也可以使用摄像部52的对焦控制用的像素基于像面相位差法进行距离检测，此外，还可以根据摄影光学系统61的对焦时的镜头位置进行距离判定。

在本实施方式中，光源位置判定部53e根据距离分布判定部53d的判定结果，判定在摄像图像中光源相对于被摄体存在于哪个位置。例如，位置判定部11b在摄像图像中存在规定等级以上的亮度部分的情况下，将该部分判定为光源。

阴影变更部53c在作为对象物的被摄体在与由位置判定部11b判定出的光源位置接近的方向或远离的方向上移动的情况下，根据摄像图像中的被摄体图像，分别通过模拟求出各情况下的被摄体的阴影的状态。另外，阴影变更部53c由距离分布判定部53d被提供画面内的被摄体的距离分布的判定结果，按照与光源之间的距离模拟被摄体的阴影的状态，生成阴影变更图像。

阴影变更部53c将作为模拟结果的阴影变更图像及其显示位置的信息提供给显示控制部53a。显示控制部53a将根据模拟结果改变被摄体的阴影而得到的阴影变更图像在由阴影变更部53c指定的显示位置上与来自摄像部52的摄像图像合成，生成合成图像并将其输出给显示部56。

显示部56例如设置于收容摄像部52的壳体中，用户在进行摄像部52的摄影操作时能够视觉确认显示部56。在显示部56的显示画面56b的实时取景图像上重叠显示阴影变更图像，用户通过参照阴影变更图像，从而能够判断使被摄体相对于光源向哪个方向移动，才能获得希望的阴影的摄像图像。

在本实施方式中，阴影变更部53c受理对于触摸面板56a的用户操作，能够使用户指示用于显示阴影变更图像的位置。例如，用户在触摸面板56a上触摸与对象物对应的位置，滑动操作至规定的位置的情况下，模拟该对象物移动至与滑动操作的终点的位置对应的实际位置时的阴影的状态，在与该位置对应的画面上的位置显示作为模拟结果的阴影变更图像。

另外，阴影变更部53c在用户的滑动操作的中途也能够进行模拟运算，用户能够一边确认阴影变更图像的显示位置根据滑动操作而发生变化、其阴影的形状发生变化的情况，一边进行滑动操作。

接着，参照图8、图9和图10A～图10C说明如上构成的实施方式的动作。图8是表示第2实施方式的相机控制的流程图。在图8中对于与图3相同的步骤赋予同一符号并省略说明。图9、图10A～图10C是用于说明阴影变更图像的生成方法的说明图。

第1实施方式示出了来自光源(窗户)的光从横向照明脸部的例子。通过设为光从横向照射在脸部，能够简单求出阴影的模拟。对此，在本实施方式中，示出了来自光源的光斜向照射在脸部的例子。这种情况下，若作为对象物的脸部的移动方向并非光源方向，则阴影图案会由于脸部的凹凸而发生变化。因此，为了生成准确的阴影变更图像，就需要使用了脸部的凹凸图形的复杂运算。于是，在本实施方式中，为了简化阴影变更图像的模拟运算，设脸部向光源方向或其反方向移动。

此外，在以下的说明中，为了简化说明，设光源与对象物处于同一高度，仅考虑X方向(水平方向)和Z方向(深度方向)加以说明，然而在光源与对象物的高度不同的情况下，一并考虑Y方向(高度方向)进行三维运算即可。

在图8的步骤S31中，通过信号处理和控制部53判定是否指定了阴影模拟模式。在指定了阴影模拟模式的情况下，通过光源位置判定部53e和距离分布判定部53d判定光源和作为对象物的例如脸部的位置等。

此处，如图9的(a)所示，作为光源的灯位于在室内70站立的人物71的左侧，通过该灯72从左前方照明作为被摄体的人物71。图9的(b)表示从上方观看通过显示设备50对作为被摄体的人物71摄影时的位置关系。此外，图9的(c)用于说明基于灯72与人物71之间的位置关系的光向人物71的入射。

图9的(a)示出如下情形：灯72位于作为被摄体的人物71的左斜前方，在通过来自灯72的散射光从左斜前方照明作为被摄体的人物71的状态下，显示设备50从人物71的正面对作为被摄体的人物71摄影。灯72朝室内70的各部分射出散射光。图9的(b)中自灯72的箭头表示向人物71方向的散射光的照射。另外，图9的(b)的扇型的虚线示意性表示散射光朝人物71方向扩散的情形，示出来自灯72的散射光随着离开灯72而逐渐变暗。从显示设备50的摄像部52到人物71的距离为Df，从摄像部52到灯72的距离为Dl。这些距离是通过距离分布判定部53d求出的。此外，以人物71的方向(光轴方向)为基准，设灯72的视场角为θl。

距离分布判定部53d求出从灯72到人物71的距离Dlf。通过Dltanθl表示在与摄像部52的光轴垂直的方向(X方向)上的灯72与人物71之间的距离。因此，距离Dlf可表现为Dlf＝{(Dltanθl)²+(Df-Dl)²}^0.5。

另外，在无法判定光源和脸部位置的情况下，使处理从步骤S32转移到步骤S38，显示无法判定光源、脸部位置的警告显示，结束阴影模拟模式。接着，阴影变更部53c在步骤S33中，判定是否为了显示阴影变更图像而进行了触摸作为对象物的脸部并使其滑动的操作。在未进行触摸和滑动操作的情况下，将处理转移至步骤S21。

进行了触摸和滑动操作后，在步骤S34中，阴影变更部53c复制作为对象物的脸部的图像，开始阴影变更图像的生成。在本实施方式中，按照用户在触摸面板56a上触摸实时取景图像中的被摄体并使其滑动的操作，计算阴影变更图像的显示位置及与该显示位置对应的阴影的状态。这种情况下，可认为用户并未意识到连结灯72与作为被摄体的人物71的直线74的方向。于是，在本实施方式中，用户在触摸面板56a上沿左右方向(X方向)上进行滑动，求出与滑动操作的移动量相应的显示位置和阴影的状态。

图9的(c)用于说明人物71在连结灯72与人物71的直线74上移动时，移动对于阴影的影响，将人物71和灯72的位置在坐标上显示出来。在图9的(c)中，人物71的坐标为(0，Df)，灯72的坐标为(Dltanθl，Dl)。

因此，在沿X方向进行了滑动操作的情况下，若与该滑动操作相当的实际的移动距离为X1，则人物71的移动距离为X1·Dlf/(Dltanθl)。与该移动距离的乘方成反比例地控制阴影变更图像的亮度即可。另外，相对于X方向的变化而在直线74方向呈线形变化，因此，与X方向的变化率的乘方成反比例地控制阴影变更图像的亮度即可。

此外，由于与最大的视场角θ0对应的实际的X方向距离为Dftanθ0，因此若设触摸面板56a的横向宽度的1/2的距离为Xpo，则可通过下式(2)求出与触摸面板56a上的水平方向滑动量Xp对应的实际的X方向的移动量X。

X＝Df(tanθ0)Xp/Xp0…(2)

此外，在本实施方式中，为了表示通过用户在X方向的操作而使阴影变更图像沿着直线74移动的情况，按照Z方向的移动量改变阴影变更图像中的人物71的大小。

由于X方向与直线74所成的角度为(π/2)-θl，因此若设X方向的变化为X，则可通过下式(3)给出Z方向的变化量Z(步骤S35)。

Z＝-tan{(π/2)-θl}X+Df…(3)

若使阴影变更图像在直线74上移动，则阴影变更图像中的脸部的大小按照Z与Df的比率发生变化。阴影变更部53c在步骤S36中，根据Z与Df的比率，变更所复制的作为对象物的脸部的图像的大小(步骤S36)。

接着，阴影变更部53c根据与滑动量对应的X方向的变化率，生成阴影变更图像，该阴影变更图像是强调或弱化了所复制的作为对象物的脸部的图像的阴影后得到的(步骤S37)。阴影变更部53c将生成的阴影变更图像提供给显示控制部53a。显示控制部53a以将阴影变更图像显示于与滑动操作对应的位置的方式，进行实时取景图像与阴影变更图像的合成。该合成图像显示于显示部56的显示画面56b上。

图10A～图10C用于阴影模拟模式的画面显示。图10A表示在显示画面56b上显示实时取景图像81、在实时取景图像81中显示作为光源的灯72和人物71的图像的情形。用户要使用指尖82触摸作为对象物的人物71的脸部。通过该触摸操作而由阴影变更部53c复制人物71的脸部的图像。

图10B示出用户将指尖82向右侧滑动的情况。阴影变更部53c检测向箭头83方向的用户的滑动操作，在指尖82的位置显示阴影变更图像84。用户希望进行在使人物71向接近灯72的方向移动时的阴影变更图像的显示，由于灯72比人物71靠身前侧，因而阴影变更图像84的大小显示得大于原脸部的图像。由此，用户能够通过图像大小识别出对象物向身前侧进行了移动的情况，并且能够通过阴影变更图像84的阴影得知这种情况下的阴影的情形。

图10C表示用户使指尖82向左侧滑动的情况。阴影变更部53c检测用户向箭头85方向的滑动操作，在指尖82的位置显示阴影变更图像86。用户希望进行使人物71向远离灯72的方向移动时的阴影变更图像的显示，阴影变更图像86的大小显示得小于原脸部的图像。由此，用户能够通过图像大小识别出对象物向深度方向进行了移动的情况，并且能够通过阴影变更图像86的阴影得知这种情况下的阴影的情形。

如上，本实施方式能够获得与第1实施方式同样的效果。进而，在本实施方式中，即使在来自光源的照明斜向照射在对象物上的情况下，通过模拟使对象物向光源方向或其反方向移动时的阴影，从而也能够通过简单的运算生成作为模拟结果的阴影变更图像。此外，在本实施方式中，用户能够在触摸面板上指示显示阴影变更图像的位置，运算该指示的位置处的阴影的状态，在所指示的位置显示阴影变更图像，用户能够简便地确认可获得希望的阴影的对象物的位置。

另外，在所述说明中，为了表示与摄像部之间的距离变化，增大了接近光源方向的阴影变更图像中的脸部的大小，减小了在光源的反方向移动的阴影变更图像中的脸部的大小，然而脸部尺寸的大小与实际的大小可一致也可不一致，或者还可以通过同一大小进行显示。

(变形例)

图11和图12表示变形例。图11是表示变形例的相机控制的流程图，图12是用于说明变形例的显示的说明图。在图11中对与图8相同的步骤赋予同一符号并省略说明。

本变形例显示代替对象物而使光源移动时的阴影变更图像。在图11的步骤S33中判定为不存在脸部的滑动操作的情况下，在接下来的步骤S41中，阴影变更部53c判定是否存在光源的触摸和滑动操作。

在进行了对于光源的触摸和滑动操作的情况下，在步骤S42中，阴影变更部53c复制光源的图像，开始阴影变更图像的生成。在本变形例中，按照用户在触摸面板56a上触摸实时取景图像中的光源并使其滑动的操作，计算阴影变更图像的显示位置及与该显示位置对应的阴影的状态。

在这种情况下，例如也设为在连结图9的(c)中的灯72和人物71的直线74上移动，求出移动对阴影的影响。阴影变更部53c根据基于触摸灯72并使其滑动的操作的实际的X方向的距离，计算灯72在Z方向的移动量(步骤S43)。灯72的大小按照Z与Df的比率发生变化。阴影变更部53c在步骤S44中，根据Z与Df的比率，变更所复制的作为光源的灯72的图像的大小。

此外，在本变形例中，阴影变更部53c在指定了作为光源的灯72的移动位置时，根据该灯位置与对象物的位置关系，模拟作为对象物的人物的脸部的阴影，并将作为模拟结果的阴影变更图像重叠显示于原对象物的显示位置上。

图12用于说明阴影模拟模式的画面显示。图12的(a)示出在显示画面56b上显示实时取景图像81、在实时取景图像81中显示作为光源的灯72和人物71的图像的情形。用户要通过指尖82触摸作为光源的灯72。通过该触摸操作而由阴影变更部53c复制灯72的图像。

图12的(b)表示用户使指尖82向左侧滑动的情况。阴影变更部53c检测用户向箭头91方向的滑动操作，在指尖82的位置显示灯的图像92。用户希望进行使灯72向接近对象物的方向移动时的阴影变更图像的显示，由于灯72位于比人物71靠身前侧，因而灯的图像92的大小显示得小于原灯72的图像。由此，用户能够识别出准备显示使光源向深度方向移动时的阴影变更图像的情况。在步骤S37中，通过阴影变更图像显示这种情况下的阴影的情形。另外，此时的阴影变更图像是将实时取景图像中的原人物71的脸部的图像部分变更为基于模拟结果的阴影而得到的。

如上，在本变形例中，在移动光源的情况下，能够模拟使其移动时的阴影，显示阴影变更图像。另外，也可以不通过手指直接触摸，而通过声音等指定对象物(光源或被摄体)，通过手势移动该位置等，可使用各种位置变更的方法，这是不言自明的。

(第3实施方式)

图13是在本发明的第3实施方式采用的流程图。图13的流程表示在图11的步骤S41的判定结果为“否”的情况下继续进行的处理。本实施方式的硬件结构与第2实施方式相同，此外，图13以外的动作流程与图11的动作流程相同。

在所述各实施方式中，求出光源与作为对象物的脸部等之间的位置关系，生成阴影变更图像。在本实施方式中，在记录时预先对信号处理和控制部53中求出的信息进行记录，由此在以后的摄影时能够显示有效的阴影变更图像。

图14是用于说明在摄影图像的记录时同时记录的标签信息的说明图。图14的(a)表示所记录的摄像图像90，图14的(b)表示与图14的(a)关联地同时记录的标签信息。如图14的(a)所示，在记录的摄像图像90中包含作为对象物的人物71的图像和作为光源的灯72的图像。

如图14的(b)所示，在图14的(a)的摄像图像的摄像中，被摄体信息、场所和时间的信息能够作为标签信息而被记录。进而，通过执行图11的各处理，从而作为标签信息，能够记录在图14的(a)的图像的摄影时生成的阴影变更图像、为了生成该阴影变更图像而求出的距离分布的信息以及与照明方向(从对象物观察的光源方向)φ有关的信息等。

在图11的步骤S41中判定为“否”的情况下，信号处理和控制部53将处理转移至图13的步骤S51，判定关于与当前的摄像图像中的被摄体相同的被摄体的摄像图像是否已被摄像并记录。进而，信号处理和控制部53根据关于同一被摄体的照明方向φ的信息，判定是否记录了与和当前的摄像图像的照明方向不同的照明方向有关的阴影变更图像。信号处理和控制部53在不存在这种记录的情况下使处理返回图11的步骤S21，在存在记录的情况下转移至下一步骤S52。信号处理和控制部53在步骤S52中，读出并参考显示检索的阴影变更图像(步骤S53)。

图15是表示这种情况下的显示画面56b上的显示例的说明图。在显示画面56b上显示实时取景图像95。在实时取景图像95上显示与图14的(a)的人物71相同的人物96的图像和灯97的图像，进而，还显示灯97的照明方向为φ1的情况下获得的阴影变更图像98和灯97的照明方向为φ2的情况下获得的阴影变更图像99。此外，在阴影变更图像98、99中还示出照明方向分别为φ1、φ2。

这些阴影变更图像98、99是在图14的(a)的摄像图像的摄影时得到的，在图15所示的同一人物96的摄影时，将这些阴影变更图像98、99作为改变了照明的位置的参考图像显示，从而摄影者能够获得极为有效的摄影的启示。

如上，在本实施方式中，存储摄影时取得的各种信息和阴影变更图像，能够在当前的摄影时作为参考图像显示，摄影者能够获得与照明有关的极为有效的启示。

另外，在本发明的各实施方式中，作为用于摄影的设备，使用数字相机进行了说明，而作为相机，可以是数字单反相机或紧凑型数字相机，也可以是摄像机、摄影机等动画用的相机，进而，当然还可以是在移动电话或智能手机等移动信息端末(PDA：PersonalDigital Assist)等中内置的相机。此外，还可以是内窥镜、显微镜等产业用、医疗用的光学设备。即使不属于显示设备，通过采取上述设计，可提供一种能够实现用于对用户希望的图像摄影的显示的观察装置、显示装置。在不进行摄影时，通过光源和观察对象的位置模拟，能够详细观察、诊断对象物，这是不言自明的。此外，本发明并非仅能用于为获得摄影图像的装置的技术，还能够用于根据远程发送的图像，变更画面上的对象物和光源的位置，进行建议的用途，因此摄像部并非必要结构要件。

本发明不仅限于所述各实施方式，可以在实施阶段中在不脱离其主旨的范围内使结构要素变形并具体实现。此外，通过在所述各实施方式公开的多个结构要素的适当组合，能够形成各种发明。例如，可以删除在实施方式示出的所有结构要素中的某几个结构要素。进而，还可以适当组合不同实施方式中的结构要素。

另外，关于权利要求书、说明书和附图中的动作流程，为了方便起见使用“首先，”、“接着，”等进行了说明，然而这并不表示必须按照该顺序加以实施。此外，关于构成这些动作流程的各步骤，只要是不影响发明本质的部分，都可以适当省略，这是不言自明的。

此外，在上述说明的技术中，主要通过流程图说明的控制和功能大多可通过程序进行设定，通过由计算机读取并执行该程序，从而能够实现所述控制和功能。该程序能够作为计算机程序产品，将其整体或一部分记录或存储于软盘、CD-ROM等非易失性存储器等的移动介质或硬盘、易失性存储器等存储介质中，可以在产品出厂时或通过移动介质或通信线路进行流通或提供。利用者经由通信网络下载该程序并安装于计算机，或者通过记录介质安装于计算机，从而能够容易地实现本实施方式的显示设备。

Claims (6)

1.一种显示设备，其特征在于，该显示设备具有：

位置判定部，其判定摄像图像中的对象物的位置和对所述对象物进行照明的光源的位置；

阴影变更部，其基于所述摄像图像中的所述对象物与光源之间的位置关系，生成模拟所述对象物朝向所述光源移动的情况下和/或远离所述光源移动的情况下所述对象物的图像的阴影的状态变更的阴影变更图像；以及

显示控制部，其在所述摄像图像上合成所述阴影变更图像而进行显示。

2.根据权利要求1所述的显示设备，其特征在于，

在所述摄像图像中的所述对象物与所述光源之间显示所述阴影变更图像的情况下，所述阴影变更部生成的所述阴影变更图像的图像信号的信号振幅比所述对象物的图像信号的信号振幅大和/或所述阴影变更图像的图像信号的亮度比所述对象物的图像信号的亮度大，在相对于所述摄像图像中的所述对象物与光源方向相反的方向上显示所述阴影变更图像的情况下，生成的所述阴影变更图像的图像信号的信号振幅比所述对象物的图像信号的信号振幅小和/或所述阴影变更图像的图像信号的亮度比所述对象物的图像信号的亮度小。

3.根据权利要求1或2所述的显示设备，其特征在于，

所述显示控制部确定所述阴影变更图像在显示所述摄像图像与所述阴影变更图像的合成图像的显示画面上的显示位置，

所述阴影变更部根据所述显示位置的变更，变更所述阴影变更图像的阴影的状态。

4.根据权利要求1或2所述的显示设备，其特征在于，

所述显示设备具有记录控制部，该记录控制部用于将所述对象物与光源之间的位置关系的信息以及所述阴影变更图像记录于记录介质，

在所述位置判定部在所述记录介质中记录了与所述对象物和光源之间的位置关系不同的位置关系的信息的情况下，所述显示控制部从所述记录介质中读出所述阴影变更图像，将其合成在所述摄像图像上而进行显示。

5.一种显示方法，其特征在于，该显示方法具有：

位置判定步骤，由摄像部提供被摄体的摄像图像，判定所述摄像图像中的对象物的位置和对所述对象物进行照明的光源的位置；

阴影变更步骤，基于所述摄像图像中的所述对象物与光源之间的位置关系，生成模拟所述对象物朝向所述光源移动的情况下和/或远离所述光源移动的情况下所述对象物的图像的阴影的状态变更的阴影变更图像；以及

显示控制步骤，在所述摄像图像上合成所述阴影变更图像而进行显示。

6.一种显示方法，其特征在于，该显示方法具有如下步骤：

受理对显示于画面内的光源与通过所述光源进行照明的对象物在所述画面上的位置关系进行变更的操作；

在所述位置变更操作时形成副图像；以及

模拟所述对象物朝向所述光源移动的情况下和/或远离所述光源移动的情况下所述对象物的图像的阴影的状态，并将其显示于所述副图像上。