具体实施方式
[第1实施方式]
参照附图来说明本发明的第1实施方式。图1A示出本实施方式的数码照相机10的结构例的概略。此外,图1B和图1C示出数码照相机10的外观的概略例。数码照相机10具有信号处理控制部1、摄像部2、位置传感器3、记录部4、收发部5、操作部6、触摸面板7、显示部8、加速度传感器9a、地磁传感器9b和气压传感器9c。信号处理控制部1控制数码照相机10的各部件的动作。此外,如后所述,信号处理控制部1进行各种运算。
摄像部2例如包含镜头2b、摄像元件以及处理电路等。在摄像部2中,由摄像元件将经由镜头2b入射的被摄体像转换为电信号,从而生成图像信号。位置传感器3例如是GPS单元,取得数码照相机10的位置。记录部4例如包含可拆卸的存储介质。记录部4记录数码照相机10所拍摄的图像以及该图像的数据。此外,记录部4例如记录经由互联网取得的样本图像及该样本图像的数据。此外,还可以在记录部4中预先记录图像等。
收发部5包含用于与服务器50进行数据通信的无线设备。操作部6包含开关,受理基于用户的各种操作的输入。操作部6例如包含配置于能够用右手的食指进行操作的位置处的静态图像拍摄用的释放按钮6a。用户能够通过操作该释放按钮6a,使数码照相机10进行拍摄动作。此外,操作部6包含输入快门速度、光圈、曝光校正、感光度设定、焦点位置等拍摄参数的变更的开关和拨盘等。
用于显示图像的显示部8例如具有液晶显示面板。显示部8例如设置于数码照相机10的背面。触摸面板7设置在显示部8上。触摸面板7也受理用户的指示输入。用户能够通过触摸例如与显示部8所显示的图标对应的位置,进行数码照相机10的操作。
加速度传感器9a是通常的3轴加速度传感器。加速度传感器9a检测重力,输出表示数码照相机10的倾斜度的信号。此外,加速度传感器9a例如能够检测数码照相机10的移动速度的变化。地磁传感器9b是通常的地磁传感器,输出表示数码照相机10所朝向的方位的信号。气压传感器9c是通常的气压传感器,输出表示高度变化的信号。气压传感器9c能够以例如高于3cm左右的分辨率检测高度变化。
信号处理控制部1具有信号处理部1a、样本取得部1b、主题判定部1d、特征提取部1e、引导显示生成部1f、拍摄状态判定部1h、距离判定部1i、显示控制部1j和时钟1k。信号处理部1a进行下述各种运算和控制以外的、例如用于图像处理和各部件的动作控制的参数等的计算。此外,信号处理部1a控制数码照相机10的各部件的动作。例如,信号处理部1a将通过拍摄动作得到的图像数据、后述的表示拍摄姿势的数据及其他数据结合,生成图像文件。
样本取得部1b取得样本图像。样本取得部1b借助收发部5经由互联网取得例如服务器50所记录的样本图像。样本取得部1b具有检索部1c。检索部1c例如从服务器50所记录的多个图像中检索关心的图像。此外,样本取得部1b例如可以从记录部4取得样本图像。主题判定部1d判定利用摄像部2得到的图像的主题。检索部1c例如根据由主题判定部1d得到的主题检索样本图像。
特征提取部1e在由摄像部2取得的图像中,提取颜色、构图、轮廓等图像的特征。此外,特征提取部1e在图像中检测例如面部。特征提取部1e除了能够判定图像内的面部位置以外,还能够判定面部相对于正面怎样倾斜等。上述那样的图像特征作为图像特征数据4a被记录到记录部4中。另外,图像的特征数据不是一定要被记录到记录部4中,例如也可以被记录到经由互联网连接的服务器50等中。此外,可以从服务器50逐个地取得特征数据。另外,样本相片及其特征数据也可以被预先记录到数码照相机10中。
引导显示生成部1f利用由样本取得部1b取得的样本图像,生成表示拍摄方法的引导显示。引导显示生成部1f具有特征比较部1g。特征比较部1g对由特征提取部1e提取出的特征、与记录部4所记录的图像特征数据、经由收发部5从服务器50取得的图像特征数据进行比较。引导显示生成部1f例如生成表示拍摄时的拍摄者的姿势以及照相机的把持方式的图。引导显示生成部1f例如生成表示利用摄像部2得到的图像与样本图像的差异的图像。此外,引导显示生成部1f生成表示拍摄者的姿势以及照相机的把持方式与样本图像的差异的字符信息和声音信息。
拍摄状态判定部1h根据位置传感器3、加速度传感器9a、地磁传感器9b和气压传感器9c的输出,判定拍摄时的用户姿势等拍摄状态。距离判定部1i例如根据镜头2b的对焦位置,判定从数码照相机10到被摄体的距离。显示控制部1j控制显示部8,使其进行表示利用摄像部2得到的图像、图像特征数据及其相似度的显示(例如图1C的显示89),和拍摄时的引导显示等。时钟1k输出与图像相关联地记录摄像时刻等所需的时刻。
参照图2A至图2D说明本实施方式的数码照相机10的动作概略。在本实施方式中,如图2A所示,用户将数码照相机10朝向任意的被摄体91进行拍摄。此时,在显示部8上显示由摄像部2取得的图像作为实时取景图像81。数码照相机10的信号处理控制部1判定由摄像部2取得的图像的主题,并经由收发部5将该主题发送到服务器50。
服务器50选择与从数码照相机10接收到的图像的主题一致的相片。例如图2A所示,服务器50将所选择的相片发送到数码照相机10。从服务器50接收到相片的数码照相机10在该显示部8的端部显示作为该相片的一部分的栏标(tab)82。显示该栏标82的位置例如优选位于将右手的食指放在操作部6的释放按钮6a上的保持数码照相机10的用户的右手拇指位置处。
如图2B所示,在用户以将栏标82朝显示部8的中心侧拉出的方式使手指在触摸面板7上滑动时,数码照相机10在显示部8上一个接一个地显示从服务器50接收到的相片的缩略图像83。如果用户选择了这些缩略图像83中的1个,则如图2C所示,数码照相机10在显示部8上排列显示由摄像部2取得的图像的实时取景图像81、和用户所选择的样本图像84。在用户进一步请求的情况下,数码照相机10进行比较显示。在比较显示中,例如图2C所示,例如用线连接实时取景图像81和样本图像84的对应部位。比较显示不限于此,只要是将实时取景图像81和样本图像84进行对比的显示,则可能是各种显示。
此外,在用户请求的情况下,数码照相机10进行例如图2D所示那样的引导显示。在引导显示中,在显示部8上显示引导图像85,该引导图像85表示可以怎样拍摄以得到样本图像84那样的图像。在该引导图像85中,将可以从哪个方向以怎样的姿势对被摄体进行拍摄作为图像以容易理解的方式表示。本发明将这样对拍摄者进行容易理解的建议显示作为一个主题。利用这样的显示,拍摄者能够立即进行与想拍摄的样本相同的拍摄。
参照图3A和图3B所示的流程图说明本实施方式中的处理的一例。在步骤S101中,信号处理控制部1判定是否为拍摄模式。是拍摄模式时,在步骤S102中,信号处理控制部1开始拍摄动作。即,信号处理控制部1开始从摄像部2取得图像信号。此外,在开始拍摄动作后,提高气压判定的采样率,从而提高要取得的高度信息的精度。在步骤S103中,信号处理控制部1使显示部8显示实时取景图像。即,信号处理控制部1使显示部8依次显示从摄像部2取得的图像。
在步骤S104中,信号处理控制部1执行主题判定处理。该主题判定处理是判定摄像部2取得并显示在显示部8上的实时取景图像的主题的处理。关于主题判定处理的一例,参照图4所示的流程图进行说明。显然,主题判定越细致,状况分析越细致,想作为参考的样本图像的判定越准确。例如在拍摄婴儿的相片时,即使将女性的肖像相片提示为样本,也不大可能成为参考。因此,主题判定处理构成为能够判定拍摄频率高的被摄体和拍摄场景。
在步骤S201中,信号处理控制部1判定图像中是否包含面部。在判定为包含面部时,在步骤S202中,信号处理控制部1判定该面部是否为处于图像的中央部的一人的面部。在该判定中判定为在图像的中央部是一人时,在步骤S203中,信号处理控制部1判定该面部是否为婴儿的面部。在判定为是婴儿的面部时,在步骤S204中,信号处理控制部1确定为图像的主题是“婴儿”。然后,结束主题判定处理,处理返回到步骤S104。
在步骤S203的判定中判定为不是婴儿的面部时,处理进入到步骤S205。在步骤S205中,信号处理控制部1判定图像所包含的面部是否为儿童的面部。在判定为是儿童时,在步骤S206中,信号处理控制部1确定为图像的主题是“儿童”。然后,结束主题判定处理,处理返回到步骤S104。在步骤S205的判定中判定为不是儿童的面部时,处理进入到步骤S207。在步骤S207中,信号处理控制部1判定图像所包含的面部是否为女性的面部。在判定为是女性的面部时,在步骤S208中,信号处理控制部1确定为图像的主题是“女性”。然后,结束主题判定处理,处理返回到步骤S104。在步骤S207的判定中判定为不是女性的面部时,处理进入到步骤S209。在步骤S209中,信号处理控制部1确定为图像的主题是“通常人物肖像”。然后,结束主题判定处理,处理返回到步骤S104。
在步骤S202的判定中判定为在图像的中央部不是一人时,处理进入到步骤S211。在步骤S211中,信号处理控制部1判定面部是否为男女二人的面部。在判定为是男女二人时,在步骤S212中,信号处理控制部1判定图像中是否包含婚礼服装。在判定为包含婚礼服装时,在步骤S213中,信号处理控制部1确定为图像的主题是“婚礼”。然后,结束主题判定处理,处理返回到步骤S104。在步骤S212的判定中判定为不包含婚礼服装时,处理进入到步骤S214。在步骤S214中,信号处理控制部1确定为图像的主题是“情侣”。然后,结束主题判定处理,处理返回到步骤S104。在步骤S211的判定中判定为不是男女二人时,处理进入到步骤S215。在步骤S215中,信号处理控制部1确定为图像的主题是“通常人物集合”。然后,结束主题判定处理,处理返回到步骤S104。
婚礼等是普通的用户拍摄机会多的、人气非常高的拍摄场景。因此,最好能够准确判定婚礼等。此时,由于习俗和服饰根据国家和地域而不同,因此可以设计成按照每个地域进行分类。此外,作为与婚礼类似的例子,有运动会和学校文艺会,但这里省略说明。不仅可以根据距离和图像,还可以根据周围声音、利用GPS信息的地域信息以及时钟信息等,进行基于季节和事件等的分类。
在步骤S201的判定中判定为不包含面部时,处理进入到步骤S221。在步骤S221中,信号处理控制部1判定被摄体是否在远距离处。在判定为在远距离处时,在步骤S222中,信号处理控制部1确定为图像的主题是“场所和季节的风景”。然后,结束主题判定处理,处理返回到步骤S104。在步骤S221的判定中判定为不在远距离处时,处理进入到步骤S223。在步骤S223中,信号处理控制部1确定为图像的主题是“动植物的风景”。然后,结束主题判定处理,处理返回到步骤S104。
这里,为了简化说明,大致进行了说明,但是不限于此。关于在步骤S223中确定的“动植物的风景”,当然最好更细致地对图像进行分类,使得能够向用户提示是否为微距摄影,在植物或昆虫等是被摄体的情况下,向用户提示最美观的角度,在动物等是被摄体的情况下向用户提示姿态等。关于在步骤S222中确定的“场所和季节的风景”,也有铁路相片和天文相片等有人气的各种主题。当然最好对这些主题也进行细致分类。
根据图像的主题,还存在普通用户有时无法简单地进行拍摄的主题。例如日出和日落等风景、以及太阳在水面上反射的风景等需要非常有高度的拍摄技术。例如为了适当拍摄水面上的反射,照相机的位置非常重要。在这样的情况下,拍摄姿势的信息价值非常高。此外,在微距拍摄和宠物的拍摄中,为了适当面对被摄体,姿势的信息非常重要。由此为了适当提示价值高的拍摄姿势,适当选择图像的主题非常重要。
参照图4说明的各主题只是一例,当然可以设定除此以外的主题。关于主题的判定方法,上述方法只是一例,不限于此,只要是能够判定主题的方法,则可以使用任何方法。如前所述,除了声音、位置、时期等以外,还可以准备各种各样的图像辞典,利用颜色和深浅等那样的图像特征,甚至确定花和昆虫的种类。此外,可以利用地图信息,以如下方式进行分类,如果为铁路沿线则分类成铁路相片,如果为婚礼殿堂则分类成婚礼,如果为音乐会会场则分类成音乐会等,如果为学校则分类成学校事件。当然,用户还可以通过声音输入、图标的选择以及字符输入等输入主题。这里,示出了在把持照相机后进行主题判定的例子,但能够在拍摄前、例如在坐电车去往该事件会场的途中,某种程度地设定想看到怎样的样本。对于婚礼等,能够在到达会场前预想事件内容进行准备,因此也可以是能够事先检索样本图像。
返回到图3A继续说明。在步骤S105中,信号处理控制部1判定由主题判定处理确定的主题是否发生了变化。在主题发生了变化时,在步骤S106中,信号处理控制部1结束所显示的引导显示。然后处理进入到步骤S112。在步骤S105中判定为主题未发生变化时,处理进入到步骤S107。
在步骤S107中,信号处理控制部1判定是否为引导显示开始前。在判定为不是引导显示开始前时,即判定为引导显示已经开始时,处理进入到步骤S111。在步骤S107中判定为是引导显示开始前时,处理进入到步骤S108。在步骤S108中,信号处理控制部1将由主题判定处理确定的主题发送到服务器50,并取得与该主题相关的样本图像组。在步骤S109中,如图2A所示,信号处理控制部1使用从服务器50取得的样本图像并使显示部8显示栏标82。
在步骤S110中,信号处理控制部1判定显示部8所显示的栏标82上的触摸面板7的部分是否向触摸面板7的中央方向被滑动。在判定为未被滑动时,处理进入到步骤S112。在步骤S110中判定为被滑动时,处理进入到步骤S111。
在步骤S111中,信号处理控制部1执行引导显示处理。该引导显示处理例如是进行图2C和图2D所示那样的引导显示的处理。关于引导显示处理的一例,参照图5所示的流程图进行说明。在步骤S301中,信号处理控制部1判定用户是否选择了比较模式。在判定为未选择比较模式的情况下,在步骤S302中,信号处理控制部1判定是否触摸了触摸面板7并选择了图像。
在判定为未触摸时,在步骤S303中,信号处理控制部1依次显示多个样本图像的缩略图像。即,在显示部8中,一个接一个地以朝在步骤S110中用户手指滑动的方向流动的方式显示多个缩略图像。在步骤S304中,信号处理控制部1判定是否显示了全部缩略图像。在判定为未显示全部缩略图像时,结束引导显示处理,处理返回到参照图3A说明的步骤S111。
在步骤S304中判定为显示了全部缩略图像时,处理进入到步骤S305。在步骤S305中,信号处理控制部1判定能否与服务器50进行通信。在判定为可通信时,在步骤S306中,信号处理控制部1进一步从服务器50取得样本图像。然后,结束引导显示处理,处理返回到步骤S111。在步骤S305的判定中不可通信时,处理进入到步骤S307。在步骤S307中,信号处理控制部1返回到最初的缩略图像并重复显示。然后,结束引导显示处理,处理返回到步骤S111。
在步骤S302中判定为触摸了时,在步骤S308中,信号处理控制部1使显示器8显示所触摸的样本图像。在步骤S309中,信号处理控制部1判定是否选择了比较模式。在判定为选择了比较模式时,在步骤S310中,信号处理控制部1将用于比较模式设定的标记设定为比较模式。然后,结束引导显示处理,处理返回到步骤S111。在步骤S309中判定为未选择比较模式时,结束引导显示处理,处理返回到步骤S111。
在步骤S301中判定为选择了比较模式时,处理进入到步骤S311。在步骤S311中,信号处理控制部1判定是否为引导显示模式。不是引导显示模式时,在步骤S312中,信号处理控制部1使显示部8进行比较显示。在比较显示中,例如图2C所示,排列显示当前取得中的实时取景图像和样本图像。并且,用线连接相互对应的部位、例如面部的边缘等进行显示。此外,例如可以显示面部的朝向等。并且,例如还可以用箭头表示旋转方向。通过这样的显示,用户能够容易地理解实时取景图像与样本图像的差异。除了这样的显示例以外,只要能够在视觉上确认关联,则差异的显示可以是动态图像、渐变、插图图示以及虚拟图像(Avatar)等任何显示。
接着,在步骤S313中,信号处理控制部1判定是否请求了引导显示模式。在未请求引导显示模式时,结束引导显示处理,处理返回到步骤S111。在步骤S313中选择了引导显示模式时,处理进入到步骤S314。在步骤S314中,信号处理控制部1将用于引导显示模式设定的标记设定为引导显示模式。然后,结束引导显示处理,处理返回到步骤S111。
在步骤S311中判定为是引导显示模式时,处理进入到步骤S315。在步骤S315中,信号处理控制部1例如使显示部8通过图显示拍摄所选择的样本图像时的拍摄方法。
作为引导显示,例如显示图6A至图6I所示那样的图像。例如图6A、图6B和图6C所示,用图表示拍摄者以站立的状态在面部附近把持照相机的拍摄方法,例如图6D、图6E和图6F所示,用图表示拍摄者以下蹲的状态把持照相机的拍摄方法,例如图6G、图6H和图6I所示,用图表示拍摄者举高把持照相机的拍摄方法等。并且,例如图6A、图6D和图6G所示,用图表示拍摄者水平把持照相机的拍摄方法,例如图6B、图6E和图6H所示,用图表示拍摄者朝俯视方向把持照相机的拍摄方法,例如图6C、图6F和图6I所示,用图表示拍摄者朝仰视方向把持照相机的拍摄方法等。
除此以外,信号处理控制部1例如还能够在显示部8上显示表示以下信息等的图:俯卧进行拍摄、一边平移照相机一边进行拍摄、以及是把持成纵向位置还是把持成横向位置。此外,例如图2D所示,可以与包含被摄体的实时取景图像组合显示表示拍摄者的姿势的图像。通过这样用图表示例如照相机相对于拍摄者的位置,用户能够容易地理解样本图像的拍摄方法。
在使富士山反射到水面进行拍摄的情况下等,推荐俯卧的拍摄等,但这样的不自然的体态是普通用户想不到的,那样的话,永远无法进行专业拍摄。但是,根据拍摄方法的姿势图示显示、或拍摄时体态显示,能够简单地向用户提示技巧。
此外,如果对样本图像附注上述各种姿势的难易度信息,则用户通过判断某个姿势、体态或使用道具是办不到的,而不需要白白做出努力。例如,有时由于所穿的服装而使得无法进行俯卧拍摄。此外,使用道具的拍摄只要不具有道具就难以实现,踮脚的拍摄等的难易度也由于身高等而较高。由此,按照每个姿势将难易度数值化,并关联进行记录是重要的。例如图6A、图6B和图6C所示,在拍摄者以站立的状态在面部附近把持照相机的情况下的难易度较低(例如将难易度设为1),如图6D、图6E和图6F所示,拍摄者以下蹲的状态把持照相机的情况的难易度根据服装而增高,因此可以将难易度设为2。并且如图6G、图6H和图6I所示,拍摄者举高把持照相机的情况等的模仿根据身高和服装而较为困难,将难易度设为3,使得俯卧等的难易度为4,在使用了道具的情况下,使得难易度为5等。当然,如果是容易得到的道具,则可以将难易度设为3。另外,这里,作为用于说明的附图记载了图6,但可以将该附图直接设为虚拟图像信息,使其图标化来作为姿势信息(引导信息)。可以按照所拍摄的每个图像附加这样的图标。
然后,在步骤S316中,信号处理控制部1用字符显示当前的拍摄方法与样本图像的拍摄方法的差异。例如,与当前用户以站立的状态把持照相机相对,在所选择的样本图像是拍摄者以下蹲的状态拍摄的情况下,例如显示为“下蹲拍摄”。此外,可以使用声音向用户提示样本图像的拍摄方法。然后,结束引导显示处理,处理返回到步骤S111。
这里,对数码照相机10识别当前用户的拍摄姿势的方法进行说明。当然,可以从拍摄体态一览中手动地选择以怎样的体态进行拍摄,但在大量拍摄的情况下,如果能够自动进行记录,则非常方便。如前所示,数码照相机10中设置有加速度传感器9a、地磁传感器9b和气压传感器9c。信号处理控制部1的拍摄状态判定部1h根据这些传感器的输出,取得用户对数码照相机10的把持方式和数码照相机10的姿势等。例如对于数码照相机10的相对于水平面的倾斜度,能够通过由拍摄状态判定部1h根据加速度传感器9a的输出计算重力方向而被取得。例如对于数码照相机10在水平面上的旋转,能够通过由拍摄状态判定部1h根据地磁传感器9b的输出计算相对于地磁的方向而被取得。例如数码照相机10在铅直方向的高度可根据气压传感器9c的输出而被取得。
参照图7进一步说明使用了气压传感器9c的数码照相机10在铅直方向上的高度的计算方法。气压传感器9c输出表示气压的值。拍摄状态判定部1h取得该气压,根据其变化计算铅直方向的高度变化。在图7中的下段示意性示出气压传感器9c的输出,在上段示意性示出此时的用户70的姿势与数码照相机10的位置之间的关系。
例如在用户70随身携带数码照相机10时,通常数码照相机10处于低于用户70的面部的位置处。此外,在用户70随身携带数码照相机10行走时,数码照相机10对应于用户70的行走而上下振动。因此,如图7所示的(a)的期间那样,当气压传感器9c的输出上下地定期振动时,拍摄状态判定部1h判断为用户70正在行走。另外,可以不使用气压传感器9c的输出而使用加速度传感器9a的输出,取得用户70正在行走时的振动。此外,还可以使用气压传感器9c和加速度传感器9a的两者检测用户70正在行走时的振动。拍摄状态判定部1h将判断为用户70正在行走时的气压传感器的输出设定为比面部低的位置的基准气压。
在用户70接通数码照相机10的电源时或进行操作时,如图7所示的(b)的期间那样,通常用户70将数码照相机10接近面部以确认操作部分。此时,数码照相机10被拿起,因此气压传感器9c的输出降低。根据该气压传感器9c的输出变化,校正之前取得的基准气压与面部高度之间的关系。
然后,如图7所示的(c)的期间那样,在用户70进行拍摄时,照相机的振动停止。拍摄状态判定部1h根据气压传感器9c和/或加速度传感器9a的输出取得该振动的停止。拍摄状态判定部1h对此时的气压传感器9c的输出和校正后的基准气压进行比较,估计相对于正在行走时的用户70的姿势的拍摄时的用户70的姿势。在图7所示的例子中,气压传感器9c的输出比基准气压高。因此,拍摄状态判定部1h估计用户70正在进行下蹲拍摄。
拍摄后,如图7所示的(d)的期间那样,在操作数码照相机10时,数码照相机接近面部的位置,如图7所示的(e)的期间那样,如果用户70再次向前走,则气压传感器9c的输出和加速度传感器的输出再次振动。此时,估计为数码照相机10处于低于用户70的面部的位置处。如上所述,拍摄状态判定部1h根据数码照相机10的一系列的移动与此时的气压传感器9c的输出变化之间的关系,估计用户的姿势。
并且,在除了加速度传感器9a、地磁传感器9b和气压传感器9c的输出以外,还使用在自动对焦(AF)动作中取得的距被摄体的距离时,例如可取得图8A和图8B所示那样的与拍摄状态相关的参数。即,如图8A所示,拍摄状态判定部1h能够得到以站立的状态俯视拍摄时的数码照相机10的高度H1、倾角Θ1和距被摄体的距离D1。此外,如图8B所示,拍摄状态判定部1h能够得到以下蹲状态拍摄时的数码照相机10的高度H2、倾角Θ2和距被摄体的距离D2。信号处理控制部1在引导显示中还能够使用例如图8A和图8B那样的图。如果将这样的图用于引导显示,则用户容易理解被摄体与数码照相机10之间的位置关系。
这里,示出了自动检测体态、姿势的例子,但当然可以半自动地检测,由各种传感器判定与拍摄者最初指定的拍摄姿势的差异。例如,可以使用气压和加速度,并使用其差异判定出姿势变化。或者,有时还以相同的姿势拍摄好几张相片,因此,在这样的情况下,将最初的指定体态直接用作拍摄姿势数据即可。特别是还存在使用三脚架等各种道具类进行拍摄的情况,该情况下,相比自动判定,也可以是,还能够记录使用了道具的消息。该指定中利用基于声音和触摸等的输入。
返回到图3A继续说明。在步骤S112中,信号处理控制部1判定是否按压释放按钮进行了拍摄动作的输入。在判定为未进行拍摄动作的输入时,处理返回到步骤S101。另一方面,在步骤S112中判定为进行了拍摄动作的输入时,处理进入到步骤S113。在步骤S113中,信号处理控制部1使摄像部2进行拍摄动作。摄像部2将被摄体像转换为电信号,从而生成图像信号。
作为拍摄姿势数据,可以将为了说明而示出的图6那样的图像直接图标化为虚拟图像信息来进行利用。可以利用该图标,使得拍摄者能够直观地识别拍摄时的姿势。即,作为引导信息,可以进行对图标进行合成后的显示来作为图像再现时或再现时的帮助显示。
例如图6A、图6B和图6C所示,拍摄者以站立的状态将在面部附近把持照相机的情况下,作为拍摄姿势的图像,生成在表示直立的身体的纵长图形的上方配置表示面部的圆形部、在该圆形部的前方配置照相机的图标。此外,如图6D、图6E和图6F所示,在拍摄者以下蹲的状态把持照相机的情况下,生成在表示下蹲姿势的身体的三角形的图形上方配置表示面部的圆形部、在该圆形部的前方配置照相机的图标。并且,在如图6G、图6H和图6I那样的拍摄姿势的情况下,生成在表示直立的身体的纵长图形的上方配置表示面部的圆形部、在该圆形部的斜上方配置照相机的图标。在采取俯卧的姿势的情况下,生成在表示伏下身体的横长图形的前方配置表示面部的圆形部、在该圆形部的前方配置照相机的图标。
由此拍摄姿势数据可以通过单纯记录所生成的图像来生成,也可以通过记录能够形成这样的图像的信息来生成。如图6A至图6I所示,可以利用箭头显示照相机对准的方向。
根据这样的附加了图标显示的图像文件,欣赏者能够得知拍摄时的状况。因此,即使对于不进行拍摄的人而言,欣赏的乐趣也增加。例如,如果存在“俯卧拍摄”那样的信息,则可知是辛苦拍摄的图像,从而更加珍惜。因此,具有这样的姿势数据的图像在显示这样的图像的显示装置中也是有效的。
记录到图像文件的不一定需要是图标,也可以是表现拍摄姿势的文本、字符信息或编码信息。对在拍摄时得到的具有姿势信息的拍摄图像进行显示的显示装置读出辅助显示,并将其与拍摄图像合成来进行显示,该辅助显示通过与上述拍摄图像一起被记录的上述表示姿势信息的字符或图标等表示。
在步骤S114中,信号处理控制部1如上述那样取得用户的拍摄姿势的信息。信号处理控制部1将通过拍摄动作得到的图像数据、拍摄姿势的数据以及其他数据结合,生成例如图9所示的图像文件100。即,图像文件100包含:作为与通过摄像部2得到的图像相关的数据的图像数据101;作为数码照相机10相关的信息的照相机数据102;与在步骤S104的主题判定处理中得到的主题分类相关的主题分类数据103;包含由时钟1k得到的拍摄日期时间信息和从位置传感器3得到的拍摄场所信息的日期时间/场所数据104;包含图像所包含的特征数据、颜色以及面部的位置、大小、角度、性别和年龄等的特征数据105;快门速度和光圈等拍摄控制数据106;利用对焦距离求出的被摄体距离数据107;表示被摄体在画面内所占的大小的被摄体大小数据108;以及包含照相机的倾斜度109a和照相机的高度109b的拍摄姿势数据109。当然,拍摄姿势数据109也可以如虚拟图像那样是图像化后的信息。不论是怎样的形式,都优选照相机制造商、移动设备制造商以及进行云服务或相片服务的组织共同使用这些确定数据。另外,包含拍摄姿势等的图像文件的生成还能够如上所述那样由数码照相机10进行,但也可以由数码照相机10向服务器50发送所需的信息,并由服务器50进行图像文件的生成。
在步骤S115中,信号处理控制部1判定是否将图像文件发送到服务器50。例如设为在由用户输入了发送指示时发送。在判定为发送时,在步骤S116中,信号处理控制部1将图像文件发送到服务器50。在步骤S115的判定中判定为不发送时,处理返回到步骤S101。
在步骤S101中判定为不是拍摄模式时,处理进入到步骤S121。在步骤S121中,信号处理控制部1判定是否为再现模式。在判定为再现模式时,在步骤S122中,信号处理控制部1使显示器8一览显示记录部4所记录的图像。在步骤S123中,信号处理控制部1判定是否选择了放大再现。在未选择放大再现时,处理返回到步骤S121。在步骤S123中判定为选择了放大再现时,处理进入到步骤S124。在步骤S124中,信号处理控制部1使显示部8放大显示所选择的图像。在步骤S125中,信号处理控制部1判定是否将所选择的图像发送到服务器50。在判定为发送时,在步骤S126中,信号处理控制部1将图像文件发送到服务器50。然后处理进入到步骤S127。在步骤S125中判定为不发送时,处理进入到步骤S127。在步骤S127中判定是否返回到菜单。在判定为返回时,处理返回到步骤S121。在步骤S127中判定为不返回时,处理返回到步骤S124,继续所选择的图像的放大显示。
在步骤S121中判定为不是再现模式时,处理进入到步骤S131。在步骤S131中,判定是否从服务器50取得人气图像的信息等的通知。在判定为不取得通知时,处理进入到步骤S132。在步骤S132中,信号处理控制部1判定是否结束处理。在判定为结束处理时,处理结束。在步骤S132中判定为不结束处理时,处理返回到步骤S101。
在步骤S131中判定为取得通知时,处理进入到步骤S133。在步骤S133中,信号处理控制部1与服务器50进行通信,取得人气图像的信息等的通知。信号处理控制部1使显示部8显示包含所取得的图像的信息。在步骤S134中,信号处理控制部1判定是否发送用户对所显示的通知的评价值等。在判定为发送时,在步骤S135中,信号处理控制部1发送用户的评价值等。然后处理进入到步骤S136。在步骤S134中判定为不发送时,处理进入到步骤S136。在步骤S136中,信号处理控制部1判定是否返回到菜单。在判定为返回时,处理返回到步骤S101。在步骤S136中判定为不返回时,处理返回到步骤S133,信号处理控制部1继续通知的显示。
图10示出本实施方式的服务器50与数码照相机10等之间的关系的示意图。服务器50上连接了多个数码照相机10。在图10中,连接了数码照相机10-1、数码照相机10-2和数码照相机10-3。此外,服务器50上还连接了通常的PC 61和智能手机62等。
服务器50中设置有与数码照相机10、PC 61以及智能手机62等终端进行通信的收发部51。此外,在服务器50中设置有对从数码照相机10等接收到的图像进行记录的记录部52。记录部52中记录有包含图9所示那样的信息的图像文件。即,记录部52中包含拍摄状况信息52a,拍摄状况信息52a包含拍摄姿势数据、被摄体距离数据、日期时间/场所数据等。此外,在服务器50中设置有用于提取记录部52所记录的图像的特征的特征提取部53、和对来自各用户的投票等数据进行累计的累计部54。
各数码照相机10将所拍摄的图像的图像文件发送到服务器50。例如在图10所示的例子中,数码照相机10-2将图像A和图像B发送到服务器50,数码照相机10-3将图像C发送到服务器50。服务器50接收图像文件,并记录到记录部52中。图像文件不限于从数码照相机10,还从PC 61和智能手机等被发送到服务器50。另外,除了由本实施方式的数码照相机10生成的图像文件以外,还存在不包含拍摄姿势数据的情况。
服务器50的特征提取部53根据数码照相机10判定出并包含在图像文件中的主题的信息,对图像文件进行分类。此外,特征提取部53可以提取图像的特征,根据其结果判定主题,并对应该主题进行分类。服务器50根据来自数码照相机10和PC 61等的请求,将图像文件发送到该数码照相机10和PC 61等。通过数码照相机10和PC 61等接收到的图像被用户阅览。例如图10中,用户70正在拍摄作为被摄体的猫92。当数码照相机10-1向服务器50请求与当前拍摄中的图像相似的图像时,从服务器50向数码照相机10-1发送与猫92相似的样本图像。此外,服务器50根据来自数码照相机10等的请求,发送拍摄发送图像时的拍摄姿势数据等。
用户能够对有关所阅览的图像的评价等进行投票。即,用户能够将是否喜欢所阅览的图像、针对图像的得分和感想等发送到服务器50。服务器50的累计部54对来自用户的投票结果进行累计,并与记录部52所记录的图像文件关联记录其结果。例如在数码照相机10请求了人气图像的数据时,服务器50将记录部52所记录的有人气的图像发送到该数码照相机10等。此外,服务器50例如将累计人气信息而得的结果发送到数码照相机10、PC 61以及智能手机62等。例如图11所示,该结果可以是按照每个图像示出其人气的标记。此外,例如还有按照每个主题累计人气。例如可以累计婴儿的相片有人气、婴儿和母亲的相片有人气等这些信息。
参照图12对已参照图5说明的本实施方式的数码照相机10的引导显示处理以及已参照图10说明的图像数据的收发和人气投票中的、服务器50的处理进行说明。在步骤S401中,服务器50判定是否已从数码照相机10取得主题。在已取得主题时,在步骤S402中,数码照相机10将与所取得的主题关联的图像发送到数码照相机10。在步骤S403中,服务器50判定来自数码照相机10的图像请求是否已结束。在图像的请求未结束时,处理返回到步骤S402,继续向数码照相机10发送关联的图像。在步骤S403中判定为图像的请求已结束时,处理进入到步骤S404。在步骤S404中,服务器50结束关联图像的发送,处理返回到步骤S401。
在步骤S401中判定为未能取得主题时,处理进入到步骤S411。在步骤S411中,服务器50判定数码照相机10是否正在进行比较显示。在判定为比较显示时,在步骤S412中,服务器50针对发送到了数码照相机10的图像,发送各部位的位置数据。例如在发送了包含面部的图像作为样本数据时,将该面部的轮廓的信息以及眼睛、鼻子、嘴巴等位置的信息发送到数码照相机10。然后处理返回到步骤S401。
在步骤S411中判定为未进行比较显示时,处理进入到步骤S421。在步骤S421中,服务器50判定数码照相机10是否正在进行引导显示。在判定为正在进行引导显示时,在步骤S422中,将包含拍摄姿势数据的拍摄方法的信息发送到数码照相机10。
在步骤S421中判定为未进行引导显示时,处理进入到步骤S431。在步骤S431中,服务器50判定是否请求了图像显示。在判定为请求了图像显示时,在步骤S432中,服务器50将所请求的图像的数据发送到例如数码照相机10、PC 61或智能手机62。在步骤433中,服务器50判定是否针对所发送的图像数据进行了人气投票等投票。在判定为进行了投票时,在步骤S434中,服务器50按照每个图像将投票结果记录到记录部52中。然后处理返回到步骤S401。
在步骤S431中判定为未请求图像显示时,处理进入到步骤S441。在步骤S441中,服务器50判定是否接收到图像并请求了该图像的记录。在未请求记录时,处理返回到步骤S401。在步骤S441中判定为请求了记录时,处理进入到步骤S442。在步骤S442中,服务器50将接收到的图像记录到记录部52中。在步骤S443中,服务器50判定图像文件中是否与图像一并包含了拍摄姿势数据。在不包含拍摄姿势数据时,处理返回到步骤S401。在步骤S443中判定为包含拍摄姿势数据时,处理进入到步骤S444。在步骤S444中,服务器50将拍摄姿势数据记录到记录部52中。服务器50也可以根据拍摄姿势数据生成表示拍摄姿势的图像,并将该图像记录到记录部52中。然后处理返回到步骤S401。
由此,例如摄像部2作为取得被摄体的图像即被摄体图像的摄像部发挥作用。例如,样本取得部1b作为取得样本图像的样本取得部发挥作用。例如,引导显示生成部1f作为用于生成引导显示的引导显示生成部发挥作用,该引导显示表示用于使所述被摄体图像的构图接近所述样本图像的构图的拍摄方法。例如,显示部8作为显示所述引导显示的显示部发挥作用。例如,图像文件100作为样本文件发挥作用,其包含所述样本图像、和表示拍摄出该样本图像的样本摄像部的位置和姿势的位置姿势信息。例如,拍摄状态判定部1h作为特征提取部发挥作用,其提取作为所述被摄体图像的特征部的被摄体特征部和作为所述样本图像的特征部的样本特征部。例如,主题判定部1d作为根据所述被摄体图像判定所述被摄体图像的主题的主题判定部发挥作用。
例如,拍摄状态判定部1h作为位置姿势信息计算部发挥作用,其根据重力方向和高度信息,计算表示所述摄像部的位置和姿势的位置姿势信息。例如,信号处理部1a作为生成图像文件的图像文件生成部发挥作用,所述图像文件将所述被摄体图像和所述位置姿势信息进行了关联。例如,距离判定部1i作为距离取得部发挥作用,其取得作为距所述被摄体的距离的被摄体距离。
根据本实施方式,数码照相机10例如能够通过引导显示等向用户通知以怎样的姿势拍摄了从服务器50等取得的样本图像这样的信息、以及样本图像与用户要拍摄样本的图像的差异等。根据这样的引导显示,用户能够容易地拍摄具有与样本图像相同的构图的图像。
此外,根据本实施方式,数码照相机10能够使用各种传感器的输出取得与用户以怎样的姿势进行了拍摄相关的信息。因此,能够在所拍摄的图像中容易地记录该拍摄时的姿势。此外,数码照相机10能够向用户通知用户要进行拍摄的姿势与拍摄从服务器50取得的图像的姿势的差异。
根据本实施方式,数码照相机10能够从服务器50取得主题与用户要拍摄的图像关联的图像并进行显示。此时,数码照相机10还能够按照人气顺序显示与主题关联的图像。通过这样判定实时取景图像的主题并在显示部8上显示符合该主题的图像,用户即使不进行输入关键词等特别的操作,也能确认关心的图像。
此外,例如经由互联网从服务器50取得样本图像,因此数码照相机10能够取得极大量的图像。如图2B所示,在数码照相机10中,构成为一个接一个地显示作为样本图像的候选的图像,并由用户从其中进行选择,因此用户能够迅速且直观地选择喜好的图像。
如果像前述那样对样本图像附加了姿势的难易度信息,则用户判断为示出的姿势、体态或使用道具办不到时,不需要白白做出努力。例如,用户能够根据所穿的服装判断为无法进行俯卧拍摄。此外,用户有时在使用道具的拍摄中没带道具,因此判断为难以实现该拍摄,或者在踮脚的拍摄中身高不足而判断为难易度较高。由此,按照每个姿势将难易度数值化并关联进行记录在这样的判断中是有效的。
此外,数码照相机10例如能够经由互联网将所拍摄的图像记录到服务器50中。其结果,能够由很多人共享所拍摄的图像,从而容易得到拍摄者以外的人的评价等。可将基于该他人评价的图像的人气等信息附加到图像,因此使得数码照相机10能够进行更适当的样本图像的选择。例如,可以将图10所示的服务器50所包含的功能、以及进行图12所示的处理的一部分程序内置到数码照相机内。此外,服务器内的功能可以分散设置到多个服务器、用户的PC或移动设备中。
[第2实施方式]
与第1实施方式中的引导显示处理的步骤S315以及步骤S316的处理不同。在第1实施方式中,数码照相机10根据在拍摄图像文件所包含的样本图像时得到的拍摄姿势数据进行了引导显示。与此相对,在本实施方式中,数码照相机10根据图像估计拍摄方法,并进行引导显示。
参照图13说明根据图像估计拍摄方法的情况。例如在关注人的面部时,能够根据眼睛的中心、鼻梁和嘴巴相对于面部中心向哪一侧集中来进行判定。例如在数码照相机10从正前方对着面部时,面部的各部分的位置关系如图13的(c)所示。在以此为基准时,例如数码照相机10从面部的右侧朝向面部时,如图13的(a)所示,面部的各部分向左侧集中。例如数码照相机10从面部的右侧朝向面部时,如图13的(e)所示,面部的各部分向右侧集中。例如数码照相机10从面部的下侧朝向面部时,如图13的(b)所示,面部的各部分向上侧集中。例如数码照相机10从面部的上侧朝向面部时,如图13的(d)所示,面部的各部向下侧分集。
参照图14A和图14B对这样根据图像中的面部的各部分的位置关系计算数码照相机10相对于面部的角度的方法进行说明。首先,说明根据图像求出面部的上下方向的角度、即仰角Θy的方法。图14A示出从侧面观察面部的情况下的示意图。将从侧面观察到的从面部中心到瞳孔的距离设为Fz。此外,将从侧面观察的面部的高度设为Fy。能够根据通常的人体比率假定下述式(1)。
Fy=3×Fz (1)
在将面部的中心到瞳孔的高度设为ΔFy时,下述式(2)成立。
ΔFy/Fz=sinΘy (2)
根据式(1)和(2),下述式(3)成立。
3×ΔFy/Fy=sinΘy (3)
因此,能够基于从正面方向得到的图像,根据面部的高度Fy和面部中心到瞳孔中心的高度ΔFy,使用式(3)计算面部的仰角。
接着,说明根据图像求出面部的左右方向的角度、即旋转角Θx的方法。图14B示出从上侧观察面部的情况下的示意图。
从上侧观察时,假定面部为半径Fx的圆形。此时,例如将从鼻子等面部的中心线到瞳孔的距离设为ΔFx。此时,下述式(4)成立。
ΔFx/Fx=sinΘx (4)
因此,能够基于从正面方向得到的图像,根据面部的半径Fx和面部中心到瞳孔中心的距离ΔFx,使用式(4)计算面部的旋转角。另外,以上说明了以面部为对象的情况,但是不限于此。可以将人的身体等作为对象,还可以将花或建筑物等作为对象。能够根据被摄体的特征估计被摄体的朝向。
能够根据图像求出例如面部的旋转角和仰角,因此能够在用户要拍摄的实时取景图像和用户所选择的样本图像中比较这些角度。引导显示生成部1f能够根据这些角度生成引导显示,该引导显示表示从哪个方向进行拍摄时能够拍摄与样本图像相同的图像。例如图15所示,可以在显示当前的实时取景图像81的同时,在该实时取景图像上重叠指示显示86,该指示显示86表示可以使数码照相机10相对于被摄体91朝哪个方向移动。该指示显示(引导显示)灵活运用了通过上述比较检索到的数据库内的信息。此外,可以依据数据库所存储的符号,用语言或图进行示出。此时,可以使显示部8还显示所选择的样本图像84。此外,例如可以图像中的面部大小为基准,针对数码照相机10到被摄体91的距离,进行更接近或远离,或者增长或缩短镜头2b的焦距等引导显示。
引导显示根据实际的拍摄状况(姿势)与样本图像的拍摄状况(姿势)的差异确定。因此,将表示该姿势差异的信息记录到照相机的记录部4和服务器的记录部52中,由数码照相机10将其读出来进行引导显示。引导显示可以是“请站立”或“请坐下”那样的文本信息。文本信息还可以是“踮起脚拍摄”那样的表示姿势自身的信息。用户只要看到姿势信息,就能够理解如果不踮脚则无法进行拍摄,因此这样的信息也作为引导发挥作用。作为引导显示,例如在用户坐着或站立的状况下,具有样本图像是躺着拍摄到的这一姿势信息的情况下,分别显示“请从更低角度躺着对准”、“不是站立,如果不躺着则不能拍摄”那样的文本。即,不仅直接利用姿势信息,在利用样本图像所包含的姿势信息与当前姿势的差异时也起到大的效果。不仅检测姿势,还能够检测面部的朝向、其他被摄体的朝向等进行全方位指示等。此外,在被摄体是建筑物的情况下等,可以一并使用基于方位信息或GPS信息等的位置信息。作为引导显示,可以反映被摄体的大小以及拍摄时的拍摄参数的设置差异等。例如,可以显示“请从200m西侧朝西北以焦距100mm、仰角20°进行拍摄”那样的文本。文本信息可以按照各个国家和地域而使用不同的语言。
此外,引导显示可以是基于图像或箭头等记号的图示表现、或者动态图像表现。此外,还可以进行警告显示等作为引导显示。还可以使用声音。在生成表示移动方向的引导显示时,可以直接显示数据库等所记录的记录内容,并且还可以图示并翻译该记录内容进行显示。
此外,例如设为根据加速度传感器9a和气压传感器9c的输出,信号处理控制部1判定为用户如图6C那样把持数码照相机10。而且此时设为,虽然样本图像的面部如图13的(c)那样是正面,但信号处理控制部1判定为实时取景图像如图13的(d)所示那样、即数码照相机10从样本图像的上侧进行了拍摄。在这样的情况下,信号处理控制部1可以使显示部8显示例如图6D那样的图像作为引导显示。
根据本实施方式,即使样本图像中不包含拍摄姿势信息也能够进行引导显示。能够对由数码照相机10拍摄的图像附加拍摄姿势信息。
[第2实施方式的变形例]
对第2实施方式的变形例进行说明。这里,说明与第1实施方式以及第2实施方式的不同点,对相同部分标注相同标号并省略其说明。在第1实施方式中,根据样本图像的图像文件所包含的拍摄姿势数据等而生成引导显示。因此,在第1实施方式中,在引导显示时未使用实时取景图像。另一方面,在第2实施方式中,根据样本图像和实时取景图像的比较而生成引导显示。在本实施方式中,根据样本图像的图像文件所包含的拍摄姿势数据等、以及样本图像和实时取景图像的比较而生成引导显示。
例如考虑如下情况:在样本图像的图像文件中记录图6A所示那样的拍摄姿势数据,样本图像的面部如图13的(c)那样为正面。此时,在实时取景图像如图13的(d)所示那样时、即数码照相机10从样本图像的上侧进行了拍摄时,数码照相机10例如不进行图6A那样的引导图像的显示,而进行图6D那样的引导图像的显示。根据本变形例,相比第1实施方式以及第2实施方式,能够进行更适当的引导显示。
另外,本发明不限定为上述实施方式,在实施阶段能够在不脱离其主旨的范围内对结构要素进行变形并具体化。此外,能够通过上述实施方式公开的多个结构要素的适当组合形成各种发明。例如,即使从实施方式所示的全部结构要素中删除几个结构要素,也能够解决发明要解决的课题的栏中记述的课题,并且,在能够得到发明的效果的情况下,删除了该结构要素的结构也可以作为发明而被提取。并且,可适当组合不同实施方式的结构要素。
另外,本发明的上述实施方式中还包含以下的发明。
(1)
一种摄像装置,其具有:
摄像部,其取得被摄体的图像即被摄体图像;
加速度传感器,其检测重力方向;
气压传感器,其取得高度信息;以及
位置姿势信息计算部,其根据所述重力方向和所述高度信息,计算表示所述摄像部的位置和姿势的位置姿势信息。
(2)
在(1)所述的摄像装置中,还具有图像文件生成部,所述图像文件生成部生成将所述被摄体图像和所述位置姿势信息进行关联而得到的图像文件。
(3)
在(1)或(2)所述的摄像装置中,所述位置姿势信息计算部根据所述气压传感器输出的气压值的经时变化,计算作为该摄像装置相对于保持该摄像装置的拍摄者的高度的保持高度。
(4)
在(3)所述的摄像装置中,所述位置姿势信息计算部将所述气压值定期振动时的所述气压值作为基准来计算所述保持高度。
(5)
在(2)所述的摄像装置中,
还具有距离取得部,所述距离取得部取得与所述被摄体相距的距离即被摄体距离,
所述图像文件生成部生成将所述被摄体图像和所述被摄体距离进一步进行关联而得到的所述图像文件。
(6)
一种显示装置,其显示具有在拍摄时得到的姿势信息的拍摄图像,所述显示装置具有显示控制部,所述显示控制部与所述拍摄图像一起显示由表示所述姿势信息的字符或图像构成的辅助信息。