具体实施方式
以下,参照附图说明本发明的实施方式。
图1是示出本发明一个实施方式所涉及的图像整理装置的结构的图。此处,图1所示的图像整理装置以数码相机(以下,简称作相机)为例。
图1所示的相机100具有控制部101、操作部102、摄像部103、脸检测部104、显示部105、触摸面板106、记录部107、钟表部108和通信部109。
控制部101由为用于相机而构成的LSI(大规模集成电路)等构成,接受用户对操作部102的操作而进行图1的相机100内部的各模块的控制。此外,控制部101还针对通过摄像部103取得的图像进行白平衡校正等图像处理或压缩解压缩处理等。此外,本实施方式的控制部101还具有作为图像片提取部的功能,所述图像片提取部根据触摸面板106的操作从显示在显示部105上的图像(第一图像)提取图像片。此外,本实施方式的控制部101还具有作为对所提取的图像片进行分类的图像片分类部的功能、作为依照分类结果来整理图像片而生成其他图像(第二图像)的其他图像生成部的功能、以及作为从其他图像中进行图像的检索的图像检索部的功能。这些各功能的详细情况将在后面叙述。
操作部102是用于由用户进行相机100的操作的操作部件。在操作部102中,包括例如用于切换相机100的接通/断开的电源按钮、用于由用户指示摄影执行的释放按钮、用于由用户指示图像再现的再现按钮、用于由用户进行与相机100相关的各种选择操作的选择按钮等。
摄像部103由摄影透镜、摄像元件和A/D转换部等构成。摄影透镜是用于将来自未图示的被摄体的光束入射到摄像元件的透镜。摄像元件将基于来自摄影透镜的光束的被摄体的像转换为电信号。A/D转换部将由摄像元件得到的模拟电信号转换为数字数据(以后,称作图像数据)。
脸检测部104检测在摄像部103中得到的图像数据中的脸区域。通过从图像中检测眼睛、鼻子或嘴等脸的特征部分来进行脸区域的检测。
显示部105设置在例如相机100的背面,对经由摄像部103取得的图像或记录在记录部107中的图像等各种图像进行显示。该显示部105由例如液晶显示器等构成。用户能够通过该显示部105来确认被摄体的构图和快门时机。
触摸面板106与显示部105设置成一体,检测是否具有用户在显示部105的显示画面上的触摸操作、和进行了触摸操作时的触摸位置。此外,触摸面板106还检测进行了触摸操作时的用户的手指等对触摸面板106的按压量、和在触摸操作后进行了滑动操作时的滑动操作方向及滑动操作量。
图2A~图2C是示出了作为触摸面板106的一个例子的光感应式的触摸面板的结构的图。图2A所示的显示部105示出液晶显示器的例子,具有显示面板105a和背光灯105b。显示面板105a通过对包括液晶的像素进行二维排列而构成,依照控制部101的控制使各像素的光的透射率变化。背光灯105b将例如白色发光二极管(LED)作为光源,依照控制部101的控制从显示面板105a的背面进行光照射。在本实施方式的例子中,作为触摸面板106的光传感器配置在显示面板105a的各像素上。
在这种结构中,例如如图2A所示,当用户的手指200接触到显示面板105a时,在手指200接触的位置上,从背光灯105b射出的光被反射,该反射光在光传感器中被接收。控制部101监视是否有来自配置在各像素上的光传感器的输出信号,根据进行了信号输出的光传感器的位置来检测用户的手指200的触摸位置。
此外,如图2B的箭头A所示,在用户的手指200对触摸面板106的按压量增加的情况下,与按压量较小的情况相比,进行信号输出的光传感器的位置分布在较宽广的范围上。根据进行这种信号输出的光传感器的分布,能够检测用户的手指200对触摸面板106的按压力。
此外,如图2C的箭头B所示,在用户的手指200滑动的情况下,进行信号输出的光传感器的位置也在箭头B方向上偏移。由此,能够根据进行信号输出的光传感器的位置变化方向及位置变化量来检测用户的手指200的滑动操作方向和滑动操作量。
此外,作为触摸面板106不限于光感应式,还能够使用通过用户手指等的接触压力来检测触摸操作的压敏式触摸面板等各种结构的触摸面板。
记录部107记录经由设摄像部103取得、在控制部101中被压缩的图像数据。此外,在该记录部107中,以附加了通过钟表部108所计时的摄影日期时间等摄影条件的图像文件的形式记录有图像数据。此外,本实施方式中的记录部107还具有作为分类信息记录部107a的记录区域、作为整理图像记录部107b的记录区域。在分类信息记录部107a中,记录有表示控制部101对图像数据的分类结果的分类结果文件。此外,在整理图像记录部107b中记录有其他图像(以下,称作我的地图图像),该其他图像是作为依照分类结果文件整理了图像片的结果而生成的。
钟表部108对进行了图像摄影的日期时间等进行计时。通信部109是USB接口等用于相机100与外部设备进行通信的通信电路。
接着,说明本实施方式所涉及的相机100的动作。图3是示出本实施方式所涉及的相机100的主要动作的流程图。
在图3中,相机100的控制部101首先判定相机100的电源是否接通(步骤S101)。在步骤S101的判定中,在电源断开的情况下,控制部101结束图3的处理。
另一方面,在步骤S101的判定中,在电源接通的情况下,控制部101判定相机100的动作模式是否为摄影模式(步骤S102)。在步骤S102的判定中,在相机100的动作模式为摄影模式的情况下,控制部101为了进行浏览画面显示,使摄像部103动作。此时,控制部101使脸检测部104动作,检测经由摄像部103得到的图像数据中的脸区域(步骤S103)。之后,控制部101进行曝光运算(步骤S104)。在该曝光运算中,控制部101根据经由摄像部103得到的图像数据,测定被摄体的亮度。此外,控制部101根据所测定的被摄体的亮度,运算将在后述的摄影时经由摄像部103得到的图像的亮度设为适当亮度的曝光量。在摄影时,依照在步骤S104中得到的曝光量进行摄像部103的控制。
接着,控制部101在显示部105上进行浏览画面显示(步骤S105)。在该浏览画面显示中,控制部101依次处理经由摄像部103得到的图像并显示在显示部105上。通过使摄像部103连续动作,并使通过该连续动作得到的图像连续显示在相机100的显示部105上,能够将显示部105用作电子取景器。通过这种浏览画面显示,用户能够确定构图和快门时机。
在浏览画面显示之后,控制部101判定是否由摄影者进行了释放操作、即是否按下了操作部102的释放按钮(步骤S106)。在步骤S106的判定中,在没有按下释放按钮的情况下,处理返回步骤S101。此时,控制部101再次判定相机100的电源是否接通。另一方面,在步骤S106的判定中,在按下了释放按钮的情况下,控制部101根据在步骤S104中运算的曝光量来执行摄影动作。接着,控制部101针对作为摄影动作的结果的、经由摄像部103得到的图像数据实施各种图像处理后生成图像文件,并将该所生成的图像文件记录到记录部107中(步骤S107)。之后,控制部101对记录在记录部107中的图像文件进行再现,并将摄影图像显示在显示部105上(步骤S108)。
接着,控制部101对记录在记录部107中的图像文件中的图像数据进行分类(步骤S109)。在图像分类后,控制部101根据分类结果生成分类结果文件并记录到记录部107中,或者在已经生成分类结果文件的情况下更新分类结果文件(步骤S110)。之后,处理返回步骤S101。此外,步骤S109的图像分类的详细情况将后述。
此外,在步骤S102的判定中,在相机100的动作模式不是摄影模式的情况下,控制部101判定相机100的动作模式是否为再现模式(步骤S111)。在步骤S111的判定中,在相机100的动作模式不是再现模式的情况下,处理返回步骤S101。另一方面,在步骤S111的判定中,在相机100的动作模式是再现模式的情况下,控制部101进行再现模式的处理。此时,控制部101对记录于记录部107中的图像文件中的最后记录的(摄影日期时间为最新的)图像文件进行再现,将其显示在显示部105上(步骤S112)。
之后,控制部101根据用户的指示,判定是否进行了图像分类的指示(步骤S113)。根据是否进行了例如用户对操作部102的操作、或用户的手指等是否触摸了显示在显示部105的显示画面上的未图示的图像分类指示按钮,来进行该判定。在步骤S113的判定中,在进行了图像分类的指示的情况下,控制部101进行图像分类的处理(步骤S114)。在图像分类后,控制部101根据分类结果生成分类结果文件并记录到记录部107中,或在已经生成分类结果文件的情况下更新分类结果文件(步骤S115)。此外,步骤S114的图像分类处理与步骤S109的图像分类处理相同。其详细情况将后述。
在步骤S113或步骤S115后,控制部101判定是否进行通常以外的其他显示(步骤S116)。根据是否进行了例如用户对操作部102的操作、或用户的手指等是否触摸了显示在显示部105的显示画面上的未图示的我的地图再现按钮或缩略图显示按钮,来进行该判定。在步骤S116的判定中,在不进行其他显示的情况下,处理返回步骤S101。
另一方面,在步骤S116的判定中,在进行其他显示的情况下,控制部101判定是否由用户进行了我的地图再现指示(步骤S117)。在步骤S117的判定中,在进行了我的地图再现指示的情况下,控制部101对记录在记录部107的整理图像记录部107b中的我的地图图像进行再现(步骤S118)。在我的地图图像的再现处理结束后,处理返回步骤S116。此外,我的地图图像的再现处理的详细情况将后述。
此外,在步骤S117的判定中,在没有进行我的地图再现指示的情况下,控制部101判定是否进行了缩略图显示指示(步骤S119)。在步骤S119的判定中,在没有进行缩略图显示指示的情况下,在经过预定时间后,控制部101将记录在记录部107中的图像文件中的摄影日期时间第二新的图像显示在显示部105上(步骤S120)。之后,处理返回步骤S113。
此外,在步骤S119的判定中,在进行了缩略图显示指示的情况下,控制部101将记录在记录部107中的图像的缩略图像显示在显示部105上(步骤S121)。之后,控制部101根据触摸面板106的输出,判定是否进行了缩略图像的选择、即用户的手指等是否触摸了显示在显示部105上的缩略图像的任意一个(步骤S122)。在步骤S122的判定中,在用户的手指等触摸了显示在显示部105上的缩略图像的任意一个的情况下,控制部101将与该触摸位置的缩略图像对应的图像放大显示在显示部105上(步骤S123)。之后,处理返回步骤S113。此外,在步骤S122的判定中,在用户的手指等没有触摸到显示在显示部105上的缩略图像的任意一个的情况下,处理也返回步骤S113。
接着,参照图4说明步骤S109、S114的图像分类处理。在图像分类处理之前,如图5A所示,在显示部105上显示摄影图像或再现图像(以下,简称作图像)300。在图像分类处理开始后,如图5A所示,控制部101使表示用于由用户进行图像片分类的分类项目的显示301a~301c、以及用于由用户指示结束图像分类的结束按钮302显示在显示部105上(步骤S201)。接着,控制部101根据触摸面板106的输出,判定是否进行了用户的手指等在显示部105的显示画面上的触摸操作(步骤S202)。在步骤S202的判定中,在进行触摸操作以前,控制部101一边进行步骤S202的判定一边待机。
在步骤S202的判定中,在用户的手指等进行了触摸操作的情况下,控制部101根据触摸面板106的输出,判定用户的手指等的触摸位置(步骤S203)。之后,控制部101判定所检测的触摸位置是否为结束按钮302的位置(步骤S204)。在步骤S204的判定中,在触摸位置是结束按钮302的位置的情况下,控制部101结束图4的处理。此时,从步骤S110或步骤S115开始执行处理。
此外,在步骤S204的判定中,在触摸位置不是结束按钮302的位置的情况下,控制部101判定触摸位置是否在图像300内(步骤S205)。在步骤S205的判定中,在触摸位置不在图像300内的情况下,处理返回步骤S202。
此外,在步骤S205的判定中,在触摸位置在图像300内的情况下,控制部101将包括该触摸位置在内的小区域作为图像片提取出(步骤S206)。例如,在用户的手指200触摸了图5A所示的花300a的位置的情况下,作为包括花300a的小区域而提取出图像片300b。根据用户的手指200的按压力来设定该图像片300b的大小。即,通过用户按压显示部105的显示画面,由此提取出大小与该按压强度对应的图像片300b。在提取了图像片300b时,如图5A所示,显示能在视觉上看清楚所提取的图像片300b那样的框。此外,在图5A的例子中,提取矩形的图像片300b。但是,图像片的形状不限于矩形,也可以是例如圆形。
在提取图像片300b后,控制部101根据触摸面板106的输出,检测是否进行了用户的手指等的滑动操作(步骤S207)。在步骤S207的判定中,在没有进行滑动操作的情况下,处理返回步骤S202。另一方面,在步骤S207的判定中,在进行了滑动操作的情况下,如图5B所示,控制部101根据用户的手指200等的滑动操作量来移动图像片300b的位置(步骤S208)。之后,控制部101判定移动后的图像片300b的位置是否与分类项目显示301a~301c中的任意一个一致(步骤S209)。在步骤S209的判定中,在移动后的图像片300b的位置与分类项目显示301a~301c中的任意一个都不一致的情况下,处理返回步骤S202。另一方面,在步骤S209的判定中,在移动后的图像片300b的位置与分类项目显示301a~301c中的任意一个一致的情况下,控制部101生成(或更新)与分类项目对应的我的地图图像(步骤S210),且该分类项目与图像片300b的位置对应。
图6A、图6B是示出我的地图图像的例子的图。此处,图6A示出分类项目为“花”时的我的地图图像的例子,图6B示出分类项目为“宠物”时的我的地图图像的例子。如图6A、图6B所示,对于本实施方式中的我的地图图像,在与分类项目对应的背景图像(例如在“花”的情况下为花圃,在“宠物”的情况下为宠物小屋等)401中,是通过粘贴图像片301b而生成的图像。此外,在图6A、图6B中,对表示图像片301b的边界的框没有示出,但在实际粘贴时,期望消除图像片301b的框来进行粘贴。此外,未例示分类项目为人物的我的地图图像,但是只要将例如人物脸的缩略图像嵌入到画框的图像中来进行绘画,或者在人物躯干的图像中粘贴人物脸的缩略图像即可。
以上那样的我的地图图像是通过用户自由粘贴所拍摄或所再现的图像的一部分而以适应于用户爱好的形式进展的图像。因此,用户能够愉快地进行图像的分类。
此外,在我的地图图像中还重叠着返回按钮402。该返回按钮402是在后述再现我的地图图像时所使用的按钮。此外,可以合成表示用户的图像即化身403,也可以通过该化身403的操作来进行在后述再现我的地图图像时所再现的我的地图图像的选择等。
图7是示出我的地图图像的生成处理的一个例子的流程图。在图7中,控制部101将所提取的最新的图像片的优先度(优先顺序)设定为高于其他图像片的优先度(步骤S501)。接着,控制部101判定是否保留了优先显示区域(步骤S502)。优先显示区域是优先图像片而配置的我的地图图像中的区域。
在步骤S502的判定中,在保留了优先显示区域的情况下,如图8所示,控制部101在优先显示区域中粘贴图像片来生成我的地图图像(步骤S505)。此时,越是优先度高的(即新的)图像片,越粘贴到优先显示区域的中央,越是优先度低的(即旧的)图像片,越粘贴到优先显示区域的端部。
此外,在步骤S502的判定中,在没有保留优先显示区域的情况下,控制部101使用间隔剔除等来缩小优先度较低的图像片(步骤S503)。之后,控制部101依照优先度粘贴图像片来生成我的地图图像(步骤S504)。由此,即使图像片变多也能够进行图像片的粘贴。
在粘贴图像片后,控制部101将各图像片的位置记录到后述的分类结果文件中(步骤S506)。之后,控制部101在所生成的我的地图图像中合成化身的图像(步骤S507)。此外,作为化身的图像,用户可以使用拍摄自身而得到的图像,也可以从多个选择项中选择期望的化身的图像。在合成化身的图像后,控制部101结束图7的处理。
这样,表示摄影者的化身依次用图像片进行装饰,嵌入到画面内,因此摄影者能够体验到丰富开拓自我世界的感觉,从而形成进一步的摄影动机。由此,积极进行与花等相同的主题的摄影,因此容易明白好的照相和差的摄影的差异,能够得到拍照技术提高的附属效果。
此处,重新返回图4的说明。在步骤S210中,在生成我的地图图像后,控制部101将表示图像300和图像片301对应的意思的分类信息记录到分类结果文件中(步骤S211)。此外,控制部101将除了图像300和图像片301的对应信息以外的信息(图像中的脸的数量)等记录到分类结果文件中(步骤S212)。之后,处理返回步骤S202。
图9A示出了分类结果文件的一个例子。图9A所示的分类结果文件具有“脸的数量”、“脸的位置、特征、大小”、“图像片”和“摄影日期时间”的项目。
对于“脸的数量”,记录了在步骤S103的脸检测时所检测出的图像数据中的脸区域的数量。对于“脸的位置、特征、大小”,记录了在图像内的哪个位置上包括怎样程度大小的怎样的脸。在本实施方式中,例如如图9B所示将一个画面分割为A1~A9这九个区域,通过该A1~A9来表示脸的位置。此外,对于脸的大小,根据相对于A1~A9的区域的大小,用D1~D3所示的三个等级的大小来表示。D1为脸区域的大小小于A1~A9的区域的大小的情况。此外,D2为脸区域与A1~A9的区域内切(大小大致相等)的情况。此外,D3为脸区域的大小大于A1~A9的区域的大小的情况。此外,对于脸的特征,按照每个图像数据来记录表示脸的特征的标识符。例如,图像1表示在A4的区域中以D2的大小存在特征P-A(例如表示家族)的脸,并且表示在A6的区域中以D3的大小存在特征P-A的脸。
“图像片”记录有如上所述进行分类的图像片和图像的对应信息。在每次生成我的地图图像时记录该对应信息。例如,图像1表示与我的地图图像中的花A或人物A对应的情况。
对于“摄影日期时间”,记录了通过钟表部8记录的摄影日期时间。也可以通过在相机100中设置GPS功能而记录摄影位置。
接着,参照图10说明步骤S118的我的地图图像的再现处理。在进行了我的地图图像再现的指示时,控制部101显示我的地图图像的选择画面(步骤S301)。图11A示出了选择画面的例子。如图11A所示,在选择画面中,显示表示与上述分类项目对应的我的地图图像的分类的项目显示501a~501c。此外,在图11A的例子中,花圃501a与分类项目“花”对应。此外,家501b与分类项目“人物”对应。此外,宠物的家501c与分类项目“宠物”对应。此外,在选择画面中还显示结束按钮502。
在显示了图11A所示的选择画面后,控制部101根据触摸面板106的输出,判定是否由用户选择了项目显示501a~501c中的任意一个项目(步骤S302)。在步骤S302的判定中,在没有选择项目显示501a~501c中的任意一个项目的情况下,控制部101根据触摸面板106的输出,判定是否由用户选择了结束按钮502(步骤S303)。在步骤S303的判定中,在没有选择结束按钮502的情况下,处理返回步骤S301。另一方面,在步骤S303的判定中,在选择了结束按钮502的情况下,控制部101结束图10的处理。之后,处理返回图3的步骤S116。
此外,在步骤S302的判定中,在选择了项目显示501a~501c中的任意一个的情况下,如图11B所示,控制部101在显示部105上显示与所选择的项目对应的我的地图图像(步骤S304)。此处,图11B示出了在选择了花圃的项目显示501a的情况下所显示的我的地图图像的例子。在图6A中示出了该我的地图图像。
在显示了我的地图图像后,控制部101根据触摸面板106的输出,判定是否由用户选择了返回按钮402(步骤S305)。在步骤S305的判定中,在选择了返回按钮402的情况下,处理返回步骤S301。此时,控制部101再次显示图11A所示的选择画面。另一方面,在步骤S305的判定中,在没有选择返回按钮402的情况下,控制部101根据触摸面板106的输出,判定是否由用户选择了我的地图图像中的任意一个图像片(步骤S306)。在步骤S306的判定中,在没有选择图像片的情况下处理返回步骤S305。另一方面,在步骤S306的判定中,在选择了图像片的情况下,控制部101参照分类结果文件,将与由用户选择的图像片对应的图像显示在显示部105上(步骤S307)。图11C示出选择了图像片时的对应图像的显示例。例如,如图11B所示,在选择了图像片300b的情况下,在显示部105上显示与该图像片300b对应的图像300。此外,在进行这种显示时,也可以进行表示将显示在显示部105上的图像记录为电子相册的显示601。
如以上所说明那样,根据本实施方式,能够提取图像的一部分作为图像片,使用该图像片生成我的地图图像,并且,能根据该我的地图图像检索期望的图像。由此,用户能够愉快地进行图像的分类。
此外,在本实施方式中,根据触摸面板106的按压力使提取的图像片的大小发生变化。由此,用户能够使用任意大小的图像片生成我的地图图像。
此处,在上述的实施方式中,例示了与“花”、“人物”、“宠物”这三种分类对应的我的地图图像的生成,但是也可以进行除此以外的分类。此外,也可以由用户来生成分类项目。
此外,在上述的实施方式中,仅将包括用户的触摸位置在内的小区域作为图像片提取出。此时,提取出不但包含花等主要对象物还包括背景图像的图像片。在包括背景图像的状态下将图像片粘贴到我的地图图像时,恐怕难以观察所生成的我的地图图像。相对于此,也可以如以下的图12所示那样提取图像片。此处,取代图4的步骤S206的处理而进行图12的处理。
在图4的步骤S205的判定中,在用户的手指等触摸了显示在显示部105上的图像的情况下,如图13A所示,控制部101设定包括触摸位置在内的预定大小的小区域(矩形、圆形等)701(步骤S401)。接着,控制部101根据用户的手指200的按压力来变更小区域701的大小(步骤S402)。
接着,控制部101取得小区域701中的图像数据,检测所取得的图像数据中的主要颜色(最多的颜色)(步骤S403)。之后,控制部101在小区域701中检测与在步骤S403中检测的主要颜色近似的颜色部分(步骤S404)。即,将小区域701的主要颜色看作小区域701中最重要的对象物。接着,控制部101将小区域701中没有被主要颜色及其近似颜色的区域包围的区域作为背景区域,使该背景区域成为透明图像(步骤S405)。例如,如图13B所示提取的小区域701内的主要对象物是花,此时的主要颜色为花瓣的颜色。由此,在步骤S405的处理中,除了由具有花瓣颜色的区域702所包围的部分以外的例如树枝703的部分如图13C所示被形成为透明图像。由此提取图像片。在提取图像片后,执行图4的步骤S207以后的处理。
通过如此提取图像片,不会在我的地图图像中粘贴到图像片的背景部分。
根据以上实施方式说明了本发明,但是本发明不限于上述实施方式,当然能够在本发明的主旨范围内进行各种变形和应用。在上述实施方式中,作为图像整理装置的例子示出了数码相机。但是,本实施方式能够适用于具有触摸面板的各种装置。
此外,在上述实施方式中,在图像300的再现时始终显示项目显示301a~301c。与此相对,也可以在再现图像300后,在用户的手指等对图像300的触摸时间超过预定时间的时刻进行项目显示。
此外,在上述实施方式中,主要说明了从静止图像提取图像片及我的地图图像的生成。但是,上述实施方式的方法对动态图像也能够适用。例如,如果在动态图像的再现中在通过用户的手指等对再现中的图像进行了触摸的时刻暂时停止再现中的图像,则以后能够进行与静止图像的情况相同的图像片提取和我的地图图像生成。在选择了如此生成的我的地图图像中的对应图像片的情况下,根据该图像片所对应的动态图像中的帧来再现动态图像。
此外,在上述实施方式中包括了各种阶段的发明,能够通过所公开的多个技术特征的适当组合而提取出各种发明。例如,在即使从实施方式所示出的全部技术特征中删除几个技术特征,也能够解决上述问题且得到上述那样的效果的情况下,能够将删除了该技术特征的结构提取为发明。