CN101146178A - 摄像机 - Google Patents
摄像机 Download PDFInfo
- Publication number
- CN101146178A CN101146178A CNA2007101512308A CN200710151230A CN101146178A CN 101146178 A CN101146178 A CN 101146178A CN A2007101512308 A CNA2007101512308 A CN A2007101512308A CN 200710151230 A CN200710151230 A CN 200710151230A CN 101146178 A CN101146178 A CN 101146178A
- Authority
- CN
- China
- Prior art keywords
- image
- search
- unit
- video camera
- camera according
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明提供了一种摄像机。该摄像机包括:摄像单元,其用于拍摄被摄体像;第一存储单元,其用于存储多个静止画面和多个运动画面作为图像,以及除所述图像之外的信息;显示单元,其用于显示一个或多个图像或从所述摄像单元输出的图像;搜索源指定单元,其用于指定搜索源图像;搜索条件指定单元,其用于指定搜索条件;以及搜索单元,其用于根据所述搜索条件指定单元所指定的所述搜索条件来搜索与所述搜索源指定单元所指定的所述搜索源图像相似的图像。
Description
技术领域
本发明涉及一种包括图像搜索功能的摄像机。
背景技术
近年来,数字摄像机装备有各种图像管理功能,例如用于对拍摄的图像进行分类和搜索的相册功能和日历功能。
相册功能是能够在记录介质(即,存储卡等)中将照片图像分类为相册的功能,该功能的使用使用户能够基于相册来搜索期望图像。作为示例,专利参考文献1(即,日本专利申请特开2000-242649号公报)、专利参考文献2(即,日本专利申请特开2001-167118号公报)和专利参考文献3(即,日本专利申请特开平10-254901号公报)公开了有效地利用这种相册功能的技术。
日历功能是能够针对各拍摄日期对照片图像进行分类的功能,该功能的使用使用户能够基于拍摄日期来搜索期望图像。
另外,用于搜索图像的装置和方法包括专利参考文献4(即,日本专利申请特开平06-12494号公报)和专利参考文献5(即,日本专利申请特开2004-120225号公报)中所提出的装置和方法。
同时,近年来的某些数字摄像机还由于摄像机中内置的记录介质(即,存储卡)的容量的增加而能够记录大量图像(即,图像数据)。由于在这种记录介质中记录大量图像的能力,在数字摄像机的用户中存在期望从大量记录的图像中搜索并显示仅满足任意条件的图像的情况。作为示例,存在确认仅在特定地理区域中拍摄的图像的情况、或者确认仅在特定时间段中拍摄的图像的情况。此外,在这些情况中,存在任意地放大或缩小特定地理区域然后确认仅在该区域的放大或缩小的范围的区域中拍摄的图像的情况、或者加宽或缩窄特定时间段然后确定仅在该时间段的加宽或缩窄的范围中拍摄的图像的情况。
作为从多个图像中搜索满足规定条件的图像的装置的示例,专利参考文献6(即,日本专利申请特开2002-369125号公报)中提出了一种摄像装置,当用于存储图像的容量不足时,该摄像装置基于预定条件来搜索要删除的图像的候选并显示该候选,并且提示用户删除该图像以继续进行拍摄。
此外,近年来的某些数字摄像机具有多种功能以与拍摄和重放的使用相匹配。关于拍摄功能,例如存在包括以下功能的数字摄像机:在进行拍摄时(即,在拍摄模式下),从摄像单元获得的图像数据中检测人脸部分,并且在选定这些部分中的一个时,显示面部区的包括所选定的面部部分的面部图像的放大图,或者在显示单元内对选定的面部部分进行跟踪以容易地拍摄具有拍摄者所期望的面部表情的图像(例如,参见专利参考文献7(即,日本专利申请特开2005-102175号公报))。关于重放功能,例如存在包括能够针对各相册重放登记图像的相册功能和能够针对各历月重放登记图像的日历功能的数字摄像机。
此外,近年来由于可利用低成本大容量记录介质而可以记录大量照片图像,使得能够持续进行拍摄,而从诸如更换记录介质和移动记录介质中记录的照片图像的常规不便中解放出来。
顺便指出,数字摄像机的相册功能需要登记图像时的困难操作和制作相册时的麻烦操作。同时,在日历功能中可以基于日期来进行分类和搜索;然而,不能按其他方面进行分组。作为示例,当期望查看(或显示)一组同一地点不同季节的照片(photograph)(这里有时简称为“照片(photo)”)时,当期望查看(或显示)展现笑脸的照片时,或当期望查看(或显示)海景或夜景的照片时,无法通过使用常规相册功能或日历功能来完成以上要求。
此外,当通过使用上述数字摄像机中的相册功能来搜索图像时,必须将每一个图像都预先登记在相册中,这是很麻烦的。并且,当通过使用日历功能来搜索图像时,如上所述,仅可以在诸如拍摄日期的有限搜索条件下搜索照片图像。因此,上述数字摄像机无法使用户容易地搜索到期望图像。因此,为了提高使用方便性而要求:实现一种功能,该功能即,用户预先登记要用作搜索源的候选的图像,并且当用户根据需要而从这些候选中选择用作搜索源的图像时,基于该图像的特征部分和该图像的附加信息来自动搜索图像;以及使几乎任何人都能使用上述功能的可操作性。然而,上述所有专利参考文献1至7都没有常规地公开包含这种功能的装置。
同时,诸如数字摄像机的便携式设备要求装置的机身紧凑,使得其操作单元很小,并且与装置的大小成比例的其面积的大小也很小。同时,具有拍摄功能和重放功能的多功能以与使用相匹配。并且低成本且大容量的存储器已使存储大量图像的能力成为可能。这种便利性的不利方面是由于上述操作单元的结构而导致的复杂操作方法,导致以下问题:除非用户理解操作方法,否则难以搞清如何使用摄像机。
此外,例如如果存储了大量喜爱的图像,则难以从大量存储图像中搜索一喜爱的图像和拥有该喜爱的图像的特征的另一图像并对其进行显示,专利文献1至7都没有提出对该问题的解决方案。
此外,在上述数字摄像机中,经常经历以下情况:使用数字摄像机时期望查看过去的图像,或者在摄像机的使用过程中期望查看喜爱的图像,或者在观看显示的图像的同时突然期望查看过去拍摄的图像。因此,同样为了提高能够拍摄图像并重放图像的设备(例如上述数字摄像机)的使用便利性而要求:实现一种功能,该功能即,基于在拍摄待机时以直通图像(through-image)形式(即,实时显示拾取的(即,摄像的)图像的形式)显示的图像或在重放时显示的图像的特征部分和附加信息来自动搜索图像;以及使几乎任何人都能容易地使用上述功能的可操作性。然而,上述专利参考文献1至7都没有常规地公开包含这种功能的装置。
此外,如果用户试图从大量图像中仅搜索满足任意条件的图像并对其进行重放,则不存在能够改变条件的范围(例如,上述地理区域的范围或时间段的范围)并通过简单的操作来执行搜索或重放的常规装置。上述专利参考文献6中提出的摄像装置尽管能够改变搜索的条件但不能改变条件的范围。
此外,在记录介质中记录大量照片图像的能力导致难以从大量照片图像中搜索期望照片图像的问题。作为示例,在重放照片图像时,搜索并显示拥有被重放的照片图像的特征部分的其他照片图像是非常困难的。上述专利参考文献7中提出的数字摄像机或上述相册功能或日历功能不能解决该问题。
发明内容
考虑到上述情况,本发明的目的是提供一种使得能够简单且容易地搜索期望图像的摄像机。
为了实现上述目的,根据本发明第一方面的摄像机包括:摄像单元,其用于拍摄被摄体像;第一存储单元,其用于存储多个静止画面和多个运动画面作为图像,以及除所述图像之外的信息;显示单元,其用于显示一个或多个图像或从所述摄像单元输出的图像;搜索源指定单元,其用于指定搜索源图像;搜索条件指定单元,其用于指定搜索条件;以及搜索单元,其用于根据所述搜索条件指定单元指定的所述搜索条件来搜索与所述搜索源指定单元指定的所述搜索源图像相似的图像。
附图说明
图1是示出作为根据第一优选实施方式的摄像机中的一种的数字摄像机的硬件结构的概要的图;
图2是示出根据第一实施方式的数字摄像机中存储的图像数据文件的管理结构的图;
图3是示出在Flash ROM中对存储在内置存储器或外部存储器中的图像进行登记的流程的图;
图4A是示出根据第一实施方式的搜索源图像与搜索对象图像的关系的第一图;
图4B是示出根据第一实施方式的搜索源图像与搜索对象图像的关系的第二图;
图4C是示出根据第一实施方式的搜索源图像与搜索对象图像的关系的第三图;
图4D是示出根据第一实施方式的搜索源图像与搜索对象图像的关系的第四图;
图5是例示根据第一实施方式的在内置存储器或外部存储器中管理的图像文件结构的图;
图6是示出根据第一实施方式的图像搜索的概要的图;
图7是例示根据第一实施方式的基于输入图像的个体特征而分组在一起的输出图像的图;
图8是例示根据第一实施方式的组管理表的图;
图9是示出根据第一实施方式的图像搜索的流程(即,基本型)的图;
图10是示出S14的特征提取操作的详细流程的图;
图11是示出根据第一实施方式的图像搜索的流程(即,应用型)的图;
图12是示出S35的处理的详细流程的图;
图13是示出S37的处理的详细流程的图;
图14A是示出在根据第一实施方式的数字摄像机在处理之前不执行对搜索基准图像的图像识别时搜索指示操作的情况的第一图;
图14B是示出在根据第一实施方式的数字摄像机在处理之前不执行对搜索基准图像的图像识别时搜索指示操作的情况的第二图;
图14C是示出在根据第一实施方式的数字摄像机在处理之前不执行对搜索基准图像的图像识别时搜索指示操作的情况的第三图;
图15A是示出在根据第一实施方式的数字摄像机在处理之前执行对搜索基准图像的图像识别时搜索指示操作的情况的第一图;
图15B是示出在根据第一实施方式的数字摄像机在处理之前执行对搜索基准图像的图像识别时搜索指示操作的情况的第二图;
图15C是示出在根据第一实施方式的数字摄像机在处理之前执行对搜索基准图像的图像识别时搜索指示操作的情况的第三图;
图16A是例示根据第一实施方式在选择搜索源图像时的显示模式的第一图;
图16B是例示根据第一实施方式在选择搜索源图像时的显示模式的第二图;
图17A是例示根据第一实施方式的搜索条件候选显示模式的第一图;
图17B是例示根据第一实施方式的搜索条件候选显示模式的第二图;
图17C是例示根据第一实施方式的搜索条件候选显示模式的第三图;
图18A是示出根据第一实施方式的代表性结果显示模式的第一图;
图18B是示出根据第一实施方式的代表性结果显示模式的第二图;
图18C是示出根据第一实施方式的代表性结果显示模式的第三图;
图18D是示出根据第一实施方式的代表性结果显示模式的第四图;
图19A是示出根据第一实施方式的分组结果显示模式的第一图;
图19B是示出根据第一实施方式的分组结果显示模式的第二图;
图19C是示出根据第一实施方式的分组结果显示模式的第三图;
图19D是示出根据第一实施方式的分组结果显示模式的第四图;
图20是根据第二优选实施方式的数字摄像机的框图;
图21是根据第二实施方式的数字摄像机的后视图;
图22是示出根据第二实施方式的数字摄像机的基本操作的流程图;
图23是示出图像文件的结构的图;
图24是详细示出喜爱的登记模式处理(S207)的流程图;
图25是详细示出喜爱的重放模式处理(S209)的流程图;
图26是描述在喜爱的重放模式处理的过程中在TFT中显示的内容的图;
图27是例示图像搜索处理(S236)和分组处理(S237)的图;
图28是在喜爱的图像重放模式处理的过程中在TFT中显示的屏面图像示例;
图29是例示利用喜爱的重放模式处理(S209)进行的搜索示例的图;
图30是根据第三优选实施方式的数字摄像机的框图;
图31是根据第三实施方式的数字摄像机的后视图;
图32是示出根据第三实施方式的数字摄像机的基本操作的流程图;
图33是详细示出拍摄模式处理(S303)的流程图;
图34是描述在拍摄模式处理的过程中在TFT中显示的内容的图;
图35是示出拍摄处理记录的图像文件的结构的图;
图36是在拍摄模式处理的过程中在TFT中显示的屏面图像示例;
图37是详细示出重放模式处理(S305)的流程图;
图38是描述在重放模式处理的过程中在TFT中显示的内容的图;
图39是在重放模式处理的过程中在TFT中显示的屏面图像示例;
图40是例示图像搜索处理和分组处理的流程图;
图41是例示利用拍摄模式处理(S303)或重放模式处理(S305)进行的搜索示例的图;
图42是根据第四优选实施方式的数字摄像机的框图;
图43是示出数字摄像机的基本操作的流程图;
图44A是详细示出重放操作过程中的图像搜索操作的第一流程图;
图44B是详细示出重放操作过程中的图像搜索操作的第二流程图;
图45A是示出图像搜索和提取处理(S425)的流程图;
图45B是示出添加非提取图像作为提取图像的处理(S450)的流程图;
图45C是示出添加提取图像作为非提取图像的处理(S460)的流程图;
图46A是用于描述在图像搜索操作过程中对搜索条件信息进行更新的示例的第一图;
图46B是用于描述在图像搜索操作过程中对搜索条件信息进行更新的示例的第二图;
图46C是用于描述在图像搜索操作过程中对搜索条件信息进行更新的示例的第三图;
图46D是用于描述在图像搜索操作过程中对搜索条件信息进行更新的示例的第四图;
图46E是用于描述在图像搜索操作过程中对搜索条件信息进行更新的示例的第五图;
图46F是用于描述在图像搜索操作过程中对搜索条件信息进行更新的示例的第六图;
图47是例示图像搜索操作过程中显示器的图像变换的图;
图48是表示搜索范围的示例的图示图;
图49A是例示搜索条件信息的存储形态的第一图;
图49B是例示搜索条件信息的存储形态的第二图;
图49C是例示搜索条件信息的存储形态的第三图;
图50是例示根据第五优选实施方式的数字摄像机的结构的图;
图51是根据第五实施方式的数字摄像机的后视图;
图52是示出根据第五实施方式的数字摄像机的总体操作的流程图;
图53是详细示出喜爱的图像重放处理(S532)的内容的流程图;
图54是示出拾取提取选择的处理(S542)的内容的流程图;
图55是例示当执行喜爱的图像重放处理(S532)时TFT的图像屏面根据按钮操作而变换的图;
图56A是例示当构造成基于拍摄条件信息来拾取提取选择时拍摄条件与提取的选取选择的相关性的第一图;
图56B是例示当构造成基于拍摄条件信息来拾取提取选择时拍摄条件与提取的选取选择的相关性的第二图;
图56C是示出用于基于拍摄条件的信息来拾取提取选择的处理的结构的流程图;
图57是示出用于基于带有优先顺序的类来拾取提取选择的处理的结构的流程图;
图58是例示当根据变型实施方式执行喜爱的重放处理时TFT的图像屏面根据按钮操作而变换的图;
图59A例示了当根据登记在喜爱的文件中的链接信息以索引形式显示所拍摄的图像时的第一屏面图像;以及
图59B例示了当根据登记在喜爱的文件中的链接信息以索引形式显示所拍摄的图像时的第二屏面图像。
具体实施方式
下面将通过参照附图来描述本发明的优选实施方式。
<第一实施方式>
根据本发明第一实施方式的摄像机是一种使得能够简单且容易地搜索期望图像的摄像机,具体地说,是一种使得能够简单地基于图像来浏览符合要求的图像的摄像机。
本实施方式所描述的摄像机提取选定图像的各种特征部分,通过使用所提取的特征部分作为搜索条件来搜索存储在另一存储介质中的图像而进行分组,并且向用户呈现这些图像。
根据本实施方式的摄像机包含显示装置、图像选择装置、搜索模式设置装置、特征提取装置、图像搜索装置、相关性存储装置以及显示控制装置。该摄像机例如包括数字摄像机、个人计算机(PC)及个人数字助理(PDA)。
与根据本实施方式的显示单元相对应的显示装置显示图像数据的重放。与根据本实施方式的操作单元相对应的图像选择装置使得能够从显示装置中所显示的多个图像数据中选择任一个图像数据。
与根据本实施方式的用于对有关搜索源图像的特征的提取进行设置的操作画面(例如,图14和图15)相对应的搜索模式设置装置使得可以基于图像数据来设置用于搜索图像的搜索模式。
特征提取装置能够基于搜索模式从搜索基准图像数据(即,如上所述地选择的图像数据)中提取多个特征部分。特征提取装置对应于根据本实施方式的在设定条件下执行特征提取处理的中央处理单元(CPU)。
图像搜索装置能够通过使用提取的特征部分作为搜索条件,从预定存储介质中存储的图像数据组中搜索与搜索条件相匹配的图像数据。图像搜索装置对应于根据本实施方式的基于利用特征提取处理提取的搜索源图像的特征部分来搜索预定存储介质中存储的图像数据组的CPU。
相关性存储装置是存储表示由图像搜索装置搜索到的一个或更多个图像数据与搜索基准图像数据的相关性的信息的组管理表。
显示控制装置能够控制显示装置通过基于相关性存储装置将图形数据(即,图标)与图像数据(即,代表性候选图像)彼此进行相互关联来在该显示装置中显示它们,该图形数据表示提取的多个特征部分的个体,该图像数据是基于这些特征部分而搜索到的。
这种结构使得可以提取选定图像的各种特征部分并通过使用提取的各个特征部分作为搜索条件对在另一存储介质中存储的图像进行搜索和分组。而这使得能够实现能够基于各种特征部分对在存储介质中存储的图像进行分组的相册功能。还使得能够仅通过参照图标对将哪个特征部分用作对代表性候选图像进行分组的基础进行确认。
同时,显示控制装置能够显示搜索基准图像数据或者搜索基准图像数据的构成由特征提取装置提取的特征提取的对象的规定区,并且显示由图像搜索装置搜索到的多个图像数据组。
这种结构使得可以对已将何搜索源图像的哪个特征部分用作搜索的基础进行确认。
摄像机还可以包括特征选择装置。该特征选择装置在特征提取装置从搜索基准图像数据中提取了多个特征部分的情况下选择多个特征部分中的至少一个用于搜索条件。顺便指出,特征选择装置对应于根据本实施方式的使得能够通过使用光标或触摸笔从提取的多个特征部分中选择任一特征部分的操作的操作单元。
这种结构使得可以简单地选择任一特征部分。
此外,图像搜索装置被构造成:通过使用特征选择装置选定的特征部分作为搜索条件来进行搜索,而显示控制装置被构造成:在指定了搜索基准图像数据的、其中已提取了特征部分的图像区的情况下,显示与所搜索到的图像数据组的图像区相对应的图像数据。
这种结构使得:可以在通过光标或触控操作将搜索源图像的图像区的一部分选定为搜索条件的情况下,搜索并显示与通过匹配光标而拾取的区所指定的图像相似的图像或与通过触控操作而指定的图像相似的图像。
该摄像机还可以包括搜索候选显示装置。与根据本实施方式的应用图像搜索流程相对应的搜索候选显示装置使显示装置与选定图像数据一起显示由特征提取装置从图像数据中提取的作为用于使其成为搜索条件的搜索候选的特征部分。
这种结构使得可以向用户呈现使得能够对图像进行分组的所有搜索条件。
该摄像机还可以包括属性信息搜索条件设置装置。与根据本实施方式的用于向搜索条件添加辅助信息的搜索模式相对应的属性信息搜索条件设置装置设置图像数据的属性信息作为搜索条件。
这种结构使得不仅能够搜索图像数据的特征部分而且能够通过添加属性信息来进行搜索。
此外,显示控制装置能够按时间序列显示搜索到的图像组。这种结构使得可以按拍摄日期和时间的降序显示搜索到的图像。
下面将详细描述本发明的优选实施方式。
图1是示出作为根据第一优选实施方式的摄像机中的一种的数字摄像机的硬件结构的概要的图。数字摄像机(或称作数字静态摄像机(DSC))1包括透镜2、成像元件3、成像单元4、图像缓冲存储器5、显示处理单元6、显示单元7、图像处理单元8、内置存储器9、外部存储器10、外部接口(下文中“接口”简称为“I/F”)11、压缩/扩展单元12、Flash ROM 13、中央处理单元(CPU)14、操作单元16、全球定位系统(GPS)17、气压计18、麦克风(麦克)19和总线20。
透镜2在成像元件3上形成被摄体像。成像元件3对依靠拍摄透镜2(这里有时将拍摄(photography)简称为“拍摄(photo)”)的功能而在成像元件3上形成的被摄体像应用光电转换,从而输出表示图像的电信号。成像元件3例如是电荷耦合器件(CCD)。
成像单元4包括用于降低噪声分量的相关双采样(CDS)、稳定信号电平的自动增益控制(AGC)、以及用于将模拟电信号转换成数字电信号的模数转换器(A/D)。并且,成像单元4降低从成像元件3输出的模拟电信号的噪声分量、稳定信号电平、将该电信号转换成数字电信号并将其输出。
图像缓冲存储器5用作诸如下列数据的临时存储器:作为从成像单元4输出的数字电信号的图像数据(即,表示静止画面或运动画面的图像数据;以下相同),图像处理单元8应用的各种图像处理中处理的图像数据,以及用于对作为根据本实施方式而进行搜索的结果的分组图像进行管理的组管理数据。图像缓冲存储器5例如是动态随机存取存储器(DRAM)。
显示处理单元6执行诸如以下处理:基于由图像处理单元8对其施加了图像处理的图像数据而生成可由显示单元7显示的视频信号并将其输出给显示单元7。这促使显示单元7基于该视频信号来显示屏面图像(例如,静止画面和运动画面)。
显示单元7例如是液晶显示(LCD)显示器、有机电发光(EL)显示器或触摸屏。
图像处理单元8进行各种图像处理,例如,包括在记录图像数据时进行的灰度校正和白平衡校正的校正处理、以及增加或减少构成图像的像素的数量的放大或缩小处理(即,调整大小处理)。
内置存储器9是用作执行控制处理的CPU14的工作区的存储装置,或者用作用于存储预定量的照片图像数据的存储器。
作为可以可拆卸地安装到数字摄像机1上的记录介质的外部存储器10是用于记录数字摄像机1拍摄的静止画面或表示运动画面的图像数据的存储用记录介质。作为示例,外部存储器10是诸如极限数字(xD)卡、Smart Media(注册商标)和Compact Flash(CF)(注册商标)的存储卡。外部存储器10通过连接至数字摄像机1而与其交换数据。
外部I/F 11是用于根据规定的通信标准而连接至外部设备的接口。规定的通信标准包括有线通信标准(包括通用串行总线(USB)等其他标准)或无线通信标准(包括红外数据协会(IrDA)等其他标准)。
压缩/扩展单元12对图像数据施加压缩处理和扩展处理(例如,联合图像专家组(JPEG)系统)以记录和重放该图像数据。
作为使得能够电重写操作的非易失性存储器的Flash ROM 13除了存储由CPU14执行的摄像机控制程序之外还存储根据本实施方式的程序数据、图标数据、在摄像机控制程序的执行过程中使用的各种数据、通过执行规定的操作选择的图像(即,登记的图像)、图标图像。
CPU14读取并执行ROM13中存储的规定摄像机程序,从而控制数字摄像机1的整体。CPU14通过读取根据本发明的实施方式的程序来执行稍后描述的处理。CPU14的控制中的与显示有关的控制功能称作显示控制单元15。
操作单元16是一系列按钮等,用于从拍摄者接收各种指令并将这些指令通知CPU14。操作单元16例如包括转盘、菜单按钮、XY操作按钮、OK按钮和缩略图选择按钮。对操作单元16的操作还包括在触摸屏上的操作。
菜单按钮用于使得能够在显示单元7中显示菜单的指令。XY按钮用于使得能够对在显示单元7中显示的各种项、图像等进行选择。OK按钮用于使得能够对所选的项和图像进行确定和指示。转盘用于转换摄像机的操作模式。
GPS 17是用于检测纬度和经度的装置。气压计18是用于测量大气压力的装置。麦克19是用于检测声音并在接收到声音(例如,语音和环境噪声)时将其转换成电信号的装置。
总线20用于连接至电路(和机构),以使CPU14控制各种电路和机构。
图2示出了在根据本实施方式的数字摄像机中存储的图像数据文件的管理结构。在数字摄像机1中,Flash ROM13、内置存储器9或外部存储器10中的任一个存储有作为处理的对象的文件(例如,图像数据及其辅助数据)。
如上所述,数字摄像机1拾取的(即,摄像的)图像存储在内置存储器9或外部存储器10中的任一个中。在这种情况下,按隶属于相应存储单元内的图像根文件夹的方式管理存储的图像。图像根文件夹是存储图像数据文件的根文件夹,图像数据文件(例如,以JPEG格式)存储在该根文件夹下。
如稍后所描述的,Flash ROM13对在外部存储器(即,xD卡、CF卡、SD卡等)中选定的图像的副本进行登记。将在Flash ROM13中登记的图像命名为“登记图像E”。取决于存储容量,登记图像E的数据大小与原始图像的数据大小相似,或者登记图像E可以是缩小图像。登记图像E不与原始图像相链接。登记图像E用于在Flash ROM13(即,闪存)中进行登记,因此登记个数针对允许登记的存储容量的限制是有限的。
图3示出了在Flash ROM13中对存储在内置存储器9或外部存储器10中的图像进行登记的流程。首先,用户使用操作单元16使显示单元7显示存储在内置存储器9或外部存储器10中的图像,并在参照所显示的图像的同时选择任一图像(步骤1;下文中称作“S1”)。
可以通过重复S1的操作来选择多个图像(S2)。在完成图像选择时,用户通过操作操作单元16从菜单中选择“登记”(S3)。
CPU14判断选定图像是否在预定有限个数内(S4)。如果判断结果为选定图像在预定有限个数内(即,转到S4中的“是”),则CPU14将选定图像组存储在Flash ROM13中(S5)。然后,CPU14使显示单元7显示注释“现在登记图像”(S6)。
相反,如果判断结果为选定图像超过预定有限个数(即,转到S4中的“否”),则CPU14使显示单元7显示注释“不能再登记”(S7)。
图4(即,图4A、图4B、图4C和图4D)示出了根据本实施方式的搜索源图像与搜索对象图像的关系。图4A示出了以下情况:从FlashROM13中登记的多个登记图像E中选择一个图像,并通过使存储在内置存储器9和/或外部存储器10中的图像作为搜索对象,来搜索与选定图像有关的图像。
图4B示出了以下情况:从存储在外部存储器10中的图像中选择一个图像,并通过使存储在内置存储器9和/或外部存储器10中的图像作为搜索对象来搜索与选定图像有关的图像。应注意,该结构使得将从内置存储器9和外部存储器10中搜索到的并被分组的图像以对从外部存储器10中搜索到的图像赋予较高优先级的方式显示在显示单元7中。
图4C示出了以下情况:从存储在内置存储器9中的图像中选择一个图像,并通过使存储在内置存储器9和/或外部存储器10中的图像作为搜索对象来搜索与选定图像有关的图像。
图4D示出了以下情况:从拍摄的图像(即,存储在Flash ROM13、内置存储器9或外部存储器10中的图像;下文中有时简称为“照片图像”)中选择一个图像,并通过使存储在除数字摄像机之外的介质(例如,数据服务器31等)中的图像作为搜索对象、经由网络30(例如,互联网、局域网(LAN)、广域网(WAN))来搜索与选定图像有关的图像,并通过使存储在除数字摄像机之外的介质(例如,个人计算机(PC)32等)中的图像作为搜索对象、经由无线电电信(简称为“电信”)33来搜索与选定图像有关的图像。
图5例示了根据本实施方式的内置存储器9或外部存储器10中管理的图像文件结构。单个图像文件40由“属性信息”41、“主图像”数据42、“索引显示用缩略图图像”数据43和“单帧显示用图像”数据44构成。
“属性信息”41是指诸如拍摄日期和时间、拍摄条件、拍摄环境等的数据。“主图像”数据42是指照片图像数据。“索引显示用缩略图图像”数据43是作为减小“主图像”的信息量以用作缩略图图像的结果的图像数据。
“单帧显示用图像”数据44是指作为减小“主图像”的信息量以使显示单元7按单帧显示模式进行显示的结果的图像数据,即,QVGA图像(即,分辨率为320×240像素的图像数据)。“单帧显示用图像”数据44是构成稍后描述的搜索对象的图像数据。
当在内置存储器9与外部存储器10之间复制或移动图像数据时,以图像文件为单位进行该复制或移动。当从内置存储器9或外部存储器10向Flash ROM13登记图像数据时,以按照作为去除主图像数据的结果的数据结构构成的图像文件为单位进行该登记。应注意,主图像数据可以取决于Flash ROM13的允许存储容量而被包括在内。
图6示出了根据本实施方式的图像搜索的概要。左侧由虚线围起的部分50表示用户的操作。右侧由虚线围起的部分表示数字摄像机1的操作。
下面通过例示针对图4描述的搜索类型中的图4A来进行描述。
首先,用户操作操作单元16以使显示单元7显示Flash ROM13中的登记图像E。在这种情况下,登记图像E可以按单帧显示模式(51)或索引显示模式(52)显示,如图16所示。
然后,用户通过使用操作单元16,执行基于按单帧显示模式显示的图像51或者在按索引显示模式显示的图像组52中选择的图像来提取图像的特征的操作(53)。即,对选定图像内的哪个特征要用作对图像进行分组的基础进行选择。
用于提取图像的特征的方法包括:(i)基于图像搜索范围的提取方法,(ii)通过与辅助信息相组合的提取方法,以及(iii)通过对特征进行指定的图像提取方法。下面描述这些方法:
(i)基于图像搜索范围的提取方法用于指定使图像的搜索范围为图像的整体还是图像的一部分。在使图像的搜索范围为图像的整体的情况下,用于提取特征的方法包括整个图像的颜色、在图像表示人的情况下对人脸的识别、对图像中的物体(例如,地平线、圆柱体、汽车等)的识别、或者对另一图像的特征(例如,对比度等)的识别。
作为用于在使图像的搜索范围为图像的一部分的情况下提取特征的方法,可以提取选定部分的特征作为与使图像的搜索范围为图像的整体的情况相似的部分(即,作为通过操作操作单元16而用框围起的图像的一部分、通过操作触摸屏而围起规定部分或画出规定部分轮廓的结果的部分)。还可以进行针对选定部分的特征检测。还使数字摄像机能够对该部分进行预分析,提取可提取的特征,并将提取的特征作为搜索对象的候选呈现给用户,从而使用户能够从候选中选择搜索对象的特征。
(ii)通过与辅助信息相组合的提取方法是用于通过将图像数据与图像数据的辅助信息(即,图5中所示的属性信息41)相组合来提取图像的方法。图像数据的辅助信息包括进行拍摄时周围的声音和语音、拍摄日期和时间、拍摄地点(即,纬度和经度)、高度信息(即,海拔和水深)。这些辅助信息是从装在数字摄像机中的GPS17、气压计18、麦克19等获得的,并作为图像文件40的属性信息与图像数据一起存储。这些辅助信息也可以作为提取的对象来进行处理。
(iii)通过对特征进行指定的图像提取方法是用于选择要构成由数字摄像机呈现的搜索对象的特征的候选的方法。这种方法中的一种是“从菜单候选中进行选择”的方法。在该“从菜单候选中进行选择”的方法中,在数字摄像机1中预设要构成具体搜索对象的特征的候选(即,菜单候选),并将菜单候选呈现给用户以使用户从菜单候选中选择要提取的特征。
另一种方法是“从基于图像识别的候选中进行选择”的方法。在该“从基于图像识别的候选中进行选择”的方法中,数字摄像机1对选定图像进行预分析,提取尽可能多的可提取特征,并将提取的特征作为搜索对象候选呈现给用户以使用户能够从这些候选中选择要构成搜索对象的特征。
因此,使用户能够将通过特征提取而获得的特征作为搜索条件以进行分组。然后,用户将搜索执行指令(INPUT)作为搜索条件给予数字摄像机1。
在数字摄像机1处,从内置存储器9和/或外部存储器10中搜索与输入的搜索条件相匹配的图像(54)。数字摄像机1使显示单元7将与搜索条件相匹配的图像作为同一组来进行显示(55)。
图7例示了根据本实施方式的基于输入图像的各自特征而分组在一起的输出图像。INPUT图像60相当于按单帧显示模式显示的图像51或从按索引显示模式显示的图像组52中选择的单个图像,其中的任一个示出在图6中。这里假设:用户选择由虚线61围起的人,对脸进行图像识别,并将识别出的脸作为INPUT图像60的搜索条件。这促使数字摄像机1使显示单元7显示如组A中所示的图像64和65来作为来自内置存储器9和/或外部存储器10的与搜索条件相匹配的图像组。
另一假设是:用户选择由虚线62围起的房子,对该图像进行图像识别,并将识别出的房子作为INPUT图像60的搜索条件。这促使数字摄像机1使显示单元7显示如组B中所示的图像66和67来作为来自内置存储器9和/或外部存储器10的与搜索条件相匹配的图像组。
再一假设是:用户选择由虚线63围起的山脊线,对该图像进行图像识别,并将识别出的山脊线作为搜索条件。这促使数字摄像机1使显示单元7显示如组C中所示的图像68和69来作为来自内置存储器9和/或外部存储器10的与搜索条件相匹配的图像组。
图8例示了根据本实施方式的组管理表。组管理表59是用于管理利用同一特征搜索到的并被分组的图像的表,并且组管理表59临时创建在图像缓冲存储器5中。
组管理表59由数据项构成,即,“组ID”59a、“搜索源图像文件名”59b、“搜索到的图像文件名”59c、“拍摄日期和时间”59d和“存储位置”59e。
“组ID”59a存储用于唯一地管理组的ID。“搜索源图像文件名”59b存储搜索源图像的文件名。“搜索到的图像文件名”59c存储搜索到的图像的文件名。“拍摄日期和时间”59d存储由“搜索到的图像文件名”59c指定的图像的拍摄日期和时间。“存储位置”59e存储由“搜索到的图像文件名”59c指定的图像的存储目的地(即,内置存储器9或外部存储器10)。
在通过使用从搜索源图像中提取的特征作为搜索条件进行搜索之后,如果作为结果存在与搜索条件相匹配的图像,则将搜索到的图像中的每一个的记录添加到组管理表59中。
接下来通过参照图9至图13中所示的流程图来详细描述针对图6和图7所描述的内容。在图像搜索的流程中,存在基本型(参照图9)和应用型(参照图11)。基本型图像搜索流程是以下流程:通过从数字摄像机1中静态设置的搜索菜单中指定搜索条件来提取搜索源图像的特征,并搜索拥有与提取的特征相同的特征的图像,而与搜索源图像的特征无关。相比较而言,应用型搜索流程是以下流程:基于根据搜索源图像的特征的搜索菜单,来搜索拥有与提取的特征相同的特征的图像。
图9示出了根据本实施方式的图像搜索的流程(即,基本型)。首先,用户通过操作操作单元16执行对搜索条件的初始设置(S11)。在这种情况下,在数字摄像机1中预设搜索条件(即,基于日期、面部识别、形状、颜色等来搜索图像的条件,搜索范围的指定,以及辅助信息的组合)作为菜单,因此用户通过操作操作单元16从显示单元7中显示的菜单中对使用哪个搜索条件来搜索进行选择。还对针对所存储的图像要将哪个记录介质(即,Flash ROM 13、内置存储器9、外部存储器10等)设置为搜索对象进行设置。
然后,用户选择搜索源图像作为搜索基准(S12)。这里,显示单元7显示用于对(1)登记图像、(2)存储在外部存储器10中的图像或(3)存储在内置存储器9中的图像中的哪个图像要成为搜索源图像进行选择的图像,因此用户从任一存储单元中选择一个图像(S13)。
在选择一个搜索源图像之后,用户执行以下操作:通过在显示单元7中进行确认的同时对操作单元16执行规定操作来提取搜索源图像的特征(S14)。稍后将描述特征提取的细节。
然后,数字摄像机1的CPU14通过使用通过S14中的操作获得的搜索源图像的特征作为搜索条件从在S11中选定的记录介质中搜索与搜索条件相匹配的图像组,并且如果搜索到图像,则对他们进行分组(S15)。在进行分组时,将与检测到的图像相对应的记录添加到如针对图8所描述的组管理表70中。
如果作为S15中的搜索的结果,存在与搜索条件相匹配的图像组(进行到S16中的“是”),则显示控制单元15使显示单元7将该图像组作为同一组进行显示(S17)。
相反,如果作为S15中的搜索的结果,不存在与搜索条件相匹配的图像组(进行到S16中的“否”),则显示控制单元15使显示单元7显示表示“不存在有关图像”的注释(S18)。
图10示出了S14的特征提取操作的详细流程。如针对图6(和S12)所描述的,用户操作操作单元16从而使显示单元7显示搜索源图像。在这种情况下,搜索源图像可以按单帧显示(51)或索引显示(52)来显示。在索引显示(52)的情况下,要求用户操作操作单元16来选择任一个图像作为搜索源图像。
然后,如果在S11中针对搜索源图像指定了搜索范围(进行到S21中的“是”),则使得用户能够通过操作操作单元16来指定图像的一部分作为搜索范围(S22)。在这种情况下,使得用户能够通过操作操作单元16而用框围起图像的一部分、通过触摸屏操作来围起规定部分或画出规定部分的轮廓来指定搜索范围。这样指定搜索范围的原因是:在将多个搜索范围设置为特征提取条件的情况下,由于针对每个条件对指定图像区扫描一次,因此通过将扫描范围减小到最小来提高提取处理的处理速度的效率。
如果在S11中没有针对搜索源图像指定搜索范围(进行到S21中的“否”),则将用于从搜索源图像中提取特征的搜索范围设置为搜索源图像的整个范围。
然后,如果在S11中设置了通过与辅助信息相组合的图像搜索(进行到S23中的“是”),则用户通过操作操作单元16选择显示单元7中显示的搜索源图像的属性信息(例如,语音信息、日期信息、地点信息和海拔(或水深))的要添加到搜索条件中的项(S24)。
然后,在搜索目的地的搜索介质中缩减(narrow down)搜索对象中的与在S24中选定的辅助信息的条件相匹配的图像(S25)。该处理的原因是:由于通过使用辅助信息作为搜索条件的搜索比通过图像识别的图像提取快得多,因此通过缩减搜索对象图像来减少搜索对象图像的数量。
同时,如果在S11中没有设置通过与辅助信息相组合的图像搜索(进行到S23中的“否”),则本处理结束。
图11示出了根据本实施方式的图像搜索的流程(应用型)。首先,用户通过操作操作单元16来执行对搜索条件的初始设置(S30)。这里,在数字摄像机1中预设搜索条件(即,搜索范围的指定和辅助信息的组合)作为菜单,因此用户通过操作单元16从显示单元7中显示的菜单中选择搜索条件中的任一个。还将对存储在存储介质(即,Flash ROM13、内置存储器9、外部存储器10等)中的任一个中的图像的选择作为搜索条件进行设置。
然后,用户选择搜索源图像作为搜索基准(S31)。这里,显示单元7显示一图像屏面,该图像屏面用于选择(1)登记图像、(2)存储在外部存储器10中的图像或(3)存储在内置存储器9中的图像中的任一个图像作为搜索源图像,因此用户从任一存储介质中选择一个图像(S32)。
在选择一个搜索源图像之后,用户操作操作单元16从而使数字摄像机1执行针对搜索源图像的特征提取(S32)。在这种情况下,如果数字摄像机1不包括条件候选输出功能,则处理进行到该图左侧的处理路线(即,S34和S35),然而如果其包括上述功能,则处理进行到该图右侧的处理路线(即,S36至S38)(S33)。
这里,条件候选输出功能是指已针对图6中所示的用于提取图像特征的操作(53)内的段(iii)中所描述的方法进行了描述的“从基于图像识别的候选中选择”。应注意,左侧的处理路线(即,S34和S35)是指已针对图6中所示的用于提取图像特征的操作(53)内的段(iii)中所描述的方法进行了描述的“从菜单候选中进行选择”。
如果摄像机不包含条件候选输出函数(进行到S33中的“否”),则对搜索源图像进行特征提取操作(S34)。特征提取操作的细节与图10的情况相似。
在S34的操作之后,在显示单元7中仅显示构成对数字摄像机1预先指定的搜索对象的特征的候选与在S34中提取的特征之间的交叠特征作为搜索项的候选,因此用户从搜索项的候选中选择构成提取的对象的特征(S35)。稍后将通过参照图12来描述S35的细节。在S35之后,处理进行到S39。
相反,如果摄像机包含条件候选输出功能(进行到S33中的“是”),则对搜索源图像进行特征提取操作(S36)。特征提取操作的细节与图10的情况相似。
在S36的处理之后,数字摄像机1的显示控制单元15使显示单元7显示通过由S36中的特征提取得到的通过图像识别获得的所有特征作为搜索条件候选(S37)。稍后将通过参照图13来描述S37的细节。
用户通过操作操作单元16从在S37中显示的搜索对象候选中选择特征(即,搜索项)以使其作为搜索对象(S38)。S38的处理后面接着S39。
在完成S35或S38时,数字摄像机1的CPU14从在S30中选择的存储介质中搜索与搜索条件(使通过S35或S38的操作获得的搜索源图像的特征成为该搜索条件)相匹配的图像组,并且如果搜索到图像,则将它们分组(S39)。在对图像进行分组时,将与检测到的图像相对应的记录添加到如针对图8所描述的组管理表7中。
如果作为S39的搜索结果,存在与搜索条件相匹配的一个或多个图像组(进行到S40中的“是”),则显示控制单元15使显示单元7将所述图像组作为同一组进行显示(S41)。
相反,如果作为S39的搜索结果,不存在与搜索条件相匹配的图像组(进行到S40中的“否”),则显示控制单元15使显示单元7显示表示“不存在有关图像”的注释(S42)。
图12示出了S35的处理的详细流程。数字摄像机1的CPU14对在S32中选择的搜索源图像进行图像识别(即,S34的特征提取操作)。数字摄像机1的CPU14在作为图像识别的结果而获得的特征中判断与在数字摄像机1中预设的搜索项候选(例如,字符检测、颜色检测、面部检测、物体检测、地平线检测、对比度检测、被摄体检测等)相匹配的特征项。CPU14的显示控制单元15使显示单元7显示匹配项作为搜索项候选(S51)。
用户从在显示单元中显示的搜索项候选中选择搜索项以使其作为搜索条件(S52)。
图13示出了S37的处理的详细流程。数字摄像机1的CPU14检测搜索源图像的面部图像(S61)。这里,面部图像是指包括在搜索源图像中的描绘人脸的图像区。可以基于人脸的各部分的位置信息使用普通算法通过图像识别来识别面部图像。作为示例,通过检测色调识别肤色并检测出所识别部分的轮廓(例如,对形状进行识别,即,轮廓的形状是否为圆的)。然后根据颜色和对比度来判断形状被识别出的部分中是否存在眼睛。进一步根据眼睛的间隔(即,它们的距离)以及嘴和阴影如何形成来对视野方向的朝向进行判断。应注意,脸的各部分的位置信息存储在Flash ROM13中。
如果从搜索源图像中检测到面部图像(进行到S61中的“存在面部图像”),则CPU14限制下一图像搜索范围(S62)。对下一图像搜索范围的限制是指将在通过下一图像识别进行的特征提取的图像搜索时的搜索范围从整个图像区限定成除了在S61中检测到的图像区以外的图像区。该结构使得可以提高搜索速度。因此,S63的字符检测在除了在S61中检测到的图像区以外的范围中进行搜索。
如果没有从搜索源图像中检测到面部图像(进行到S61中的“不存在面部图像”),或者如果S62完成,则CPU14从搜索源图像中检测字符的检测图像(S63)。这里,字符图像是指包括在搜索源图像中的形成字符的图像区。例如,字符检测可以通过与在Flash ROM13中预先登记的字符图案进行检对来识别字符图像。作为示例,在摄像机内预先存储(日文、英文等的)字符形状图案。通过从图像的整体逐渐缩窄到图像的一部分并通过放大或缩小字符形状图案来进行对与预先存储的字符形状图案的一致性的搜索。图案检测还检测诸如颜色和边缘的元素。
如果从搜索源图像中检测到字符图像(进行到S63中的“存在字符图像”),则按与S62中相同的方式限定下一图像搜索的范围(S64)。
如果没有从搜索源图像中检测到字符图像(进行到S63中的“不存在字符图像”),或者如果S64完成,则进行形状图案检测(S65)。这里,使形状图案检测能够与色调检测和对比度检测相组合。作为示例,可以基于亮度值的高度差来提取物体的轮廓。关于形状图案检测,如果在S62和S64中限定了图像搜索范围,则在限定的范围中进行检测,而如果没有限定图像搜索范围,则针对图像的整体进行检测。作为示例,对从原始图像中识别出的形状图案进行临时存储,并生成搜索对象图像的整个图像轮廓。通过从轮廓被检测到的搜索对象图像的整体逐渐缩窄到其一部分并通过放大或缩小形状图案来进行对与临时存储的形状图案的一致性的搜索。
接下来从显示单元7的显示方面和对操作单元16进行操作的情况的角度来描述上述内容。
图14(即,图14A、图14B和图14C)示出了在根据本实施方式的数字摄像机不在本处理之前进行对搜索基准图像的图像识别时搜索指示操作的情况。图14示出了与图9中所示的图像搜索的(基本型)流程相对应的搜索指示操作的情况。应注意,该流程同样适用于与图11的右侧的处理路线(即,S34和S35)相对应的搜索指示操作。
图14A示出了从候选菜单中选择搜索条件的情况。首先,用户选择构成搜索源图像的一个图像70。然后,用户对操作单元16的规定键进行操作,从而使显示单元7显示搜索条件候选(即,字符识别、日期、颜色搜索和形状识别)的菜单71。
例如,用户通过操作单元16的键操作从菜单71中显示的候选中选择“日期”并按确定键。这促使执行使用与搜索源图像的拍摄日期相同的日期的搜索。并且,检测到与搜索条件相匹配的多个图像并将它们作为搜索结果图像72进行显示。
图14B示出了从以图标显示的候选菜单中选择搜索条件的情况。首先,用户选择构成搜索源图像的一个图像70。然后,用户操作操作单元16上的规定键,从而使显示单元7显示由通过图来描绘搜索条件的图标(即,形状识别的图标76、面部图像识别的图标77、拍摄位置(纬度和经度)的图标78、颜色识别的图标79和(针对海拔和水深的)高度计/压力计的图标80)构成的显示菜单75。在这种情况下,搜索源图像70以尺寸缩小的方式显示在显示框73的右上角。将图14中所示的所有搜索条件、菜单和图标均预存储在Flash ROM13中。
同时,可以通过移动与在以尺寸缩小的方式显示在显示框73的右上角的搜索源图像70上显示的光标81相链接的光标74来选择图标。因此,光标74对(面部图像识别的)图标77的选择使光标81显示在构成面部识别的对象的图像区中。
然后,用户通过操作单元16上的键操作从图标显示菜单75的候选中选择例如(面部图像识别的)图标77并按确定键。这促使数字摄像机1通过使用作为对在搜索源图像中通过光标81选择的图像区的图像识别的结果的脸作为搜索条件来执行搜索。然后,检测到与搜索条件相匹配的多个图像并作为搜索结果图像72对它们进行显示。
图14C示出了从辅助信息中选择搜索条件的情况。首先,用户选择构成搜索源图像的一个图像70。然后,用户操作操作单元16上的规定键,从而使显示单元7显示该搜索源图像的辅助信息(即,属性信息)。
例如,用户通过操作操作单元16上的键从显示的辅助信息中选择辅助信息“ISO400”(即,ISO感光度值)。应注意,另选的结构可以使得通过触摸屏83和触摸笔84来选择辅助信息。在这种情况下,该结构使得:触摸笔84与在显示有所选辅助信息的触摸屏83中显示的图像的接触使光标击中。
这促使通过使用与搜索源图像的ISO感光度值相同的ISO感光度值来执行搜索。并且,检测到与搜索条件相匹配的多个图像并作为搜索结果图像72对它们进行显示。
图15(即,图15A、图15B和图15C)示出了在根据第一实施方式的数字摄像机在本处理之前进行对搜索基准图像的图像识别时搜索指示操作的情况。图15示出了与图11的右侧的处理路线(即,S36至S38)相对应的搜索指示操作的情况。
图15A示出了从选择候选中选择搜索条件的情况。首先,用户选择构成搜索源图像的一个图像90。这促使数字摄像机1的条件候选输出功能从搜索源图像90中自动提取有可能构成搜索条件的特征,并使提取的特征作为选择候选来显示。
对于选择候选的显示方法,例如可以由相应的虚线框围起提取搜索源图像90中的特征的各个区,如图15A所示。框91是通过进行形状识别来提取山脊线的结果。框92是通过进行对招牌中的字符“食品杂货店”的字符识别来提取特征的结果。框93是通过进行对人脸的图像识别来提取特征的结果。
可以通过操作触摸屏或键将框91、框92或框93中的任一个设置为搜索条件。在使用触摸屏的情况下,例如,用触摸笔94接触由框93围起的区而使光标击中框93,从而选择框93。同时,在使用键操作的情况下,例如,对操作单元16的XY操作按钮的操作使光标移动到框93来选择框93。
然后,基于通过触摸屏操作或键操作而选定的框来执行搜索。并且,检测到与搜索条件相匹配的多个图像并作为搜索结果图像95对它们进行显示。
图15B示出了基于形状识别设置搜索条件的情况。首先,用户在触摸屏中选择构成搜索源图像的一个图像90。
然后,用户对期望由数字摄像机1对其应用形状识别的部分的轮廓进行描画,或者用触摸笔94绘制围起该部分的框。
然后,基于通过触摸屏操作或键操作而选定的框来执行搜索。并且,检测到与搜索条件相匹配的多个图像并作为搜索结果图像95对它们进行显示。
图15C示出了针对各搜索项的代表性结果显示方法的情况。该方法是对图15A的方法进行扩展的结果。根据图15A,数字摄像机1的条件候选输出功能从搜索源图像90中自动提取有可能构成搜索条件的特征,然而,接着不通过显示提取的候选来进行搜索。相反,图15C的方法被构造成执行对提取的各个特征的进一步搜索并与描绘相应搜索条件的图标一起显示搜索结果图像的一部分。
首先,用户在触摸屏中选择构成搜索源图像的一个图像90。然后,在操作一键时,数字摄像机1的条件候选输出功能从搜索源图像90中自动提取有可能构成搜索条件的特征,接着执行针对各个提取的特征的搜索。
在完成搜索时,搜索源图像90的缩图以尺寸缩小的方式显示在显示框96的左上角。然后,以使描绘可应用的搜索条件的各个图标97与利用该搜索条件搜索到的图像的一部分98彼此相关的方式以记录格式对它们进行显示(应注意:将存在由图标97的号码表示的作为搜索结果的记录)。这里显示的搜索到的图像的一部分98是指针对各搜索条件的代表性候选图像(例如,作为按日期的降序或升序对通过搜索而获得的图像进行分类的结果的、以最近日期或最早日期开始的三个图像)。
当用光标99选择显示的记录中的任一个时,仅显示基于所选的搜索条件的图像组作为搜索结果图像95。
接下来对在执行搜索之后在选择搜索源图像时显示单元16中显示的显示有可能构成搜索条件的特征的图像的显示模式的变化进行描述。
图16(即,图16A和图16B)例示了根据本实施方式的在选择搜索源图像时的显示模式。图16A示出了单帧显示模式。图16B示出了索引显示模式。
参照图16A,单帧显示模式显示针对图5所描述的文件结构的“单帧显示用图像”44的图像。
图16B按3行3列(下文中简称为“3×3”)索引显示方法进行显示。在这种情况下,显示针对图5所描述的“索引显示用缩略图图像”43。在操作单元16上移动光标100使得可以选择各个图像。
图17(即,图17A、图17B和图17C)例示了根据本实施方式的搜索条件候选显示模式。图17A示出了通过搜索项候选的字符或描绘搜索条件的图标来显示有可能构成搜索条件的特征的模式。图17A是与图14A的在选择搜索条件时的显示模式等同的显示模式,显示搜索条件的候选菜单101。
图17B示出了通过框线来指示搜索点的候选的显示模式。图17B是与图15A的在选择搜索条件时的显示模式等同的显示模式。对框线的光标102的移动使得能够选择构成搜索条件的图像区。在选择时,框线的显示方式从虚线改变成实线。
图17C示出了其中用户所描画的点构成搜索候选的显示模式。图17C是与图15B的在选择搜索条件时的显示模式等同的显示模式。图17C例示了用触摸笔104描画的触摸屏105中显示的图像中的山脊线103的情况。
图18(即,图18A、图18B、图18C和图18D)示出了根据本实施方式的代表性结果显示模式。图18是按针对图15C所描述的代表性结果显示方法进行显示的模式的另一显示示例。
图18A按单帧显示模式显示搜索源图像,在下部的水平行上显示有五个代表性候选图像的缩略图图像110。图18B按单帧显示模式显示搜索源图像,在右边缘的垂直列上显示有五个代表性候选图像的缩略图图像110。
图18C按索引显示模式显示搜索源图像,在下部的水平行上显示有五个代表性候选图像的缩略图图像110。
图18D按索引显示模式显示搜索源图像,按围绕用光标选定的搜索源图像的方式显示有六个代表性候选图像的缩略图110。
图18中所示的代表性结果显示模式例如显示与搜索条件相匹配的图像中的具有最近日期的三个图像,这是由于该搜索条件是通过根据图9中所示的基本流程图的初始设置(S11)而唯一确定的。在图11中所示的应用型流程中,显示数字摄像机1的(多个)搜索条件以及搜索结果的代表性图像。
图19(即,图19A、图19B、图19C和图19D)示出了根据本实施方式的分组结果显示模式。图19是用于对作为通过使用搜索源图像的特征作为搜索条件进行搜索的结果而获得的图像组进行显示的模式。
图19A示出了按单帧显示模式(部分1)显示搜索结果图像的情况。按单帧显示搜索结果图像121,并且对操作单元16的操作使得可以显示利用同一搜索条件搜索到的另一图像(即,同一组中的图像)的重放。应注意,在显示框的左下部示出搜索源图像的缩略图图像120。
图19B示出了按单帧显示模式(部分2)显示搜索结果图像的情况。如同翻开的书页一样显示搜索结果图像122,在其他方面与图19A相似。
图19C示出了按索引显示模式(部分1)显示搜索结果图像的情况。在索引显示123中显示搜索结果图像,并且对操作单元16的操作使得可以将光标移动到利用同一搜索条件搜索到的其他图像。应注意,搜索源图像的缩略图图像120在显示框的左下部。
图19D示出了按索引显示模式(部分2)显示搜索结果图像的情况。按稍微偏移的形式显示索引显示124的各个缩略图图像,在其他方面与图19C相似。
本实施方式使得可以提取选定图像的各种特征,通过使用提取的各特征作为搜索条件来搜索存储在另一存储介质中的图像,并对这些图像进行分组。这种结构使得能够实现能够基于各种特征对存储在存储介质中的图像进行分组的相册功能。
概括以上描述,本实施方式使得可以基于各种搜索参数将一组图像作为一集相册来显示。还使得能够根据含糊的要求来浏览图像的能力。
因此使得可以浏览与基于图像的要求相匹配的图像。
<第二实施方式>
根据本发明第二优选实施方式的摄像机是一种能够简单且容易地搜索期望图像的摄像机,具体地说,是一种能够基于显示的图像通过简单的操作从存储的图像中搜索期望图像并对其进行显示的摄像机。
图20是作为根据本实施方式的摄像机的数字摄像机的框图。
参照图20,拍摄透镜201在成像元件202上形成被摄体像。成像元件202通过对利用拍摄透镜201的功能而形成在成像元件202上的被摄体像应用光电转换来输出表示图像的电信号。成像元件202例如是由CCD或CMOS(互补型金属氧化物半导体)构成的图像传感器。
包括用于降低噪声分量的CDS、用于稳定信号电平的AGC和用于将模拟电信号转换成数字电信号的A/D转换器的成像单元203降低从成像元件202输出的模拟电信号的噪声分量、稳定信号电平、将该模拟信号转换成数字电信号并将其输出。
图像缓冲存储器204用作作为用于从成像单元203输出的数字电信号的图像数据的、用于图像处理单元205进行的各种图像处理的处理中的图像数据的、以及由搜索单元206搜索到的图像的帧信息的临时存储器。图像缓冲存储器204例如是同步动态随机存取存储器(SDRAM)。
图像处理单元205执行各种图像处理,例如,用于记录和重放图像数据的图像数据的压缩/扩展处理(例如JPEG系统),校正处理(例如,在记录图像数据时执行的灰度校正和白平衡校正),以及增加或减少构成图像的像素数的放大/缩小处理(即,调整大小处理)。
搜索单元206进行通过使用登记的喜爱的图像中的一个(即,用于成为搜索源图像的图像)来搜索基于喜爱的图像的特征部分及其辅助信息的图像的处理,并将搜索到的图像的帧信息存储在图像缓冲存储器204中。
GPS207测量纬度和经度。气压计/深度计208测量大气压力和水深。麦克风(麦克)(即,声音记录单元)209将声音转换成电信号。
显示处理单元210执行根据作为图像处理单元205应用图像处理的结果的图像数据而生成可由显示单元211显示的视频图像信号并将该视频图像信号输出给显示单元211的处理。这使显示单元211能够基于视频图像信号来显示视频图像。显示单元211例如是液晶显示器(LCD)、触摸屏型LCD、有机电发光(EL)显示器等。
内置存储器212是本数字摄像机中内置的记录介质,并且是记录表示图像的图像数据(例如,JPG数据)的存储用记录介质。内置存储器212例如是作为使得可以进行电重写的非易失性存储器的Flash ROM。
外部存储器213是可以可拆卸地安装到本数字摄像机上的记录介质,并且是记录表示照片图像的图像数据(例如,JPG数据)的存储用记录介质。外部存储器213是诸如xD卡、Smart Media(注册商标)、Compact Flash(注册商标)等的存储卡。
外部I/F 214是用于通过规定有线通信标准连接至外部设备的接口。规定有线通信标准包括USB及其他有线通信标准。
电信I/F 215是用于通过规定无线电电信标准连接至外部设备的接口。规定无线电电信标准是指IrDA及其他无线电电信标准。
Flash ROM216是使得可以进行电重写的非易失性存储器,并且存储由CPU217执行的摄像机程序之外还存储在执行摄像机程序的处理中使用的各种数据。当搜索单元进行搜索时,Flash ROM216还存储有可能构成搜索源的喜爱的图像的图像数据。
CPU217读取并执行存储在Flash ROM216中的摄像机程序,从而控制本数字摄像机的整体操作。CPU217还通过执行摄像机程序来进行显示控制,从而实现显示控制单元217a。CPU217还通过执行摄像机程序来进行对图像的读出控制,从而实现读出控制单元217b。
操作单元218是用于从用户(例如,拍摄者)接收各种指令并将这些指令通知CPU217的一系列按钮。操作单元218例如包括稍后描述的快门按钮、变焦按钮、MENU(菜单)按钮、模式转盘、Up/Down/Left/Right(上/下/左/右)按钮以及OK(确认)按钮。对操作单元218的操作包括通过触摸屏进行的操作。
图21是根据本实施方式的数字摄像机的后视图。
参照图21,TFT221是显示单元211的显示屏。快门按钮222是用于指示拍摄的按钮。变焦按钮223是用于指示变焦成广角或远摄的按钮。MENU按钮224是用于给出诸如使TFT221显示各种菜单以及返回到能够执行图像搜索的状态的指令的按钮。模式转盘225是用于设置诸如拍摄模式、重放模式(作为普通重放模式的示例)、喜爱的登记模式(作为搜索图像登记模式的示例)、喜爱的重放模式(作为搜索图像重放模式的示例)、编辑模式和电信模式的一系列操作模式中的任一操作模式的转盘。Up/Down/Left/Right按钮226是用于给出诸如使TFT221中显示的光标移动和使TFT221中显示的图像的帧前进的指令的按钮。OK按钮227是用于给出诸如从TFT221中显示的选择项中进行选择、确定所选图像、搜索图像等的指令的按钮。
接下来描述根据本实施方式的数字摄像机的操作。
图22是示出根据本实施方式的数字摄像机的基本操作的流程图。当接通电源开关(这里图中未示出)时该流程开始。
在开始该流程时,如图22所示,进行规定通电(Pwr On)处理(步骤201;下文中简称为“S201”)。
判断模式转盘225是否设定了拍摄模式(S202)。这里,如果判断结果为“是”,则处理进行到使得能够拍摄图像的拍摄模式(S203)。
如果S202的判断结果为“否”,则判断模式转盘225是否设定了重放模式(S204)。这里,如果判断结果为“是”,则处理进行到使得能够重放图像的重放模式(S205)。
如果S204的判断结果为“否”,则判断模式转盘225是否设定了喜爱的登记模式(S206)。这里,如果判断结果为“是”,则处理进行到使得能够登记喜爱的图像的喜爱的登记模式(S207)。尽管稍后将详细描述,但该处理进行诸如对有可能构成用于搜索图像的搜索源的喜爱的图像的登记。
如果S206的判断结果为“否”,则判断模式转盘225是否设定了喜爱的重放模式(S208)。这里,如果判断结果为“是”,则处理进行到使得能够基于喜爱的图像的图像(使其成为搜索源)来搜索图像的喜爱的重放模式(S209)。尽管稍后将详细描述,但该处理进行用于选择登记的喜爱的图像中的一个作为搜索源、基于喜爱的图像的特征部分和该图像的辅助信息来搜索图像并对搜索到的图像进行显示的处理。
如果S208的判断结果为“否”,则判断模式转盘225是否设定了编辑模式(S210)。这里,如果判断结果为“是”,则处理进行到使得能够编辑图像的编辑模式(S211)。
如果S210的判断结果为“否”,则判断模式转盘225是否设定了通信模式(S212)。这里,如果判断结果为“是”,则处理进行到使得能够与外部设备进行通信的通信模式(S213)。
如果S212的判断结果为“否”,则根据模式转盘225所设定的其他模式来进行处理(S214)。
因此,处理进行到模式转盘225所设定的模式,并且在完成该处理时判断是否切断了电源开关(即,执行了Pwr Off操作)(S215),如果判断结果为“是”,则进行规定断电(Pwr Off)处理(S216),接着结束该操作。相反,如果判断结果为“否”,则处理转回到S202。
应注意,在本流程的拍摄模式处理(S203)中,将照片图像的图像数据作为拥有图23中所示的结构的图像文件存储在内置存储器212或外部存储器213中。参照图23,属性信息是照片图像的辅助信息,包括图像的拍摄日期和拍摄条件(例如,快门速度、曝光值、纬度和经度、大气压力、水深)等。主图像是照片图像(即,图像数据)。索引显示用缩略图图像是作为针对在索引显示中的使用而缩小主图像的结果的缩略图图像(即,图像数据)。单帧显示用图像是针对单帧显示而缩小的图像(即,图像数据)。
图24是详细示出喜爱的登记模式处理(S207)的流程图。
如图24所示,在该流程中,首先进行根据用户对操作单元218的操作对要登记的喜爱的图像的选择/取消选择处理(S221)。该处理使得能够从内置存储器212和/或外部存储器213中存储的照片图像中选择一个或更多个照片图像作为喜爱的图像并解除该选择。
然后判断是否完成了对喜爱的图像的选择(S222)。这通过判断是否按了OK按钮227来进行。这里,如果判断结果为“否”(即,没有按OK按钮),则处理转回到S221。
相反,如果S222的判断结果为“是”(即,按了OK按钮227),则判断被选为喜爱的图像的照片图像的数量是否在登记限制数内(S223)。应注意,本实施方式例如被构造成将登记限制数设置为九。
如果S223的判断结果为“否”,则在TFT221中显示注释“超过登记限制数”(S224)并且处理转回到S221。
相反,如果S223的判断结果为“是”,则将被选为喜爱的图像的照片图像登记为喜爱的图像(S225),在TFT221中显示注释“现在登记”(S226)并且该处理返回。通过将要登记为喜爱的图像的照片图像的图像文件复制到Flash ROM216来登记喜爱的图像。复制到Flash ROM216的照片图像与作为复制源的照片图像相互独立,从而例如即使复制源的照片图像被删除,Flash ROM216中复制的照片图像仍保持不被删除。
图25是详细示出喜爱的重放模式处理(S209)的流程图;图26是对操作过程中在TFT221中显示的内容进行描述的图。
如图25所示,在该流程中,首先检测模式转盘225的状态(S231),接着判断模式转盘225是否设定了喜爱的显示模式(S232)。这里,如果判断结果为“否”,则处理返回,而如果判断结果为“是”,则显示并选择所登记的喜爱的图像(S233)。
在S233中显示喜爱的图像时,读取在Flash ROM216中存储的喜爱的图像的图像文件中所包含的索引显示用缩略图图像或单帧显示用图像并将其显示在TFT221中。作为示例,如果已经设定了索引显示形式,则读取喜爱的图像的索引显示用缩略图图像并按索引显示形式(即,本实施方式假定3×3索引显示形式;参照图26中所示的显示画面231)将其显示在TFT221中。如果已经设定了单帧显示形式,则读取喜爱的图像的单帧显示用图像并按单帧显示形式(参照图26中所示的显示画面232)将其显示在TFT221中。这里,该结构使得:如果存在多个喜爱的图像,则使得能够通过对Up/Down/Left/Right按钮226的操作来实现喜爱的图像的连续单帧显示。应注意,喜爱的图像的显示被构造成通过用户对操作单元218的操作而在索引显示形式与单帧显示形式之间自由改变。
同时,在S233中对喜爱的图像的选择中,选择使其成为搜索源的一个喜爱的图像。作为示例,如果已经按索引显示形式显示喜爱的图像,则光标位置处的喜爱的图像被选为搜索源(参照图26中所示的显示画面231内的光标233)。应注意,该光标被构造成使得可以根据用户对Up/Down/Left/Right按钮226的操作而移动。如果按单帧显示形式显示喜爱的图像,则所显示的喜爱的图像被选为搜索源。
然后判断是否按了OK按钮227(S234),如果判断结果为“是”,则处理进行到S235,而如果判断结果为“否”,则处理返回到S233。应注意,如果S234的判断结果为“是”(即,按了OK按钮227),则确定选定喜爱的图像结果。同时,如果喜爱的重放模式保持为根据对OK按钮227的按压来设置,则开始稍后描述的S236的图像搜索,因此OK按钮227被构造成还包括用于指示进行图像搜索的指示装置的功能。
如果S234的判断结果为“是”,则判断是否存在模式改变(S235),如果判断结果为“是”,则处理返回。应注意,该判断通过判断模式转盘225是否设定了除喜爱的重放模式之外的其他模式来进行。
如果S235的判断结果为“否”,则搜索单元206基于被确定为搜索源的喜爱的图像的特征部分和该图像的辅助信息从内置存储器212或/和外部存储器213中搜索拥有与该特征部分和该辅助信息相同或相似的特征部分或辅助信息的照片图像(S236)。
然后,对搜索到的照片图像进行分组(S237)。通过获得搜索到的照片图像的帧信息并将其存储在图像缓冲存储器204中来进行分组。应注意,根据拍摄日期和时间对在内置存储器212或/和外部存储器213中存储的照片图像分配帧号,并获得搜索到的照片图像的帧号作为帧信息,从而使得可以在以后的日期基于该帧信息来读取搜索到的照片图像。
然后判断是否存在条件匹配图像(即,是否存在搜索到的照片图像)(S238)。这里,如果判断结果为“不存在图像”,则在TFT221中显示注释“不存在与搜索条件有关的图像”(S239),并且处理转回到S233。
相反,如果S238的判断结果为“存在图像”,则在TFT221中显示搜索到的图像(即,与作为搜索源的喜爱的图像的特征部分或与辅助信息有关的图像)(S240)。具体地说,从内置存储器212或/和外部存储器213中读取与存储在图像缓冲存储器204中的帧信息相对应的照片图像的索引显示用缩略图图像或单帧显示用图像,并根据预设的显示模式(即,索引显示形式或单帧显示形式)将其显示在TFT221中(S240)。作为示例,如果已经设定了索引显示形式,则读取与帧信息相对应的照片图像的索引显示用缩略图图像,并按索引显示形式(本实施方式假定3×3索引显示形式)将其显示在TFT221中(参照图26中所示的显示屏面234)。这里,如果与帧信息相匹配的照片图像的数量超过九,则该结构使得可以通过用户对Up/Down/Left/Right按钮226的操作来移动光标(参照图26中所示的显示屏面234内的光标233)并按索引显示形式依次显示与帧信息相匹配的照片图像。如果已经设定了单帧显示形式,则读取与帧信息相匹配的照片图像的单帧显示用图像并按单帧显示形式将其显示在TFT221中(参照图26中所示的显示屏面235)。这里,如果存在与帧信息相对应的多个照片图像,则该结构使得能够通过用户对Up/Down/Left/Right按钮226的操作来实现对与帧信息相对应的照片图像的顺序单帧显示。应注意,在与帧信息相对应的照片图像的显示中,作为搜索源的喜爱的图像和该图像的辅助信息显示在同一图像屏面中(参照图26中所示的显示屏面234和235内的搜索源图像236和作为辅助信息的日期237)。并且,在与帧信息相对应的照片图像的显示中,该结构使得能够通过用户对操作单元218的操作而使显示形式在索引显示形式与单帧显示形式之间自由改变。
接着判断是否改变了模式或者是否按了MENU按钮224(S241),如果判断结果为“是”,则处理转回到S232,而如果判断结果为“否”,则处理转回到S240。这里,通过辨别模式转盘225是否设定了除喜爱的重放模式之外的其他模式来判断是否存在模式改变。如果按了MENU按钮224或者如果喜爱的重放模式保持根据S241的判断而设置,则处理进行到S233,在这种情况下,在S233中,另一喜爱的图像被选为新的搜索源,从而使得可以继续通过不同的搜索条件来进行搜索。
应注意,例如通过下列处理来执行本流程中的(S236中的)图像搜索处理和(S237中的)分组处理。
图27是例示该处理的流程图。
在图27中所示的流程中,首先,提取被确定为搜索源图像的喜爱的图像的特征部分(例如,诸如脸、形状和颜色的特征部分)和该喜爱的图像的辅助信息(例如,快门速度、曝光值等)。应注意,特征部分是从在作为搜索源的喜爱的图像的图像文件中包括的主图像中提取的,而辅助信息是从在该图像文件中包括的属性信息中提取的。
然后,设置N=1(S252),从内置存储器212或/和外部存储器213中读取在帧号为N的照片图像的图像文件中包括的主图像和辅助信息(即,属性信息)(S253),并对该主图像的特征部分和辅助信息与在S251中提取的特征部分和辅助信息的相似性进行判断(S254)。
应注意,当判断相似性时,该结构可以判断图像的特征部分和辅助信息的相应的相似性,或者仅判断图像的特征部分的相似性,或者仅判断图像的辅助信息的相似性。在构造成仅判断图像的特征部分的相似性的情况下,S251可以仅用于提取图像的特征部分,并且S253可以仅用于读取图像的特征部分。在构造成仅判断辅助信息的相似性的情况下,S251的处理可以仅用于提取辅助信息,并且S253可以仅用于读取辅助信息。
然后,对帧号为N(其中,N为正整数)的照片图像的特征部分和辅助信息与在S251中提取的特征部分和辅助信息的相似性(包括一致性)进行判断(S255),如果判断结果为“是”,则将帧号N作为帧信息存储在图像缓冲存储器204中(S256),而如果判断结果为“否”,则跳过S256的处理。
然后判断是否完成了所有帧,即,帧号N是否为最后的帧号(S257),如果判断结果为“是”,则处理返回,而如果判断结果为“否”,则N递增为N=N+1(S258),并且处理转回到S253。
这种流程从内置存储器212或/和外部存储器213中搜索拥有与被确定为搜索源图像的喜爱的图像的特征部分和辅助信息相同或相似的特征部分和辅助信息的照片图像,并将该照片图像的帧号作为帧信息存储在图像缓冲存储器204中。
应注意,另选的结构可以是以下结构:在上述流程中判断相似性之前,请求用户对将图像的哪个特征部分或图像的哪个辅助信息用于判断相似性进行选择。在这种情况下,该结构可以使得:S251的处理用于提取作为搜索源的喜爱的图像的特征部分和辅助信息,接着向用户呈现它们,从而请求用户选择其中的一个或更多个以用于对相似性的判断中。
当在图25中所示的流程中的用于将有关图像显示(S240)在TFT221中的处理中将搜索到的照片图像(即,与帧信息相对应的照片图像)显示在TFT221中时,还可以构造成与搜索到的照片图像一起显示作为搜索源的喜爱的图像或/和作为搜索源的喜爱的图像的辅助信息。作为示例,在基于作为搜索源的喜爱的图像的特征部分来搜索图像的情况下,结构可以是与搜索到的照片图像一起显示作为搜索源的喜爱的图像。并且,在基于作为搜索源的喜爱的图像的特征部分和辅助信息或者基于作为搜索源的喜爱的图像的辅助信息来搜索图像的情况下,则可以与搜索到的照片图像一起显示作为搜索源的喜爱的图像和辅助信息。
图28是在图25中所示的喜爱的重放模式处理的过程中在TFT221中显示的屏面图像示例。
参照图28,显示屏面241是按单帧显示形式显示喜爱的图像的屏面图像示例。这里,如果存在多个喜爱的图像,则可以通过操作Up/Down/Left/Right按钮226按单帧显示依次显示喜爱的图像。显示屏面242是按索引显示形式显示喜爱的图像的屏面图像示例。这里,可以通过操作Up/Down/Left/Right按钮226来移动光标243。在显示喜爱的图像的情况下,可以通过操作操作单元218使显示形式在索引显示形式与单帧显示形式之间自由改变。
通过在显示喜爱的图像时按OK按钮,来确定按单帧显示显示的喜爱的图像244或者按索引显示显示的喜爱的图像内在光标243的位置显示的喜爱的图像244,接着基于搜索源图像来进行图像搜索。在该示例中,假设提取脸的特征部分作为搜索源图像的特征部分并且搜索拥有与该搜索源图像的特征部分相同或相似的特征部分的照片图像。
显示屏面245是按单帧显示形式显示通过这种图像搜索搜索到的照片图像的屏面图像示例。这里,如果存在多个喜爱的图像,则可以通过操作Up/Down/Left/Right按钮226按单帧显示依次显示喜爱的图像。显示屏面246是按索引显示形式显示喜爱的图像的屏面图像示例。这里,如果搜索到的照片图像的数量超过九, 则可以通过操作Up/Down/Left/Right按钮226来移动光标243从而按索引显示依次显示搜索到的照片图像。在显示搜索到的照片图像时,在同一显示屏面中与搜索到的照片图像一起还显示作为搜索源的喜爱的图像244。应注意,在该示例中,基于图像的特征部分来搜索图像,因此不显示作为搜索源的喜爱的图像的辅助信息,而与搜索到的照片图像一起显示作为搜索源的喜爱的图像。此外,在显示搜索到的照片图像时,可以通过操作操作单元218使显示形式在索引显示形式与单帧显示形式之间自由改变。
图29是例示利用图25中所示的(S209的)喜爱的重放模式处理的搜索示例的图。
如图29所示,例如如果喜爱的图像“a”用作搜索源,则搜索到照片图像B、C、F和G,而如果喜爱的图像“b”用作搜索源,则搜索到照片图像A、B、E和F。
仅将拥有期望的图像特征部分或期望辅助信息的图像作为喜爱的图像进行登记,使得可以容易地搜索到拥有与登记图像的特征部分或辅助信息相似的图像特征部分或辅助信息的照片图像。还使得能够将搜索到的照片图像作为相册来欣赏。在这种情况下,可以在不要求用户逐一登记搜索到的照片图像的情况下进行欣赏(参照图29中所示的相册1和相册2)。
如上所述,如果用户预先登记拥有期望的图像特征部分和期望辅助信息的图像作为喜爱的图像,则本实施方式使得可以搜索拥有相像(即,相同或相似)的图像特征部分或辅助信息的图像。
此外,仅通过对模式转盘225的设置操作就使得能够登记喜爱的图像、基于登记的喜爱的图像来进行图像搜索、并显示图像搜索结果,从而去除了常规麻烦操作(例如,通过多次重复按钮操作使显示单元显示目标设置屏面)的必要性,使几乎任何人都能简单地使用。
因此,可以基于显示的图像通过简单的操作从存储的图像中搜索期望图像并对其进行显示。
应注意,本实施方式被构造成:将搜索到的图像的帧号作为帧信息存储在图像缓冲存储器204中并基于该帧信息来显示搜索到的图像,如通过参照图25和图27中示出的流程所描述的;然而,另选的结构例如可以是以下方式:存储搜索到的图像的文件路径(即,表示图像文件的存储位置的路径)的信息,并基于该文件路径的信息来显示搜索到的图像。
还应注意,根据本实施方式的摄像机可以是其他能够拍摄和重放图像的设备,例如装有摄像机的便携式电话、装有摄像机的个人数字助理(PDA)等设备,而不限于数字摄像机。
<第三实施方式>
根据本发明第三优选实施方式的摄像机是一种能够简单且容易地搜索期望图像的摄像机,具体地说,是一种在拍摄时和在重放时无论显示图像的情况如何都能够通过简单的操作容易地搜索期望图像的摄像机。
图30是作为根据第三实施方式的摄像机的数字摄像机的框图。
参照图30,拍摄透镜301在成像元件302上形成被摄体像。成像元件302通过对利用拍摄透镜301的功能而形成在成像元件302上的被摄体像应用光电转换来输出表示图像的电信号。成像元件302例如是由CCD构成的图像传感器。
包括用于降低噪声分量的CDS、用于稳定信号电平的AGC、以及用于将模拟电信号转换成数字电信号的A/D转换器的成像单元303降低从成像元件302输出的模拟电信号的噪声分量、稳定信号电平、将该模拟信号转换成数字电信号并将其输出。
图像缓冲存储器304用作用于作为从成像单元303输出的数字电信号的图像数据的、用于图像处理单元305进行的各种图像处理的处理中的图像数据的、以及用于由搜索单元306搜索到的图像的帧信息(即,图像的链接信息的示例)的临时存储器。图像缓冲存储器304例如是SDRAM。
图像处理单元305进行各种图像处理,例如,用于记录和重放图像数据的图像数据的压缩/扩展处理(例如,JPEG系统),校正处理(例如在记录图像数据时执行的灰度校正和白平衡校正),以及增加或减少构成图像的像素的数量的放大/缩小处理(即,调整大小处理)。
搜索单元306使用在拍摄模式中以直通图像形式(即,实时显示拾取的图像的形式)显示的图像并使用在重放模式中重放的(即,显示的)图像(这二者都作为搜索源图像),进行如下处理:基于作为搜索源的图像的特征部分并基于上述图像的辅助信息来搜索图像;并且将搜索到的图像的帧信息存储在图像缓冲存储器304中。
GPS307测量纬度和经度。气压计/深度计308测量大气压力和水深。麦克风(即,声音记录单元)309将声音转换成电信号。
显示处理单元310执行根据作为图像处理单元305应用图像处理的结果的图像数据生成可由显示单元311显示的视频图像信号并将该视频图像信号输出给显示单元311的处理。这使得显示单元311能够基于视频图像信号来显示视频图像。显示单元311例如是LCD、触摸屏型LCD、有机EL显示器等。
内置存储器312是本数字摄像机中内置的记录介质,并且是记录表示图像的图像数据(例如,JPG数据)的存储用记录介质。内置存储器312例如是作为使得可以进行电重写的非易失性存储器的Flash ROM。
外部存储器313是可以可拆卸地安装到本数字摄像机上的记录介质,并且是记录表示照片图像的图像数据(例如,JPG数据)的存储用记录介质。外部存储器313是诸如xD卡、Smart Media(注册商标)、Compact Flash(注册商标)等的存储卡。
外部I/F 314是用于通过规定的有线通信标准连接至外部设备的接口。规定的有线通信标准包括USB及其他有线通信标准。
电信I/F 315是用于通过规定的无线电电信标准连接至外部设备的接口。规定的无线电电信标准是指IrDA及其他无线电电信标准。
Flash ROM316是使得可以进行电重写的非易失性存储器,并且除了存储由CPU317执行的摄像机程序之外还存储在执行摄像机程序的处理中使用的各种数据。
CPU317读取并执行存储在Flash ROM316中的摄像机程序,从而控制本数字摄像机的整体操作。CPU317还通过执行摄像机程序来进行显示控制,从而实现显示控制单元317a。
操作单元318是用于从用户(例如,拍摄者)接收各种指令并将这些指令通知CPU317的一系列按钮。操作单元318例如包括稍后描述的快门按钮、变焦按钮、MENU按钮、喜爱的按钮、Up/Down/Left/Right按钮以及OK按钮。对操作单元318的操作包括通过触摸屏进行的操作。
图31是根据本实施方式的数字摄像机的后视图。
参照图31,TFT321是显示单元311的显示屏面。快门按钮322是用于指示拍摄的按钮。变焦按钮323是用于指示变焦成广角或远摄的按钮。MENU按钮324是用于给出诸如使TFT321显示各种菜单的指令的按钮。喜爱的按钮325是用于给出搜索图像和取消搜索的指令的按钮。Up/Down/Left/Right按钮326是用于给出诸如使TFT321中显示的光标移动和针对TFT321中显示的图像的帧前进的指令的按钮。OK按钮327是用于给出诸如从TFT321中显示的选择项中进行选择、确定所选图像、搜索图像等的指令的按钮。
应注意,本实施方式被构造成通过对MENU按钮324、Up/Down/Left/Right按钮326和OK按钮327的操作来设置诸如稍后描述的拍摄模式和重放模式的一系列操作模式;然而,作为另一种选择,该数字摄像机的背面可以装有模式转盘,该模式转盘用于使得能够设置一系列操作模式并根据对该模式转盘的操作来设置操作模式。
接下来描述根据本实施方式的数字摄像机的操作。
图32是示出根据本实施方式的数字摄像机的基本操作的流程图。当接通电源开关(这里图中未示出)时该流程开始。
在开始本流程时,如图32所示,进行规定的通电(Pwr On)处理(步骤301;下文中简称为“S301”)。
然后判断是否设定了拍摄模式(S302)。这里,如果判断结果为“是”,则处理进行到使得能够拍摄图像的拍摄模式(S303)。除了拍摄处理之外,该处理被构造成还能执行诸如基于作为搜索源图像的以直通图像形式显示的图像的特征部分来搜索图像的处理以及显示搜索到的图像的处理,这将在稍后详细描述。
如果S302的判断结果为“否”,则判断是否设定了重放模式(S304)。这里,如果判断结果为“是”,则处理进行到使得能够重放图像的重放模式(S305)。除了重放处理之外,该处理被构造成还使得可以执行基于作为搜索源图像的重放的(即,显示的)图像的特征部分和辅助信息来搜索图像的处理以及显示搜索到的图像的处理,这将在稍后详细描述。
如果S304的判断结果为“否”,则判断是否设定了编辑模式(S306)。这里,如果判断结果为“是”,则处理进行到使得能够编辑图像的编辑模式(S307)。
如果S306的判断结果为“否”,则判断是否设定了通信模式(S308)。这里,如果判断结果为“是”,则处理进行到使得能够与外部设备进行通信的通信模式(S309)。应注意,该处理不从喜爱的按钮325接收指令。
如果S308的判断结果为“否”,则根据设定的其他模式来进行处理(S310)。
因此,处理进行到设定的模式,并在完成该处理时判断是否断开了电源开关(即,是否执行了Pwr Off操作)(S311),如果判断结果为“是”,则进行规定的断电(即,Pwr Off)处理(S312),接着结束本操作。相反,如果判断结果为“否”,则处理转回到S302。
接下来通过参照图33至图36来详细描述(S303的)拍摄模式处理。
图33是详细示出(S303的)拍摄模式处理的流程图。图34是对在拍摄模式处理的过程中在TFT321中显示的内容进行描述的图。图35是示出在上述处理过程中通过拍摄处理记录的图像文件的结构的图。
如图33所示,在本流程中,首先以直通图像形式在TFT321中显示图像(S321)。具体地说,对诸如利用成像单元、图像处理单元、显示控制单元等对成像元件302所拾取的图像应用规定的处理并将得到的图像显示在单元311中的一系列处理的重复,使TFT321实时显示拾取的图像(参照图34中所示的显示屏面331)。
然后判断是否按了快门按钮(即,释放快门)(S322)。这里,如果判断结果为“是”,则进行拍摄处理(S323)。拍摄处理将照片图像作为拥有图35中所示的结构的图像文件记录在内置存储器312或外部存储器313中。参照图35,属性信息是照片图像的辅助信息,包括图像的拍摄日期和拍摄条件(例如,快门速度、曝光值、纬度和经度、大气压力、水深)等。主图像是照片图像(即,图像数据)。索引显示用缩略图图像是作为针对在索引显示中的使用而缩小主图像的结果的缩略图图像(即,图像数据)。单帧显示用图像是针对单帧显示而缩小的图像(即,图像数据)。
在完成拍摄处理(图33的S323)时,然后进行诸如稍后描述的使搜索源图像和搜索结果无效的搜索解除处理(S335),接着该处理返回。
应注意,如果S322的判断结果为“是”(即,如果按了快门按钮322),则在该时刻与完成搜索解除处理之间(在S322为“是”的时刻与完成S323和S335中的处理之间)不接受喜爱的按钮325给出的指令。
相反,如果S322的判断结果为“否”,则判断是否按了喜爱的按钮325(S324),如果判断结果为“否”,则处理转回到S321。
如果S324的判断结果为“是”(即,如果按了喜爱的按钮325),则捕捉(即,导入)此时以直通图像形式显示在TFT321中的图像(S325)。
然后,搜索单元306通过使用捕捉到的图像作为搜索源图像基于捕捉到的图像的特征部分从内置存储器312或/和外部存储器313中搜索拥有与捕捉到的图像的特征部分相同或相似的特征部分的照片图像(S326)。
然后,对搜索到的照片图像进行分组(S327)。该分组通过获得搜索到的照片图像的帧信息并将该信息存储在图像缓冲存储器304中来进行。应注意,向存储在内置存储器312或/和外部存储器313中的照片图像(即,图像文件)分配帧号,从而获得搜索到的照片图像的帧号作为帧信息,使得可以在以后的时间基于该帧信息来读取搜索到的照片图像。
然后,判断是否存在条件匹配图像(即,是否存在搜索到的照片图像)(S328)。这里,如果判断结果为“不存在图像”,则在TFT321中显示注释“不存在与搜索条件有关的图像”(S329),并且处理转回到S322。
相反,如果S328的判断结果为“存在图像”,则将搜索到的图像(即,与搜索源图像的特征部分有关的图像)与搜索源图像(即,在S325中捕捉到的图像)一起显示在TFT321中。具体地说,从内置存储器312或/和外部存储器313中读取与存储在图像缓冲存储器304中的帧信息相对应的照片图像的图像文件中包括的索引显示用缩略图图像,并将其与搜索源图像一起显示在TFT321中。作为示例,通过将与帧信息相对应的照片图像的四个索引显示用缩略图图像(即,图像334、335、336和337)排列在显示屏面的左侧来将这四个索引显示用缩略图图像与搜索源图像333一起显示,如图34的显示屏面332所示,或者通过将它们排列在显示屏面的下部来进行显示,如显示屏面338所示。在两个示例中,该结构都使得:如果与帧信息相对应的照片图像的数量超过四,则同样可以通过用户对Up/Down/Left/Right按钮326的操作依次显示与帧信息相对应的其余索引显示用缩略图图像。应注意,与搜索源图像一起显示与帧信息相对应的照片图像的形式可以不同,而不限于此。
然后判断是否存在模式改变(S331),如果判断结果为“是”,则处理进行到S322,而如果判断结果为“否”,则处理进行到S333。这里,通过辨别设定的操作模式是否被改变成除拍摄模式之外的其他操作模式来进行是否存在模式改变的判断。
如果S331的判断结果为“是”,则进行诸如使搜索源图像和搜索结果无效的搜索解除处理(S332)并且处理返回。
如果S331的判断结果为“否”,则判断是否按了喜爱的按钮325(S333),如果判断结果为“否”,则处理转回到S330,而如果判断结果为“是”,则进行诸如使搜索源图像和搜索结果无效的搜索解除处理(S334),接着处理返回。这里,如果保持对拍摄模式的设定,则处理再次转回到S321,在这种情况下,捕捉另一图像以使其成为新的搜索源,从而使得可以利用不同的条件来继续搜索。即,如果设定了拍摄模式,则每次按喜爱的按钮325都导致重复搜索指令和搜索解除指令二者之一。在这种情况下,诸如指示各状态的显示或者对有关按钮的照明以区分接收搜索指令与接收搜索解除的结构增进了对用法的理解。
图36是图33中所示的拍摄模式处理的过程中在TFT321中显示的屏面图像示例。
参照图36,显示屏面341例示了以直通图像形式显示图像的特定时间点的屏面图像。
当以直通图像形式显示图像时,即使准备好拍摄,按喜爱的按钮325也能捕捉此时显示的图像。然后,使用捕捉到的图像作为搜索源图像,基于该图像的特征部分来进行图像搜索。该示例示出了提取脸的特征部分作为搜索源图像的特征部分并且搜索到拥有与提取的特征部分相同或相似的特征部分的照片图像的情况。通过使用诸如图案匹配方法、语义关联图像搜索方法等的已知技术来进行该搜索。
显示屏面342例示了与搜索源图像343一起显示排列在显示屏面342的左侧的五个搜索到的照片图像(即,图像344、345、346、347和348)的屏面图像。显示屏面349例示了显示排列在显示屏面的底部的五个搜索到的照片图像(即,图像344、345、346、347和348)的屏面图像。在两种情况下,该结构都使得:如果搜索到的照片图像的数量超过五,则同样可以通过操作Up/Down/Left/Right按钮326来依次显示其余搜索到的照片图像。
应注意,本实施方式被构造成:在如上所述的拍摄模式的处理中,如果在以直通图像形式在TFT321中显示图像时按喜爱的按钮325,则捕捉此时显示的图像,并将捕捉到的图像选为搜索源图像;然而,另选的结构可以使得:仅在按喜爱的按钮325时,使作为成像元件302拾取图像以按直通图像形式对其进行显示并且成像单元303和图像处理单元305对拾取的图像应用规定的图像处理的结果而获得的图像用作搜索源图像。
接下来通过参照图37至图39来详细描述(S305的)重放模式处理。
图37是详细示出(S305的)重放模式处理的流程图。图38是对该处理过程中TFT321中显示的内容进行描述的图。
如图37所示,该流程以显示并选择重放图像(S341)开始。
首先在S341中显示重放图像,根据预设的显示形式(即,能够显示规定帧数的图像的索引显示形式或者能够逐帧显示图像的单帧显示形式),读取在内置存储器312或/和外部存储器313中登记的照片图像的图像文件中包括的索引显示用缩略图图像或单帧显示用图像作为重放图像,并将其显示在TFT321中。作为示例,如果已经设定了单帧显示形式,则读取单帧显示用图像作为重放图像并按单帧显示形式(参照图38中所示的显示屏面351)将其显示在TFT321中。这里,如果存在多个重放图像,则该结构使得能够通过用户对Up/Down/Left/Right按钮326的操作依次对重放图像进行单帧显示。如果已经设定了索引显示形式,则读取照片图像的索引显示用缩略图图像作为重放图像并按索引显示形式(根据本实施方式,其被构造为3×3索引显示形式)(参照图38中所示的显示屏面352)将其显示在TFT321中。这里,如果重放图像的数量超过九,则该结构使得能够通过用户对Up/Down/Left/Right按钮326的操作对重放图像依次进行索引显示。应注意,该结构使得可以在显示重放图像时通过用户对操作单元318的操作使显示形式在索引显示形式与单帧显示形式之间自由改变。
并且在S341中选择重放图像,选择使其成为搜索源的一个重放图像。作为示例,如果已经按单帧显示形式显示了重放图像,则将显示的重放图像选为搜索源。如果已经按索引显示形式显示了重放图像,则将在光标位置的重放图像选为搜索源(参照图38中所示的显示屏面352内的光标353)。应注意,该光标被构造成可以响应于用户对Up/Down/Left/Right按钮326的操作而移动。
然后,判断是否按了喜爱的按钮325(S342),如果判断结果为“否”,则处理转回到S341。
如果S342的判断结果为“是”(即,按了喜爱的按钮325),则搜索单元306基于被选为搜索源的重放图像的特征部分和辅助信息从内置存储器312或/和外部存储器313中搜索拥有与上述特征部分和辅助信息相同或相似的特征部分和辅助信息的照片图像(S343)。
然后,对搜索到的照片图像进行分组(S344)。该分组是通过获得搜索到的照片图像的帧信息并将其存储在图像缓冲存储器304中来进行的。
然后,判断是否存在条件匹配图像(即,是否存在搜索到的照片图像)(S345)。这里,如果判断结果为“不存在图像”,则在TFT321中显示注释“不存在与搜索条件有关的图像”(S346),并且处理转回到S342。
相反,如果判断结果为“存在图像”,则将搜索到的图像(即,与搜索源图像的特征部分和辅助信息有关的图像)显示在TFT321中(S347)。具体地说,根据预设的显示形式(即,索引显示形式或单帧显示形式)从内置存储器312或/和外部存储器313中读取在与存储在图像缓冲存储器304中的帧信息相对应的照片图像的图像文件中包括的索引显示用缩略图图像或单帧显示用图像,并将其显示在TFT321中。作为示例,如果已经设定了索引显示形式,则读取与帧信息相对应的照片图像的索引显示用缩略图图像,并以索引显示形式(根据本实施方式,其被构造成3×3索引显示形式)(参照图38中所示的显示屏面354)将其显示在TFT321中。这里,如果照片图像的数量超过九,则该结构使得可以通过用户操作Up/Down/LeffRight按钮326以移动光标来依次显示与帧信息相对应的照片图像(参照图38中所示的显示屏面354内的光标353)。如果已经设定了单帧显示形式,则读取与帧信息相对应的照片图像的单帧显示用图像并按单帧显示形式(参照图38中所示的显示屏面355)将其显示在TFT321中。这里,如果存在与帧信息相对应的多个照片图像,则该结构使得可以通过用户对Up/Down/Left/Right按钮326的操作按单帧显示形式依次显示与帧信息相对应的照片图像。应注意,在显示与帧信息相对应的照片图像时,在同一屏面中显示重放图像和搜索源的辅助信息(参照图38中所示的显示屏面354和355内的搜索源图像356和作为辅助信息的日期357)。此外,在显示与帧信息相对应的照片图像时,该结构使得能够通过用户对操作单元318的操作来在索引显示形式与帧显示形式之间自由改变显示形式。
在随后的S348至S351中,进行与图35中所示的S331至S334相似的处理,因此这里省略描述。
应注意,在本流程中,在将有关图像显示在TFT321中的处理中,当在TFT321中显示搜索到的图像(即,与帧信息相对应的照片图像)时,另选的结构可以与搜索到的照片图像一起显示搜索源的重放图像或/和搜索源的重放图像的辅助信息。作为示例,该结构可以使得:如果基于作为搜索源的重放图像的特征部分而搜索到图像,则与搜索到的照片图像一起显示搜索源的重放图像;并且,如果基于作为搜索源的重放图像的特征部分和辅助信息或者基于作为搜索源的重放图像的辅助信息而搜索到图像,则与搜索到的照片图像一起显示搜索源的重放图像及其辅助信息。
图39是在图37中所示的重放模式处理的过程中在TFT321中显示的屏面图像示例。
参照图39,显示屏面361是按单帧显示形式显示重放图像的屏面图像示例。这里,如果存在多个重放图像,则可以通过对Up/Down/Left/Right按钮326的操作依次显示它们。显示屏面362例示了以索引显示形式显示重放图像的屏面图像。这里,对Up/Down/Left/Right按钮326的操作使得光标363能够移动并且能够对重放图像依次进行索引显示。在显示重放图像时,对操作单元318的操作使得可以在索引显示形式与单帧显示形式之间自由改变显示形式。在显示重放图像时按喜爱的按钮325,使用按单帧显示形式显示的重放图像364或以索引显示形式显示的重放图像内在光标363的位置的重放图像364作为搜索源图像,基于该搜索源图像进行图像搜索。该示例假定提取脸的特征部分作为搜索源图像的特征部分并搜索拥有与该特征部分相同或相似的特征部分的照片图像的结果。
显示屏面365例示了以单帧显示形式显示搜索到的照片图像的屏面图像。这里,如果存在多个搜索到的照片图像,则可以通过操作Up/Down/Left/Right按钮326以单帧显示形式依次显示它们。显示屏面366例示了以索引显示形式显示搜索到的照片图像的屏面图像。这里,如果搜索到的照片图像的数量超过九,则可以通过操作Up/Down/Left/Right按钮326来移动光标363从而以索引显示形式依次显示搜索到的照片图像。当对搜索到的照片图像进行时,还在同一显示屏面中与搜索到的照片图像一起显示搜索源的重放图像364。应注意,该示例是基于图像的特征部分来搜索图像的结果,因此不显示辅助信息,而与搜索到的照片图像一起显示搜索源的重放图像。此外,当对搜索到的照片图像进行显示时,可以通过操作操作单元318来在索引显示形式与单帧显示形式之间自由改变显示形式。因此,在以普通重放模式显示图像时按喜爱的按钮,捕捉此时显示的图像并通过使用捕捉到的图像作为搜索源图像来进行图形搜索。
至此已详细描述了(S303的)拍摄模式处理和(S305的)重放模式的处理,其中,例如如以下所述地执行拍摄模式下的处理的(S326的)图像搜索和(S327的)分组以及重放模式下的处理的(S343的)图像搜索和(S344的)分组。
图40是例示这些处理的流程图。
在图40中所示的流程中,首先,提取作为搜索源的图像的特征部分(例如,诸如脸、形状和颜色的特征部分)和该图像的辅助信息(例如,快门速度和曝光值)(S361)。然而,该结构使得:在拍摄模式中提取作为搜索源的图像(即,在图33中所示的S325中捕捉到的图像)的特征部分而在重放模式提取作为搜索源的图像的特征部分和辅助信息(即,在图37中的S341中选择的重放图像的图像文件中包括的主图像的特征部分和上述图像文件中包括的辅助信息(即,属性信息))。
然后,设置N=1(S362),从内置存储器312或/和外部存储器313中读取帧号为N的照片图像的图像文件中包括的主图像和辅助信息(即,属性信息)(S363),并对主图像的特征部分和辅助信息与在S351中提取的特征部分和辅助信息的相似度进行判断(S364)。然而,根据该结构,在拍摄模式中,从内置存储器312或/和外部存储器313中读取帧号为N的照片图像的图像文件中包括的主图像,并对主图像的特征部分与在S361中提取的特征部分的相似度进行判断。应注意,该结构可以判断图像之间的特征部分和辅助信息的相似度、或者仅判断图像之间的特征部分的相似度、或者仅判断图像之间的辅助信息的相似度。
然后,根据S364的判断结果来判断帧号为N的照片图像的特征部分和辅助信息是否与在S361中提取的特征部分和辅助信息相似(包括相同)(S365)。然而,在拍摄模式中,判断帧号为N的照片图像的特征部分是否与在S361中提取的特征部分相似(包括相同)。
如果S365的判断结果为“是”,则将帧号N作为帧信息存储在图像缓冲存储器304中(S366),而如果判断结果为“否”,则跳过S366。
然后判断是否完成帧,即,帧号N是否为最后的帧号(S367),如果判断结果为“是”,则处理返回,而如果判断结果为“否”,则N递增为N=N+1(S368),并且处理转回到S363。
通过这一流程,在拍摄模式中,从内置存储器312或/和外部存储器313中搜索拥有与搜索源图像的特征部分相同或相似的特征部分的照片图像;并且在重放模式中,从内置存储器312或/和外部存储器313中搜索拥有与搜索源图像的特征部分和辅助信息相同或相似的特征部分和辅助信息的照片图像。然后,将搜索到的照片图像的帧号作为帧信息存储在图像缓冲存储器304中。
顺便指出,在该流程中,另选的结构可以是:在判断相似性之前,请求用户对将图像的哪个特征部分或图像的哪个辅助信息用于判断相似性进行选择。作为示例,在拍摄模式中,在S361中,在提取搜索源图像的多个特征部分之后,将它们呈现给用户以请求该用户选择其中的一个或更多个用于判断相似性。或者,在重放模式中,在S361中,在提取搜索源图像的一个或更多个特征部分和辅助信息之后,将它们呈现给用户以请求该用户选择其中的一个或更多个用于判断相似性。
图41是例示利用(S303的)拍摄模式处理或(S305)的重放模式处理的搜索示例的图。
如图41所示,例如,如果图像“a”用作搜索源,则搜索到照片图像B、C、F和G,如果图像“b”用作搜索源,则搜索到照片图像A、B、E和F。
仅登记拥有期望的图像特征部分或期望辅助信息的图像作为搜索源,使得可以容易地搜索拥有与登记图像的特征部分或辅助信息相似的图像特征部分或辅助信息的照片图像。还使得能够将搜索到的照片图像作为相册来欣赏。在这种情况下,可以在不要求用户逐个登记搜索到的照片图像的情况下进行欣赏(参照图41中所示的相册1和相册2)。
因此,本实施方式被构造成:使得用户能够在拍摄模式中通过以直通图像显示形式显示拥有期望的图像特征部分的图像并按喜爱的按钮325而容易地搜索拥有相像(即,相同或相似)的图像特征部分的图像。其还被构造成:使得用户能够在重放模式中通过显示拥有图像的期望图像特征部分和期望辅助信息的图像并按喜爱的按钮325而容易地搜索拥有相像(即,相同或相似)的特征部分和辅助信息的图像。
该结构使得用户能够通过使用进行记录前的图像和进行记录后的图像来容易地搜索图像。还使得可以在拍摄模式和重放模式中几乎总是可以搜索图像并且在用户希望的任何时候欣赏期望图像。
还使得能够在拍摄模式与重放模式之间改变搜索到的图像的显示形式,从而使对搜索到的图像的显示易于识别并易于理解。
还使得能够仅通过按喜爱的按钮325来指定作为搜索源的图像并指示搜索,因此几乎任何人都易于理解该操作从而简单地使用它,而无需常规的麻烦操作(例如,通过多次重复按钮操作在显示单元中显示目标设置画面(例如,用于搜索图像的设置画面))。
因此,无论是针对拍摄而显示图像的情况还是针对重放而显示图像的情况等,都可以通过简单的操作来搜索期望图像。
应注意,本实施方式被构造成:将搜索到的图像的帧号作为帧信息存储在图像缓冲存储器304中,并基于帧信息来显示搜索到的图像,如参照图33、图37和图40中所示的流程所描述的;然而,例如,另选的结构可以是以下方式:将搜索到的图像的文件路径(即,表示图像文件的存储位置的路径)的信息(即,图像的链接信息的示例)存储在图像缓冲存储器304中,并基于文件路径的信息来显示搜索到的图像。
此外,针对拍摄模式和重放模式中的图像搜索而描述了本实施方式;然而,另选的是,可以在其他模式中进行搜索。在这种情况下,可以禁止对喜爱的按钮的接受,以对操作时间有限的操作模式(例如,用于与外部设备进行通信的电信模式)的情况下的操作模式赋予较高的优先级,或者根据操作模式而允许/禁止喜爱的按钮。
还应注意,根据本实施方式的摄像机可以是能够拍摄和重放图像的其他设备,例如,装有摄像机的便携式电话、装有摄像机的PDA等,而不限于数字摄像机。
<第四实施方式>
根据本发明第四优选实施方式的摄像机是一种能够简单且容易地搜索期望图像的摄像机,具体地说,是一种能够通过简单的操作对在用户执行图像搜索时使用的搜索条件的范围进行改变的摄像机。
图42是作为根据本实施方式的摄像机的数字摄像机的框图。
参照图42,拍摄透镜401在成像元件402上形成被摄体像。成像元件402通过对利用拍摄透镜401的功能而形成在成像元件402上的被摄体像应用光电转换来输出表示图像的电信号。成像元件402例如是由CCD或CMOS构成的图像传感器。
包括用于降低噪声分量的CDS、用于稳定信号电平的AGC和用于将模拟电信号转换成数字电信号的A/D转换器的成像单元403降低从成像元件402输出的模拟电信号的噪声分量、稳定信号电平、将模拟信号转换成数字电信号并将其输出。
成像单元403、自动曝光(AE)单元404、自动聚焦(AF)单元405、图像处理电路406、可拆卸存储器407、GPS单元408、CPU409和SDRAM410通过总线411相互连接,通过总线411使上述组成部分能够相互发送和接收数据。
SDRAM410用作用于诸如作为从摄像电路403输出的数字电信号的图像数据、由图像处理电路406应用的各种图像处理的处理中的图像数据等的临时存储器。
图像处理单元406进行各种图像处理,例如,用于记录和重放图像数据的图像数据的压缩/扩展处理(例如,JPEG系统),校正处理(例如在记录图像数据时执行的灰度校正和白平衡校正),以及增加或减少构成图像的像素的数量的放大/缩小处理(即,调整大小处理)。
AE单元404基于作为从摄像电路403输出的数字电信号的图像数据进行曝光控制。AF单元405基于作为从摄像电路403输出的数字电信号的图像数据进行调焦控制。
可拆卸存储器407是可以可拆卸地安装到本数字摄像机上的记录介质,并且是记录表示照片图像的图像数据(例如,JPG数据)的存储用记录介质。可拆卸存储器407是诸如xD卡、Smart Media(注册商标)、Compact Flash(注册商标)等的存储卡。
GPS408测量纬度和经度。
CPU409读取并执行存储在内置存储器412中的摄像机程序,从而控制本数字摄像机的整体操作。CPU409还执行摄像机程序,从而实现用于进行图像搜索的搜索单元、用于进行显示控制的显示控制单元、用于更新搜索图像时的条件的搜索条件更新单元、以及用于对图像显示位置到另一窗口的移动进行控制的图像移动控制单元。
内置存储器412、电源开关413、模式开关414、操作元件415、通信单元416和显示驱动电路417连接至CPU409。
内置存储器412除了存储CPU409执行的摄像机程序之外,还存储在执行摄像机程序的过程中使用的各种数据。各种数据例如包括可以用于图像搜索的搜索项(即,诸如“日期”、“时间”、“地点”、“拍摄模式”、“曝光值”和“白平衡”的参数)以及可以用于图像搜索的各种数据,例如各搜索项的初始范围和搜索数学表达式(下文中简称为“搜索表达式”)。内置存储器412还存储诸如要在图像搜索时使用的搜索条件信息(稍后描述)。内置存储器412是诸如使得能够进行电重写操作的非易失性存储器(例如,Flash ROM)。
显示驱动电路417在CPU409的显示控制下驱动显示部件418以使显示部件418显示图像等。这例如使得显示部件418显示与可拆卸存储器407中记录的图像数据有关的图像等。显示部件418例如是LCD、触摸屏型LCD或有机EL显示器。
通信单元416是用于按规定的有线通信标准或无线电电信标准连接至外部设备的接口。规定的有线通信标准例如是USB及其他有线通信标准,规定的无线电电信标准例如是IrDA或其他无线电电信标准。
电源开关(SW)413是用于响应于用户(例如,拍摄者)的操作而向CPU409通知接通或断开本数字摄像机的电源的指令的开关。模式开关(SW)414是用于响应于用户的操作而向CPU通知转换操作模式的指令的开关。应注意,本数字摄像机包含多个模式,这些模式包括使得能够拍摄图像的拍摄模式和使得能够重放图像的重放模式。
操作元件415是用于响应于用户的操作而向CPU409通知可用的指令的按钮等。作为示例,操作元件415包括用于指示显示部件418显示菜单画面、移回一步操作等的菜单按钮;用于指示拍摄开始的释放按钮;Up/Down/Left/Right按钮(Up按钮、Down按钮、Left按钮和Right按钮)以及用于指示确定所选图像和项的OK按钮。
电源电路419向本数字摄像机的各个单元提供从电池420(例如,可充电电池)提供的电压。
接下来描述如上述所构造的数字摄像机的操作。
图43是示出该数字摄像机的基本操作的流程图。
如图43所示,该基本操作在摄像机的状态处于断电状态时判断是否接通了电源开关413(步骤401;下文中简称为“S401”)。这里,如果判断结果为“否”,则重复本判断。
如果S401的判断结果为“是”,则将拍摄模式设定为操作模式,并进行规定的设置处理,接着将摄像机的状态转换为拍摄待机状态(S402)。
然后,判断是否操作了(即,按了)菜单按钮(S403),如果判断结果为“是”,则根据对菜单按钮的操作来进行菜单操作(S404)。
如果S403的判断结果为“否”,或者在S404之后,则接着判断是否操作了(即,按了)释放按钮(S405),如果判断结果为“是”,则进行释放操作(拍摄操作)(S406)。在释放操作中,将拍摄的图像(照片图像)的图像数据作为图像文件记录在可拆卸存储器407中。该图像文件不仅包含照片图像的图像数据,而且包括图像数据的辅助信息。辅助信息包括诸如拍摄时的日期、时间和地点(即,纬度和经度)、拍摄模式的种类、曝光值、白平衡等的信息。拍摄时的地点(即,纬度和经度)的信息是从GPS408获得的。
如果S405的判断结果为“否”,或者在S406之后,则接着判断是否通过对模式开关414的操作而将操作模式转换成重放模式(S407),如果判断结果为“是”,则将重放模式设定为操作模式来进行重放操作(S408)。除了重放与在可拆卸存储器407中记录的图像数据有关的图像之外,重放操作还使得能够基于记录在内置存储器412中的搜索条件信息通过使用显示的图像作为搜索源图像来进行图像搜索等操作。
如果S407的判断结果为“否”,或者在S408之后,则接着判断是否对操作元件415进行了其他操作(即,处理)或者是否对模式开关414进行了其他操作(即,处理)(S409),如果判断结果为“是”,则进行与该处理有关的操作(S410)。如果S409的判断结果为“否”,或者在S410之后,则接着判断是否切断了电源开关413(S411),如果判断结果为“否”,则处理转回到S403。
如果S411的判断结果为“是”,则进行规定的结束处理,将摄像机的状态转换成断电(S412)并且本处理结束。
接下来详细描述(S408的)重放操作。
在该操作中,使得能够通过使用重放的图像作为搜索源图像来进行图像搜索。图像搜索基于设置的搜索条件和搜索源图像的辅助信息(即,拍摄时的时间、地点等的信息)来确定搜索范围,并搜索包括在该搜索范围中的图像。然后同时显示搜索到的图像和未搜索到的图像(即,没有搜索到的图像)。在这种情况下,对未搜索到的图像的指定添加了搜索范围以将未搜索到的图像包括在搜索范围中。该结构当然使得可以搜索在进行添加或删除之后的搜索范围中所包括的图像。
图44A和图44B一起示出了详述这种重放操作的过程中的图像搜索操作的第一流程图。图45A、图45B和图45C是示出图像搜索操作的各个部分的流程图。图46A至图46F是用于描述在图像搜索操作的过程中对搜索条件信息进行更新的示例的图。图47是例示在图像搜索操作的过程中显示部件418的图像变换的图。图48是表示搜索范围的示例的图示图。
如图44A所示,在开始重放操作时,将摄像机的状态转换成重放状态(S421),接着读取在可拆卸存储器407中记录的规定数量的帧的图像数据,以索引显示形式(例如,3×3索引显示形式)进行显示,并显示作为指示显示在规定位置的图像(例如,显示在屏面图像的左上角的图像)的位置的指示器的光标(根据本实施方式,该光标形成为框)。应注意,本说明书将图像的显示形式例示为索引形式;然而可以将显示形式改变成单帧形式。
然后判断是否操作了(即,按了)Up/Down/Left/Right按钮(S422),如果判断结果为“是”,则根据按钮操作来移动光标(S423)。如果在光标显示在画面的上端的图像中时按了Up按钮,或者如果在光标显示在画面的底端的图像中时按了Down按钮,则响应于按钮操作而从可拆卸存储器407中读取其他图像数据的规定数量的帧,并针对该图像(例如,显示在左上角的图像)显示光标。
如果S422的判断结果为“否”,或者在S423之后,则接着判断是否操作了(即,按了)OK按钮(S424),如果判断结果为“是”,则进行图像搜索和提取处理(S425)。进行用于确定搜索源、通过使用与选定的图像(即,搜索源图像)有关的参数来搜索图像、以及存储搜索条件(包括搜索范围)的处理,稍后将通过参照图45A来详细描述这些操作。该处理还将摄像机的状态转换成非提取图像处理状态。
如果S424的判断结果为“否”,则判断是否操作了(即,按了)菜单按钮(S426),如果判断结果为“是”,则处理转回到S422,而如果判断结果为“否”,则处理返回。
这里,通过参照图45A和图46A至图46D中所示的流程图来详细描述(S425的)图像搜索和提取处理。
在开始描述图45A中所示的流程图之前,这里通过参照图46A和图46B来描述均存储在内置存储器412中的可用于图像搜索的搜索项、各搜索项的初始范围、以及可用于图像搜索的搜索表达式的示例。
图46A是例示存储在内置存储器412中的可用于图像搜索的搜索项(即,参数)以及各个搜索项的范围的图。作为示例,如图46A所示,“a”表示作为参数的“日期”,指示有“±0”作为该参数的范围。此外,“b”表示作为参数的“时间”,指示有“±0:20”作为范围。同样,“c”、“d”、“e”和“f”表示各个参数,并指示有这些参数的相应范围。未对“d”的“拍摄模式”进行限定,因为它是不可限定的。
图46B是例示可用于图像搜索并存储在内置存储器中的搜索表达式的图。如图46B所示,存在两个搜索表达式作为可用于图像搜索的搜索表达式。“条件1”表示搜索表达式“b”,“条件2”表示搜索表达式“a*b+c”。应注意,搜索表达式中所包含的“a”、“b”和“c”分别对应于图46A中所示的“a”、“b”和“c”。并且,“*”和“+”分别表示逻辑乘和逻辑加。此外,该示例在搜索表达式中仅使用了“a”、“b”和“c”;当然可以使用包含“d”、“e”和“f”的搜索表达式。
假定这些数据存储在内置存储器412中,接下来通过参照图45A中所示的流程图以及图46C和图46D来描述(S425的)图像搜索/提取处理。
在图像搜索/提取处理中,首先,如图45A所示,将当在S424中按OK按钮时显示有光标的图像确定为搜索源图像(S431)。
然后,将“条件1”(即,搜索表达式“b”)设置为默认值作为用于图像搜索的搜索条件(S432)。
然后判断是否由于用户对操作元件的操作而存在改变搜索条件的指令(S433),如果判断结果为“是”,则根据该指令而改变设置的搜索条件(S434)。如图46B所示,在本实施方式中提供了两个条件,使得用户能够将搜索条件改变成“条件2”。然而,另选的是,可以将搜索条件的改变构造成:用户基于图46A中所示的参数来创建任意搜索表达式,并改变成基于创建的搜索表达式的搜索条件。
如果S433的判断结果为“否”,或者在S434之后,则接着将设置的(或改变后的)搜索条件(即,搜索表达式)、搜索表达式中包括的参数、参数的范围、以及与参数相对应的搜索源图像的信息作为搜索条件信息存储在内置存储器412中(S435)。应注意,从在可拆卸存储器407中记录的搜索源图像的图像数据的辅助信息中读取与所述参数相对应的搜索源图像的信息。
在存储搜索条件信息时,例如,如果将“条件1”(即,搜索表达式“b”)设置为搜索条件,则将作为搜索条件的搜索表达式“b”、作为参数的“时间”、作为范围的“±0:20”、以及作为与参数相对应的搜索源图像的信息的搜索源图像的拍摄时间作为搜索条件信息存储在内置存储器412中。图46C是例示这种情况下的搜索条件信息的图。注意,该示例假设搜索源图像的拍摄时间为“13:20”。
作为一种另选方案,例如,如果将用户任意创建的条件(即,搜索表达式“a+b+c+d+e+f”)设置为搜索条件,则作为搜索条件信息在内置存储器412中存储有:搜索表达式;图46A中所示的所有参数和相应参数的范围;以及搜索源图像在拍摄时的日期、时间、地点、拍摄模式、曝光值和白平衡。图46D是例示这种情况下的搜索条件信息的图。注意,在该示例中,搜索源图像在拍摄时的日期、时间、地点、拍摄模式、曝光值和白平衡分别为:“2006/08/08”、“13:20”、“N:45、E:135”、“风景”、“-3EV”和“5000K”。注意,“N:45、E:135”中的“N”和“E”表示(沿纬度的)北和(沿经度的)东。
在完成S435时,接着基于存储在内置存储器412中的搜索条件信息从可拆卸存储器407中记录的图像数据中搜索与搜索条件相匹配的图像数据(S436)。
作为示例,如果将“条件1”(即,搜索表达式“b”)设定为搜索条件,则搜索在拍摄时间为13:20±0;20的搜索范围中包括的图像数据。或者,如果设定了“条件2”(即,搜索表达式“a*b+c”),则搜索在拍摄日期为2006/08/08±0的搜索范围且在拍摄时间为13:20±0:20的搜索范围或在拍摄地点为N:45 ±0、E:135 ±0的搜索范围中包括的图像数据(其中,这里假设搜索源图像在拍摄时的日期、时间和地点分别为2006/08/08、13:20和N:45、E:135)。
本示例假定设定的搜索条件为“条件1”(即,搜索表达式“b”),并且搜索到与该搜索条件相匹配的图像数据。应注意,通过查询在可拆卸存储器407中存储的各数据的辅助信息来进行对图像数据的搜索。
然后,从可拆卸存储器407中读取与搜索条件相匹配的图像数据(即,通过图像搜索提取的图像数据),并将该图像数据所表示的图像(下文中简称为“提取图像”)显示在显示部件418的显示画面中的提取图像窗中;并且从可拆卸存储器407中读取不与搜索条件相匹配的图像数据(即,没有通过图像搜索提取的图像数据),并将该图像数据所表示的图像(下文中简称为“非提取图像”)显示在显示画面的非提取图像窗中(S437)。该结构在同一显示画面中同时且可辨别地显示提取图像和非提取图像。在本示例中,构造成:使得可以按2×2形式在提取图像窗内显示四个提取图像并按1×4形式在非提取图像窗中显示四个非提取图像。
此外,在S437中,对非提取图像窗显示窗框并对在非提取图像窗内的规定位置显示的非提取图像(例如,显示在左端的非提取图像)显示光标。应注意,显示有窗框的窗表示允许图像处理的窗。
由此,摄像机的状态转换成其中在非提取图像窗内显示的非提取图像允许进行处理的状态(即,非提取图像处理状态)。
并且,在完成S437时,该处理返回。
下面通过使用图47的一部分来对在包括图45A中所示的图像搜索/提取处理的图44A中所示的操作的过程中的屏面图像变换的示例进行描述。
参照图47,在重放在可拆卸存储器407(其概念性地示出在虚线框内)中记录的图像数据的图像(即,重放图像组)时,通过当显示有光标的图像是图像432时按OK按钮433,促使通过使用图像432作为搜索源图像来进行图像搜索,并基于图45A中所示的处理在显示部件418中显示一显示画面334。显示画面334显示包括2×2的提取图像的提取图像窗435和包括1×4的非提取图像的非提取图像窗436。此外,在非提取图像窗436中显示有窗框437,并且对非提取图像窗436内左端的非提取图像441显示光标438。这样,摄像机的状态转换成非提取图像处理状态。
因此,当摄像机处于重放状态时用户按OK按钮,促使将重放的图像确定成搜索源图像,从而使得能够基于该搜索源图像来进行图像搜索。
接下来通过参照图44B中所示的流程图来描述在完成(图44A中所示的S425的)图像搜索和提取处理之后、在摄像机的状态转换成非提取图像处理状态之后的操作。
在该操作中,如图44B所示,摄像机的状态转换成非提取图像处理状态,除非摄像机的状态已经转换成非提取图像处理状态(例如,进行在S454(稍后描述)为“是”之后的处理的情况)(S441)。这里,在状态转换成非提取图像处理状态的情况下,已对提取图像窗显示的窗框移动到非提取图像窗,并对非提取图像窗内的规定位置处显示的非提取图像(即,左端显示的非提取图像)显示光标,以成为使得能够处理非提取图像的状态。在这种情况下,未显示窗框的提取图像窗内的光标变为隐藏。
然后,判断是否操作了(即,按了)Left/Right(左/右)按钮(S442),如果判断结果为“是”,则非提取图像窗内的光标基于按钮操作而向左或向右移动一个图像(S443)。即,如果按了Right按钮则光标向右移动一个图像,或者如果按了Left按钮则光标向左移动一个图像。然而,如果在对非提取图像窗内左端的非提取图像显示光标时按了Left按钮,或者如果在对非提取图像窗内右端的非提取图像显示光标时按了Right按钮,则从可拆卸存储器407中读取其他四个非提取图像的图像数据,因此基于按钮操作将它们显示在非提取图像窗中,并且对规定位置显示的非提取图像(例如,左端显示的非提取图像)显示光标。
如果S442的判断结果为“否”,或者在S443之后,则接着判断是否操作了(即,按了)Up按钮(S444),如果判断结果为“是”,则处理进行到S451。
如果S444的判断结果为“否”,则判断是否操作了(即,按了)OK按钮(S445),如果判断结果为“否”,则处理转回到S441。
如果S445的判断结果为“是”,则将显示有光标的非提取图像确定成要作为提取图像添加的非提取图像,并通过改变光标的颜色来固定该显示(S446)。如上所述光标颜色的改变使得用户能够识别出:确定该非提取图像要作为提取图像被添加的事实。应注意,光标颜色的改变是指将显示的光标的框的颜色改变成其他颜色。顺便指出,改变前和改变后的框的颜色都可由用户任意选择。
然后判断是否操作了(即,按了)Left/Right按钮(S447),如果判断结果为“是”,则解除在S446中做出的确定(S448)并且处理转回到S441。应注意,该解除将光标的颜色改回到初始颜色。因此,按Left/Right按钮使得用户能够对要作为提取图像被添加的非提取图像进行改变。
相反,如果S447的判断结果为“否”,则判断是否操作了(即,按了)Up按钮(S449),如果判断结果为“否”,则处理转回到S447。
如果S449的判断结果为“是”,则进行将在S446中确定的非提取图像作为提取图像添加(到提取图像)的处理(S450)。该处理进行诸如更新搜索条件(包括搜索范围)和稍后通过参照图45B详细描述的将非提取图像作为提取图像添加(到提取图像)的处理。
在S450之后,或者如果S444的判断结果为“是”,则除非摄像机的状态已经转换成提取图像处理状态(例如,进行在S444为“是”之后的处理的情况),否则摄像机的状态转换成提取图像处理状态(S451)。这里,在状态转换成提取图像处理状态的情况下,已经对非提取图像窗显示的窗框移动到提取图像窗,并对提取图像窗内的规定位置显示的提取图像(例如,左下部显示的提取图像)显示光标,以使得能够处理提取图像。在这种情况下,未显示窗框的非提取图像窗内的光标变为隐藏。
然后,判断是否操作了(即,按了)Left/Right按钮(S452),如果判断结果为“是”,则使提取图像窗内的光标基于按钮操作而向左或向右移动一个图像(S453)。即,如果按了Left按钮则光标向左移动一个图像,或者如果按了Right按钮则光标向右移动一个图像。然而,如果在对提取图像窗内右上部的提取图像显示光标时按Right按钮,则光标移动到提取图像窗内左下部的提取图像,或者如果在对提取图像窗内左下部的提取图像显示光标时按Left按钮,则光标移动到提取图像窗内右上部的提取图像。如果在对提取图像窗内左上部的提取图像显示光标时按Left按钮,或者如果在对右下部的提取图像显示光标时按Right按钮,则基于按钮操作从可拆卸存储器407中读取其他四个提取图像的图像数据,将这四个提取图像显示在提取图像窗中,并对规定位置显示的提取图像(例如,左上部显示的提取图像)显示光标。
如果S452的判断结果为“否”,或者在S453之后,则接着判断是否操作了(即,按了)Down按钮(S454),如果判断结果为“是”,则处理转回到S441。
如果S454的判断结果为“否”,则判断是否操作了(即,按了)OK按钮(S455),如果判断结果为“否”,则处理转回到S451。
如果S455的判断结果为“是”,则将提取图像窗内显示有光标的提取图像确定成要作为非提取图像添加的提取图像,并通过改变光标的颜色来固定该显示(S456)。因此,改变光标的颜色使得用户能够识别确定该提取图像要作为非提取图像被添加的事实。
然后判断是否操作了(即,按了)Left/Right按钮(S457),如果判断结果为“是”,则解除在S456中做出的确定(S458),接着处理转回到S451。应注意,该解除将光标的颜色改回到初始颜色。如上所述,按Left/Right按钮使得用户能够对要作为非提取图像被添加的提取图像进行改变。
如果S457的判断结果为“否”,则判断是否操作了(即,按了)Down按钮(S459)。
如果S459的判断结果为“是”,则进行将在S456中确定的提取图像作为非提取图像添加(即,从提取图像中删除)的处理(S460)。该处理进行更新搜索条件(包括搜索范围)以及稍后通过参照图45C描述的将提取图像作为非提取图像添加(即,从提取图像中删除)的处理。在完成该处理时,处理转回到S441。
相反,如果S459的判断结果为“否”,则判断是否操作了(即,按了)菜单按钮(S461),如果判断结果为“否”,则处理转回到S457,而如果判断结果为“是”,则处理返回。
此时,对(S450的)将非提取图像作为提取图像添加(即,添加到提取图像)的处理以及(S460的)将提取图像作为非提取图像添加(即,从提取图像中删除)的处理进行进一步的详细描述。
首先通过参照图45B和图46E中所示的流程图来描述(S460的)将非提取图像作为提取图像添加(即,添加到提取图像)的处理。
如图45B所示,该处理首先从在S446中确定的非提取图像(下文中简称为“确定的非提取图像”)的图像数据的辅助信息中读取与设定的搜索条件(即,搜索表达式)中包括的参数相对应的信息,并基于该信息通过增加搜索范围来扩展搜索条件(S471)。在该示例中,设定的搜索条件是条件1(即,搜索表达式“b”),因此从确定的非提取图像的图像数据的辅助信息中读取拍摄时间,并通过增加以拍摄时间为中心值的±0:05的搜索范围来扩展搜索范围。这里,所确定的非提取图像的拍摄时间为13:50,因此增加了13:50±0:05的搜索范围。由此,通过向拍摄时间为13:20±0:20的范围增加拍摄时间为13:50±0:05的范围来扩展搜索范围,导致扩展了搜索条件。
然后,将扩展的搜索条件存储在内置存储器412中(S472)。具体地说,将所增加的搜索范围(下文中简称为“附加的搜索范围”)的信息添加到搜索条件信息,并将其存储在内置存储器412中。图46E是例示添加到搜索条件的附加的搜索范围的信息的图。如上所述将附加的搜索范围添加到搜索条件信息,存储了扩展的搜索条件。
然后,进行从在可拆卸存储器407中存储的图像数据中搜索与搜索条件相匹配的图像数据(S473)。即,进行对与扩展的搜索条件相匹配的图像数据的搜索。在本示例中,进行对在拍摄时间为13:20±0:20或拍摄时间为13:50±0:05的搜索范围中包括的图像数据的搜索。
然后,从可拆卸存储器407中读取与扩展的搜索条件相匹配的图像数据,并将与该图像数据有关的图像(即,提取图像)显示在显示部件418的显示画面中的提取图像窗内,同时,从可拆卸存储器407中读取不与扩展的搜索条件相匹配的图像数据,并将与该图像数据有关的图像(即,非提取图像)按与S437(参照图45A)相同的方式显示在显示画面中的非提取图像窗内。应注意,该结构是以下方式:此时总是将作为所确定的非提取图像的图像显示在提取图像窗内,以使得用户能够识别出所确定的非提取图像被作为提取图像添加的事实。
此外,在S474中,将对非提取图像窗显示的窗框移动到提取图像窗,并将对在提取图像窗内的规定位置显示的提取图像(例如,左下部显示的提取图像)显示光标。应注意,在未显示有窗框的非提取图像窗内的光标现在隐藏。
由此,摄像机的状态转换成使得能够对提取图像窗内的提取图像进行操作的状态(即,提取图像处理状态)。
然后,在完成S474时,处理返回。
接下来通过参照图45C中所示的流程图以及图46F和图48来对(图44B中所示的S460的)将提取图像作为非提取图像添加(即,从提取图像中删除)的处理进行描述。
如图45C所示,该处理首先从在S456中确定的提取图像(下文中简称为“确定的提取图像”)的图像数据的辅助信息中读取与设定的搜索条件(即,搜索表达式)中包括的参数相对应的信息,并基于该信息通过删除搜索范围来缩减搜索条件(S481)。由于本示例使用条件1(即,搜索表达式“b”)作为设定的搜索条件,因此从与确定的提取图像有关的图像数据的辅助信息中读取拍摄时间,并通过删除以读出的拍摄时间为中心值的±0:05的搜索范围来缩减搜索条件。这里,所确定的提取图像的拍摄时间为13:00,因此删除13:00±0:05的搜索范围。由此,将搜索范围从13:20±0:20的拍摄时间加上13:50±0:05的拍摄时间的范围缩减到从上述增加了的拍摄时间范围减去13:00±0:05的拍摄时间范围所得的结果,因此导致缩减了搜索条件。
然后,将缩减的搜索条件存储在内置存储器412中(S482)。具体地说,将要删除的搜索范围(下文中简称为“删除的搜索范围”)的信息添加到搜索条件信息并将其存储在内置存储器412中。图46F是例示添加到搜索条件信息的删除的搜索范围的信息的图。以该方式将删除的搜索范围添加到搜索条件信息,导致存储缩减的搜索条件。
然后,基于存储在内置存储器412中的搜索条件信息来执行从可拆卸存储器407中记录的图像数据中搜索与搜索条件相匹配的图像数据(S483)。即,搜索与缩减的搜索条件相匹配的图像数据。因此,本示例基于搜索条件信息来搜索包含在13:20±0:20的拍摄时间的搜索范围或者13:50±0:05的拍摄时间的搜索范围中并且不包含在13:00±0:05的拍摄时间的搜索范围中的图像数据。图48是表示这种情况下缩减的搜索范围的图示图。用点线描绘的删除的范围451表示以确定的提取图像的拍摄时间为中心值的删除的搜索范围,初始范围452表示以搜索源图像的拍摄时间为中心值的搜索范围,附加范围453表示以确定的非提取图像的拍摄时间为中心值的附加的搜索范围。由此,最终执行对拍摄时间在13:05与13:40之间或者在13:45与13:55之间的图像数据的搜索。顺便指出,起初未选择由点线表示的删除的范围451中的12:55与12:59之间的范围。
然后,从可拆卸存储器407中读取与该缩减的搜索条件相匹配的图像数据,并将与该图像数据有关的图像(即,提取图像)显示在显示部件418的显示画面中的提取图像窗内;并且,从可拆卸存储器407中读取不与缩减的搜索条件相匹配的图像数据,并将与该图像数据有关的图像(即,非提取图像)与上述S437(参照图45A)同样地显示在显示画面中的非提取图像窗内。应注意,该结构使得:可以在不落入非提取图像窗内的情况下显示作为所确定的提取图像的图像,以使得用户能够识别出所确定的提取图像被作为非提取图像添加的事实。
此外,在S484中,已经对提取图像窗显示的窗框移动到非提取图像窗,并且对非提取图像窗内的规定位置处显示的非提取图像(例如,左端显示的非提取图像)显示光标。应注意,不显示窗框的提取图像窗内的光标现在隐藏。
该处理使摄像机的状态转换成使得能够处理非提取图像窗内的非提取图像的状态(即,非提取图像处理状态)。
然后,在完成S484时,处理返回。
下面通过使用图47的其余部分对包括图45B中所示的将非提取图像作为提取图像添加的处理以及图45C中所示的将提取图像作为非提取图像添加的处理的(图44B中示出的)操作过程中所显示的屏面图像示例进行描述。
参照图47,在显示有显示画面334(即,摄像机的状态处于非提取图像处理状态)时按Left/Right按钮(即,Left按钮439和Right按钮440),使得可以通过移动在非提取图像窗436内显示的光标438来选择非提取图像。这里,在对非提取图像窗436内左端的非提取图像441显示光标438时按OK按钮433,将所选的非提取图像441确定成要被作为提取图像添加的非提取图像,并改变光标438的颜色,如显示画面442所示。这里,为了便于绘图,由斜线阴影表示改变后的光标438的颜色。例如,如果光标438的通常颜色为绿色,则将光标438的颜色改变成红色。该结构使得用户能够识别出非提取图像441已被确定成要作为提取图像添加的非提取图像的情况。这里,根据图45B中所示的处理,再次按Up按钮443使得扩展并存储搜索条件、基于扩展的搜索条件进行图像搜索、并显示显示画面444。作为基于扩展的搜索条件进行图像搜索的结果,显示画面444在提取图像窗435中显示2×2的提取图像,并在非提取图像窗436中显示1×4的非提取图像。在这种情况下,非提取图像441作为提取图像441’无误地显示在提取图像窗435内,以使得用户能够识别出非提取图像441已被作为提取图像添加的情况。这导致要被作为提取图像添加的非提取图像从非提取图像窗移动到提取图像窗。然后,尽管这里图中未示出,但是已经显示在非提取图像窗436中的窗框437移动到提取图像窗435,并且对提取图像窗435内规定位置显示的提取图像显示光标。顺便指出,非提取图像窗436内的光标446现在隐藏。这促使摄像机的状态转换成提取图像处理状态。
同时,在显示画面434中按Down按钮445使已经显示在非提取图像窗436中的窗框437移动到提取图像窗435,并对提取图像窗435内左下部显示的提取图像显示光标446,如显示画面445所示。顺便指出,非提取图像窗436内的光标438现在隐藏。这促使摄像机的状态转换成提取图像处理状态。在显示画面445中,按Left/Right按钮(即,Left按钮439和Right按钮440)使得可以通过移动提取图像窗435内显示的光标446来选择提取图像。这里,在对提取图像窗435内左下部的提取图像447显示光标446时按OK按钮433,将所选的提取图像447确定成要被作为非提取图像添加的提取图像,并且改变光标446的颜色,如显示画面448所示。为了便于绘图,改变后的光标446的颜色由斜线阴影表示。例如,如果光标446的通常颜色为绿色,则光标446的颜色改变成红色。该结构使得用户能够识别出提取图像447被确定成要被作为非提取图像添加的提取图像的情况。这里,根据图45C中所示的处理,再次按Down按钮45使得缩减并存储搜索条件、基于缩减的搜索条件进行图像搜索、并显示一显示画面449。作为基于缩减的搜索条件进行图像搜索的结果,显示画面449在提取图像窗435中显示2×2的提取图像,并在非提取图像窗436中显示1×4的非提取图像。在这种情况下,提取图像447作为非提取图像447’无误地显示在非提取图像窗436内,以使得用户能够识别出提取图像447已被作为非提取图像添加的情况。这导致要被作为非提取图像添加的提取图像从提取图像窗移动到非提取图像窗。然后,尽管这里图中未示出,但已经显示在提取图像窗435中的窗框移动到非提取图像窗436,并且对在非提取图像窗436内的规定位置显示的非提取图像显示光标438。顺便指出,提取图像窗435内的光标446现在隐藏。这促使摄像机的状态转换成非提取图像处理状态。
应注意,在显示画面445中按Up按钮443使得可以返回到显示画面434。
如上所述,在摄像机的状态处于非提取图像处理状态(例如,显示画面434的状态)时,用户按Left/Right按钮和OK按钮来选择并确定要添加作为提取图像的非提取图像,并且再次按Up按钮使得基于非提取图像(即,所确定的非提取图像)增加搜索范围,使得可以基于扩展的搜索条件来进行图像搜索。此外,在非提取图像处理状态,按Up按钮还使得可以将摄像机的状态转换成提取图像处理状态。
此外,在摄像机的状态处于提取图像处理状态(例如,显示画面445的状态)时,用户按Left/Right按钮和OK按钮来选择并确定要被作为非提取图像添加的提取图像,并且再次按Down按钮使得基于提取图像删除搜索范围,使得可以基于缩减的搜索条件来进行图像搜索。此外,在提取图像处理状态,按Down按钮使窗框移动,从而使得可以将摄像机的状态转换成非提取图像处理状态。
此外,如上所述,窗框的移动方向与按钮的操作方向(即,Up按钮和Down按钮的处理)之间相匹配的事实,所确定的非提取图像的移动方向与按钮的操作方向(即,Up按钮)之间相匹配的事实,以及所确定的提取图像与按钮的操作方向(即,Down按钮)之间相匹配的事实向用户提供了非常易于理解的可操作性。
如至此所描述的,当用户试图从在可拆卸存储器407中记录的图像数据中搜索仅满足任意条件的图像数据并对其进行显示时,本实施方式使得不仅可以任意地改变条件(例如,图46B中所示的“条件1”和“条件2”)而且可以任意地改变条件的范围(例如,与拍摄时间有关的搜索范围)。此外,使得可以仅通过诸如指定作为图像搜索的结果显示在屏面中的图像的简单操作来改变条件的范围。该结构使得:用户能够简单且容易地更新搜索条件以使图像搜索的结果满足该用户的意图。
因此可以以简单的操作方式任意地改变用户进行图像搜索时所使用的搜索条件的范围。
应注意,本实施方式被构造成:将附加的搜索范围和删除的搜索范围二者都设置为以确定的图像的拍摄时间为中心值的±0:05的范围,如图46E和图46F所示。然而,该±0:05的范围是任意的,例如,该范围可以根据在时间上与确定的图像相邻的图像的拍摄时间的间隔、以不使附加的搜索范围与删除的搜索范围相互交叠的方式来改变。作为另外一种选择,可以将时间上相邻的图像之间拍摄时间的最短时间间隔统一设置为不使附加的搜索范围与删除的搜索范围相互交叠的范围。
此外,本实施方式被构造成:将搜索源图像的拍摄时间指定为中心值的搜索范围的信息、将所确定的非提取图像的拍摄时间指定为中心值的附加的搜索范围的信息、以及将所确定的提取图像的拍摄时间指定为中心值的删除的搜索范围的信息作为搜索条件信息进行存储,如图46C、图46E和图46F所示。然而,一种另选的结构可以是如下的结构:替代上述种类的信息而存储如搜索源图像、所确定的非提取图像和所确定的提取图像中的每一个的链接信息;基于该链接信息从这些图像中的每一个的辅助信息中读取必要的信息;并获得指定搜索源图像的拍摄时间的初始范围、将所确定的非提取图像的拍摄时间指定为中心值的附加的搜索范围、以及将所确定的提取图像的拍摄时间指定为中心值的删除的搜索范围。
此外,本实施方式可以被构造成:对可以被作为提取图像的非提取图像添加的数量(即,附加的搜索范围的数量)设置上限。也可以被构造成:对可以作为非提取图像添加的提取图像的数量(即,删除的搜索范围的数量)设置上限。
此外,本实施方式被构造成:将搜索条件信息存储在内置存储器412中;然而,搜索条件信息的存储结构是任意的。一种示例结构可以将搜索条件信息作为图像管理文件存储在内置存储器412中,如图49A所示。而另一种结构可以将搜索条件信息作为图像管理文件记录在可拆卸存储器407中,如图49B所示。还一种结构可以通过将搜索条件信息包括在图像文件的辅助信息中将搜索条件信息记录在可拆卸存储器407中,如图49C所示。
<第五实施方式>
根据本发明第五优选实施方式的摄像机是一种能够简单且容易地搜索期望图像的摄像机,具体地说,是一种能够通过简单且易于理解的方法从记录的照片图像中简单地提取期望照片图像的摄像机。
图50是例示作为根据本实施方式的摄像机的数字摄像机的结构的图。
参照图50,该数字摄像机包括用于将被摄体像成像在成像元件507(即,CCD、CMOS等)上的拍摄透镜501。拍摄透镜501包括聚焦透镜系统502a、光圈503、快门504和用于改变焦距的可变放大系统502b。被摄体的经成像元件507光电转换并读取的照片图像由图像提取单元508提取并由图像处理单元509进行必要的图像处理,接着利用存储控制单元501的控制而被存储在内部存储器(即,内部存储单元)511(例如,闪存)或外部存储器(即,外部存储单元)512(例如,存储卡(例如,xD图像卡(注册商标)))中。与存储处理并行的是,将被摄体像显示在显示单元(例如,TFT)514的显示画面中。
焦点检测单元515基于通过成像元件507所应用的光电转换而获得的照片图像来检测焦点,并且基于获得的结果,透镜驱动单元516驱动聚焦透镜系统502a沿光轴方向移位,以将被摄体像以聚焦状态成像在成像元件507上。然后,基于被驱动并移位的透镜位置来计算物距的信息。
测光单元517基于物体的经成像元件507光电转换并读取的照片图像来测量物体的亮度,光圈驱动单元518根据与测量的亮度相对应的测光单元517的输出来驱动光圈503,成像元件感光度设置单元519改变或设置成像元件507的感光度。应注意,该结构包括基于光圈值设置单元520的输出来驱动光圈503以及进行设置以改变成像元件507的感光度的能力,光圈值设置单元520用于根据用户(即,拍摄者)的摄像机操作来设置光圈值。
闪光灯单元521在闪光灯闪光用电容器(这里图中未示出)中存储电荷,并在拍摄定时将闪光灯闪光用电容器中存储的电荷释放到闪光灯闪光单元(例如,氙灯)522,从而使其进行闪光灯闪光。
快门504通常是打开的以使物体的图像可以连续显示在显示单元514上,从而使显示单元514能够用作取景器。当用户操作释放开关523以开始拍摄时,快门504关闭,接着根据上述处理来提取物体的图像,存储该图像并显示该图像。关闭快门的原因是为了防止作为物体或摄像机在提取图像的中途移动的结果而使成像元件507上的被摄体像改变。应注意,快门504的打开和关闭由快门驱动单元524来进行。该结构还包括快门驱动单元524根据快门速度设置单元525的输出而驱动快门504从而以期望快门速度打开和关闭快门504的能力,快门速度设置单元525用于对响应于用户的摄像机操作的快门速度进行设置。
变焦开关526由下变焦开关526a和上变焦开关526b构成。在拍摄模式中用户对变焦开关526的操作使变焦驱动单元527基于变焦开关526的输出而驱动可变放大系统502b沿光轴方向移位,从而改变聚焦透镜系统502a的焦距。在重放模式中用户对变焦开关526的操作使重放图像基于变焦开关526的输出而放大或缩小,或者使重放形式基于变焦开关526的输出而在索引重放与单帧重放之间改变。
模式设置单元528根据用户的摄像机操作来设置操作模式。可设置的操作模式包括诸如拍摄模式和重放模式的各种模式。
开关组529是一组开关,包括用于根据用户的按钮操作而接通/断开的开关、用于从用户接收各种指令的开关。按钮包括稍后描述的电源按钮、菜单按钮、喜爱的按钮、Up/Down/Left/Right按钮或OK按钮。
外部设备控制单元530对与外部设备(例如,个人计算机(PC))532的通信进行控制。
摄像机控制单元531由CPU531a、ROM531b和SDRAM531c构成。通过总线线路533连接至各个单元的CPU531a基于存储在ROM531b中的控制程序来控制数字摄像机的整体。例如,CPU531a还基于模式设置单元528的模式设置信号、基于快门速度设置单元525的快门速度设置信号、并基于光圈值设置单元520的光圈值设置信号来控制各开关523、526、529(例如,显示在显示单元514中的、通过触摸屏等实现的功能开关键)的执行。使用可编程ROM、Flash ROM等的SDRAM531c用作用于临时存储图像数据的工作区。ROM531b用于存储控制程序和用于执行数字摄像机的其他各种功能的程序。ROM531b额外存储对于执行程序所必须的各种数据以及喜爱的文件(稍后描述)。
图51是根据本实施方式的数字摄像机的后视图。
参照图51,TFT541是显示单元514的显示画面。快门按钮542是用于指示拍摄的按钮。当快门按钮542被按下时,释放开关523被接通。
变焦按钮543(即,543a和543b)是用于指示变焦到广侧(广角侧)或远摄侧的按钮。按变焦按钮543a使变焦开关526a接通,进行到广侧的变焦。按变焦按钮543b使变焦开关526b接通,进行到远摄侧的变焦。变焦按钮543(即,543a和543b)还具有放大或缩小重放图像或者使显示形式在索引重放与单帧重放之间改变的功能。
菜单按钮544是用于指示在TFT541中显示各种菜单或者取消它们的按钮。喜爱的按钮545是用于指示开始对图像的搜索处理(稍后详细描述)的按钮。Up/Down/Left/Right按钮546(即,Up按钮546a、Down按钮546b、Left按钮546c和Right按钮546d)是用于指示使显示在TFT541中的光标(包括光标框)移动并针对显示在TFT541中的图像的帧前进的按钮。OK按钮547是用于指示对显示在TFT541中的项或图像进行确定的按钮。按OK按钮547使得可以指定用于稍后描述的图像搜索的类别和部分图像。
应注意,本实施方式被构造成使得能够通过操作菜单按钮544、Up/Down/Left/Right按钮546和OK按钮547来设定诸如拍摄模式和重放模式的各种模式;然而,另选的结构例如可以在数字摄像机的背面装备使得能够设定各种操作模式的模式转盘,并基于转盘操作来设定操作模式。
同时,本实施方式包括作为拍摄模式的多种模式(例如,能够利用摄像机自动设置的拍摄条件进行拍摄的自动模式)以及其中摄像机根据拍摄场景而自动设置适当的拍摄条件的各种模式(例如,肖像模式、自拍像模式、睡眠脸模式、风景模式、夜景模式、日落模式、风景和人物模式、夜景和人物模式,以及宏(macro)模式)。根据本实施方式,这些模式可以通过操作菜单按钮544、Up/Down/Left/Right按钮546和OK按钮547来设定。
接下来描述根据本实施方式的数字摄像机的操作。应注意,本操作通过CPU531a读取并执行存储在ROM531a中的程序来实现,如上所述。
图52是示出根据本实施方式的数字摄像机的总体操作的流程图。
如图52所示,当在根据本实施方式的数字摄像机处于断电状态时检测到用户进行的通电操作(即,按了电源按钮(这里图中未示出))(步骤501;下文中简称为“S501”)时,摄像机变成通电状态(S502),通过将操作模式设定成拍摄模式来进行拍摄模式中的初始化处理(S503),并变成拍摄待机状态(S504)。顺便指出,在S503中,在拍摄模式中的初始化处理中,进行拍摄所必须的读取处理,例如,将聚焦透镜系统502a和可变放大系统502b移动到使得能够拍摄的位置。
然后,检测操作键输入(S505)。首先,判断操作输入是否为断电操作输入(即,按了电源按钮(这里未示出))(S506),如果判断结果为“是”,则摄像机变成断电状态(S507),并且该流程结束。
如果S506的判断结果为“否”,则判断在S505中检测到的操作输入是否为释放操作(即,按了快门按钮542(即,使释放开关523接通))(S508),如果判断结果为“是”,则进行拍摄操作(S509)。应注意,将在拍摄操作中拍摄的图像作为图像文件记录在内部存储器511或外部存储器512中。图像文件不仅包括表示照片图像的图像数据,而且包括其辅助信息。辅助信息包括诸如拍摄时的拍摄日期和拍摄条件的信息。拍摄条件的信息包括诸如以下信息:拍摄时的拍摄模式(即,上述自动模式、肖像模式、风景模式等)、是否应用闪光发光及其种类、是否使用自拍器、物距(即,长距、中/短距、宏)、快门速度和曝光值。应注意,物距是通过焦点检测单元515获得的。
然后,在完成S509中的拍摄操作时,处理转回到S504。
如果S508的判断结果为“否”,则判断在S505中检测到的操作输入是否为变焦操作(即,按了变焦按钮543(即,接通了变焦开关526))(S510),如果判断结果为“是”,则进行变焦操作(S511),接着返回到S504。
如果S510的判断结果为“否”,则判断在S505中检测到的操作输入是否为除了用于设置重放模式的操作之外的菜单操作(即,按了菜单按钮544)(S512),如果判断结果为“是”,则进行相应的设置操作(S513),接着处理转回到S504。
如果S512的判断结果为“否”,则判断在S505中检测到的操作输入是否为用于设置重放模式的菜单操作(即,按了菜单按钮544)(S514),并且处理转回到S504。
如果S514的判断结果为“是”,则操作模式从拍摄模式改变成重放模式(S515),进行重放模式中的初始化处理(S516),并且状态变成单帧显示(S517)。应注意,S516中的重放模式中的初始化处理进行重放所需的准备操作。此外,在S517的单帧显示状态中,读取内部存储器511或外部存储器512中记录的一个照片图像(例如,最新拍摄的照片图像),并将其显示在TFT541中。
然后,检测操作键输入(S518)。首先,判断操作输入是否为断电操作(即,按了电源按钮(这里图中未示出))(S519),如果判断结果为“是”,则摄像机变成断电状态(S520),并且本流程结束。
如果S519的判断结果为“否”,则判断在S518中检测到的操作输入是否为Up/Down/Left/Right按钮操作(即,按了Up/Down/Left/Right按钮546)(S521),如果判断结果为“是”,则根据对按钮的按压操作来进行帧前进操作或帧后退操作(S522)。帧前进操作或帧后退操作使得可以根据对Up/Down/Left/Right按钮546的按压来读取内部存储器511或外部存储器512中记录的照片图像并将其显示在TFT541中。例如在单帧重放状态中,该操作使得可以根据对Left按钮546c和Right按钮546d的按压来逐帧读取在内部存储器511或外部存储器512中记录的照片图像并将其显示在TFT541中。或者在索引重放状态中,可以根据对Up按钮546a和Down按钮546b的按压来读取在内部存储器511或外部存储器512中记录的各规定帧数的照片图像并将其显示在TFT541中。此外,在索引重放状态中,还使得能够对显示的多个照片图像中的一个显示光标,并根据对Left按钮546c和Right按钮546d的按压来移动光标。
如果S521的判断结果为“否”,则判断在S518中检测到的操作输入是否为远摄操作(即,按了变焦按钮543b(即,接通了变焦开关526b))(S523),如果判断结果为“是”,则对以单帧重放显示在TFT541中的照片图像进行放大,并以单帧形式重放(S524),并且处理转回到S518。然而,在索引重放状态,重放形式从索引重放改变成单帧形式(S524),并且处理转回到S518。如果重放形式改变成单帧重放,则变成单帧重放状态。
如果S523的判断结果为“否”,则判断在S518中检测到的操作输入是否为广角操作(即,按了变焦按钮543a(即,接通变焦开关526a))(S525),如果判断结果为“是”,则对经放大并显示在TFT541中的照片图像进行缩小并以单帧形式对其进行显示(S526),并且处理转回到S518。然而,如果已经以单帧形式、按普通尺寸而不是放大的尺寸进行显示,则重放形式从单帧重放形式改变成索引重放形式(S526),并且处理转回到S518。如果重放形式改变成索引重放,则变成索引重放状态。
如果S525的判断结果为“否”,则判断在S518中检测到的操作输入是否为删除操作(即,按了删除按钮(这里图中未示出))(S527),如果判断结果为“是”,则从内部存储器511或外部存储器512中删除以单帧重放在TFT541中重放的照片图像(即,图像文件)(S528),接着处理转回到S517。然而,在索引重放状态中,从内部存储器511或外部存储器512中删除显示有光标的照片图像(即,图像文件)(S528),并且处理转回到S517。
如果S527的判断结果为“否”,则判断在S518中检测到的操作输入是否为菜单操作(即,按了菜单按钮544)(S529),如果判断结果为“是”,则进行相应的操作(S530),接着处理转回到S517。
如果S529的判断结果为“否”,则判断在S518中检测到的操作输入是否为喜爱的操作(即,按了喜爱的按钮545)(S531),如果判断结果为“是”,则进行喜爱的重放处理(S532)。该处理使得能够基于重放的照片图像来搜索拥有与来自内部存储器511或/和外部存储器512的照片图像的部分图像相同或相似的部分图像的照片图像并对其进行显示,稍后通过参照图53来对该处理的内容的细节进行描述。在完成喜爱的重放处理时,处理转回到S518。
如果S531的判断结果为“否”,则判断在S518中检测到的操作输入是否为用于设定拍摄模式的菜单操作(即,按了菜单按钮544)(S533),如果判断结果为“否”,则处理转回到S517。
如果S533的判断结果为“是”,则操作模式从重放模式改变成拍摄模式(S534),并且处理转回到S503。
图53是详细示出喜爱的重放处理(S532)的内容的流程图。
如图53所示,首先,如果进入该处理之前的重放状态是单帧重放状态,则已按单帧重放重放的照片图像以单帧重放形式显示在TFT中,而如果进入该处理之前的重放状态是索引重放状态,则显示有光标的照片图像以单帧重放形式显示在TFT541中(S541)。应注意,在这种情况下以单帧形式显示的照片图像构成搜索源图像。
然后,从以单帧形式显示的照片图像中拾取(即,提取)与在图像搜索时可使用的部分图像相对应的类别作为提取选择(S542)。应注意,可以拾取的类别是“脸”、“花”、“脊线”或“地平线”中的任一个或更多个,稍后通过参照图54来描述其详细内容。然而,如果不存在被拾取作为提取选择的类别,则喜爱的重放处理结束并且处理返回。
如果在S542中拾取了提取选择,则将拾取的提取选择与以单帧形式显示的照片图像一起显示在TFT541中,并且对拾取的提取选择中的一个显示光标(S543)。在这种情况下,光标是以框的形式显示的光标,由图55中所示的组件符号56表示。
然后,如果检测到用户在摄像机上操作的操作输入(S544),则首先判断按钮输入是否为按了Left按钮或Right按钮(即,Left按钮546c或Right按钮546d)(S545),如果判断结果为“是”,则显示的光标根据按钮操作而移动到另一提取选择(S546),并且处理转回到S544。这使得用户能够自由选择与要在图像搜索时使用的部分图像相对应的类别。如果在S542中仅提取了一个提取选择,则处理跳过S546并返回到S544。
如果S545的判断结果为“否”,则判断在S544中检测到的操作输入是否为按了OK按钮547(S547),如果判断结果为“否”,则处理转回到S544。
如果S547的判断结果为“是”,则将显示有光标的提取选择确定为要在图像搜索时使用的类别,并从以单帧形式显示的照片图像中提取与该类别相对应的所有的部分图像(S548)。作为示例,如果“脸”的类别被确定成要在图像搜索时使用的类别,则提取可识别为脸的部分图像。应注意,如果S547的判断结果为“是”(即,按了OK按钮),则意味着指定了要在图像搜索时使用的类别。
然后,对与在以单帧形式显示的照片图像中的提取到的照片图像相对应的部分显示部分图像框,并对部分图像框中的一个显示光标框(S549)。这导致在照片图像中以可识别的方式提取到的部分图像及其他部分显示。
然后,如果检测到用户操作的操作输入(S550),则首先判断按钮操作是否为按了Left按钮或Right按钮(即,Left按钮546c或Right按钮546d)(S551),如果判断结果为“是”,则显示的光标框根据按钮操作而移动到另一部分图像框(S552),并且处理转回到S550。这使得用户能够自由选择要在图像搜索时使用的部分图像。如果在S548中仅提取了部分图像,则跳过S552并且处理转回到S550。
如果S551的判断结果为“否”,则判断在S550中检测到的操作输入是否为按了菜单按钮544(S553),如果判断结果为“是”,则处理转回到S541。处理返回到S541删除了针对要在图像搜索时使用的部分图像确定的类别,使得用户能够重新指定类别。
如果S553的判断结果为“否”,则判断在S547中检测到的操作输入是否为按了OK按钮547(S554),如果判断结果为“否”,则处理转回到S550。
如果S554的判断结果为“是”,则将显示有光标框的部分图像框内的部分图像确定为要在图像搜索时使用的部分图像(S555)。应注意,如果如上所述地S555的判断结果为“是”(即,按了OK按钮),则导致指定要在图像搜索时使用的部分图像。
然后,从内部存储器511或外部存储器512中记录的照片图像中读取一个照片图像(S556),并且辨别在读出的照片图像中是否存在与在S555中确定的部分图像相同或相似的部分图像(S557)。
然后,基于辨别结果来判断在读出的照片图像中是否存在与在S555中确定的部分图像相同或相似的部分图像(S558),并且如果判断结果为“是”,则将对其进行了判断的照片图像的链接信息登记在ROM531b中存储的喜爱的文件中(S559)。然而,如果在这种情况下没有在ROM531b中存储喜爱的文件,则重新创建其中登记有链接信息的喜爱的文件,并将其存储在ROM531b中。
如果S558的判断结果为“否”,或者在完成S559之后,则接着判断在内部存储器511和外部存储器512中记录的照片图像中是否存在未对其应用S558的判断处理的未经处理的照片图像(560),如果判断结果为“是”,则读取未经处理的照片图像中的一个(S561),接着处理转回到S557。
因此,S555至S561的处理的进行从内部存储器511和外部存储器512中记录的照片图像中提取拥有与在S555中确定的部分图像相同或相似的部分图像的所有照片图像,并将提取的图像的链接信息登记在喜爱的文件中。
然后,如果S560的判断结果为“否”,则从内部存储器511或外部存储器512中读取与喜爱的文件中最初登记的链接信息相对应的一个照片图像(S562)并将其显示在TFT541中(S563)。应注意,在这种情况下,对与在S555中确定的部分图像相同或相似的部分图像显示部分图像框。这导致以可识别的方式显示该部分图像及其他部分。
然后,如果检测到用户的操作输入(S564),则首先判断按钮操作是否为按了Left按钮或Right按钮(即,Left按钮546c或Right按钮546d)(S565),如果判断结果为“是”,则根据按钮操作从内部存储器511或外部存储器512中读取与在喜爱的文件中登记的、在显示的照片图像的链接信息之前或之后登记的链接信息相对应的一个照片图像(S566),接着处理转回到S563。
如果S565的判断结果为“否”,则判断在S564中检测到的操作输入是否为按了菜单按钮544(S567),如果判断结果为“是”,则处理转回到S549。处理这样返回到S549以删除确定为要在图像搜索时使用的部分图像的部分图像,使得用户能够重新指定部分图像。
如果S567的判断结果为“否”,则判断在S564中检测到的操作输入是否为按了喜爱的按钮545(S568),如果判断结果为“否”,则处理转回到S564,而如果判断结果为“是”,则处理返回,并且喜爱的重放处理结束。
图54是示出用于拾取(S542)提取选择的处理的内容的流程图。
如图54所示,该处理从在S541中以单帧形式显示的照片图像中检测与类别中的每一个(即,“脸”、“花”、“脊线”和“地平线”)相对应的部分图像,并拾取与作为检测的结果而实际检测到的部分图像相对应的类别作为提取选择(S571),接着处理返回。
顺便指出,例如当从照片图像中检测与“脸”相对应的部分图像时,从该照片图像中检测可识别为脸的部分图像。在该步骤中,不需要检测画面中的所有脸,而是检测被拾取作为一个部分图像的“脸”,从而很快地对其进行处理,对于其他各个类别同样如此。在这种情况下,该检测使用诸如图案匹配方法、语义关联图像搜索方法等的已知搜索方法。
图55是例示在进行(S532的)喜爱的重放处理时根据按钮操作的TFT541的图像屏面变换的图。
参照图55,当以单帧重放显示照片图像552时按喜爱的按钮545使开始执行喜爱的重放处理,如显示画面551所示。
当开始执行喜爱的重放处理时,从显示画面551中已经显示的照片图像552中检测与类别中的每一个(即,“脸”、“花”、“脊线”和“地平线”)相对应的部分图像。该示例示出了以下情况:检测与“脸”和“花”的类别相对应的部分图像,并拾取“脸”和“花”的类别作为提取选择。如显示画面553所示,与照片图像552一起显示被拾取作为提取选择的表示“脸”类别的项554(下文中简称为’“脸”554’)和表示“花”类别的项555(下文中简称为“花”555),并且还对“脸”554显示光标556。
在显示画面553的状态中按Left按钮546c或Right按钮546d使光标556移动到另一提取选择。作为示例,光标556的显示位置从“脸”554移动到“花”555,或者从“花”555移动到“脸”554。并且按OK按钮547使确定显示有光标556的提取选择作为要在图像搜索时使用的部分图像的类别。
假设确定了“脸”554,则从照片图像552中提取与“脸”类别相对应的部分图像(即,可识别为脸的部分图像)。并且在以单帧形式显示的照片图像552中,对与提取的部分图像相对应的部分显示部分图像框558、559和560,并对它们中的一个部分图像框559显示光标框561,如显示画面557所示。
在显示画面557的状态中按菜单按钮554使恢复到显示画面553的状态,使得用户能够重新指定提取选择。并且在该状态中按Left按钮546c或Right按钮546d使光标561移动到另一部分图像框。作为示例,光标框561的显示位置从部分图像框559移动到部分图像框558或560。在该状态中按OK按钮547使确定显示有光标561的部分图像框内的部分图像作为在图像搜索时使用的部分图像。
例如,假设确定了部分图像框559内的部分图像,则从在内部存储器511和外部存储器512中记录的照片图像中提取拥有与部分图像框559内的部分图像相同或相似的部分图像的所有照片图像,并将相应提取的照片图像的链接信息登记在喜爱的文件中。从内部存储器511或外部存储器512中读取与在喜爱的文件中最初登记的链接信息相对应的照片图像563,如显示画面562所示。在这种情况下,在照片图像563中,对与部分图像框559内的部分图像相同或相似的部分图像显示部分图像框564。
在显示画面562的状态中按Left按钮546c或Right按钮546d使从内部存储器511或外部存储器512中读取与喜爱的文件中登记的其他链接信息相对应的照片图像并对其进行显示。作为示例,显示了在显示画面565中所示的照片图像566和在显示画面567中所示的照片图像568。在这种情况下,按与显示画面562相似的方式,对与部分图像框559内的部分图像相同或相似的部分图像显示部分图像框564。
因此,在显示与在喜爱的文件中登记的链接信息相对应的照片图像(例如,563、566或568)时按菜单按钮544而恢复到显示画面557的状态,使得用户能够重新指定要在图像搜索时使用的部分图像。并且按喜爱的按钮545而结束喜爱的重放处理,并且返回重放模式中的单帧重放状态。
如上所述,根据本实施方式的数字摄像机按以下方式构造:用户基于重放的照片图像从摄像机呈现的类别中指定要用于搜索的类别,然后根据指定的类别从摄像机呈现的照片图像中的部分图像中指定要用于搜索的部分图像,从而使得可以从内部存储器511或/和外部存储器512中搜索拥有与指定的部分图像相同或相似的部分图像的照片图像并对其进行显示。因此,该结构使得用户能够基于重放的照片图像来找出期望照片图像。还可以使得用户能够仅通过指定摄像机呈现的类别和部分图像来找出期望图像,提供了易于理解的操作。
同时,摄像机所呈现的类别是与从重放的照片图像中实际检测到的部分图像相对应的类别,因此决不会出现诸如以下问题:尽管用户指定了类别但未检测到相应的部分图像,因此仍不能执行搜索。
因此,可以通过使用简单且易于理解的方法,基于重放的照片图像,从记录的照片图像中提取期望照片图像并对其进行显示。
应注意,作为另一种选择,在根据本实施方式的数字摄像机的操作中,图53中所示的S542中进行的用于拾取提取选择的处理还可以被构造成:基于在用作搜索源图像的照片图像的辅助信息中包含的信息来拾取提取选择,作为图54中所示的处理的另一示例。
图56A和图56B是例示当构造成基于拍摄条件的信息来拾取提取选择时拍摄条件与提取的选取选择的相关性的图。
如图56A所示,如果在拍摄条件中包含的拍摄模式是除自动模式之外的其他拍摄模式,则根据所述除自动模式以外的拍摄模式来拾取提取选择。
这里,所述结构采用以下方式:由于肖像模式、自拍像模式和睡眠脸模式的情况很可能在照片图像中包括脸,因此选择“脸”类别作为提取选择。
风景模式、夜景模式和日落模式的情况很可能在照片图像中包括脊线和地平线,因此结构选择“脊线”和“地平线”类别。
“风景和人物模式”以及“夜景和人物模式”的情况很可能在照片图像中包括脸、脊线或地平线,因此该结构选择“脸”、“脊线”和“地平线”类别。
宏模式很可能包括花,因此结构选择“花”类别。
同时,如果拍摄条件的信息中包括的拍摄模式是自动模式,则基于在拍摄条件的信息中包括的多个信息来拾取提取选择,例如,是否存在红眼减少闪光、自拍器是否接通、或者物距是长、中或短、还是宏区域,如图56B所示。
这里,存在利用红眼减少闪光进行的闪光的情况很可能在照片图像中包括脸,因此将“脸”类别选为提取选择。
此外,接通自拍器的情况很可能在照片图像中包括脸,因此将“脸”类别选为提取选择。
物距是长距的情况很可能在照片图像中包括脊线或地平线,因此将“脊线”类别和“地平线”类别选为提取选择。物距是中或短距的情况很可能在照片图像中包括脸、脊线或地平线,因此将“脸”类别、“脊线”类别和“地平线”类别选为提取选择。物距为宏的情况很可能在照片图像中包括花,因此将“花”类别选为提取选择。
在拍摄模式为自动模式时拾取提取选择的情况下,对拍摄条件(例如,是否存在闪光发射、自拍器是否接通以及物距)赋予优先顺序,并根据优先顺序来拾取提取选择,如稍后通过参照图56C所描述的。
图56C是示出了基于如上所述的拍摄条件的信息来拾取提取选择的处理的流程图。
如图56C所示,该处理首先读取构成搜索源图像的照片图像(即,在图53的S541中以单帧形式显示的照片图像)的辅助信息,并基于辅助信息来判断拍摄时的拍摄模式是否为自动模式(S581)。
如果S581的判断结果为“否”,则基于辅助信息来判断拍摄时的拍摄模式是否为肖像模式、自拍像模式或睡眠脸模式(S582),如果判断结果为“是”,则拾取“脸”类别作为提取选择(S583),接着处理返回。
如果S582的判断结果为“否”,则基于辅助信息来判断拍摄时的拍摄模式是否为风景模式、夜景模式或日落模式(S584),如果判断结果为“是”,则拾取“脊线”类别和“地平线”类别作为提取选择(S585),接着处理返回。
如果S584的判断结果为“否”,则基于辅助信息来判断拍摄时的拍摄模式是否为“风景和人物模式”或“夜景和人物模式”(S586),如果判断结果为“是”,则拾取“脸”类别、“脊线”类别和“地平线”类别作为提取选择(S587),接着处理返回。
如果S586的判断结果为“否”,则基于辅助信息来判断拍摄时的拍摄模式是否为宏模式(S588),如果判断结果为“是”,则拾取“花”类别作为提取选择(S589),接着处理返回。
如果S588的判断结果为“否”,则进行与图54中所示的S571的处理相似的处理(S590),并且处理返回。
相反,如果S581的判断结果为“是”,则基于辅助信息来判断是否在拍摄时使用了红眼减少闪光(S591),如果判断结果为“是”,则拾取“脸”类别作为提取选择(S592),接着处理返回。
如果S591的判断结果为“否”,则基于辅助信息来判断是否在拍摄时接通了自拍器(S593),如果判断结果为“是”,则拾取“脸”类别作为提取选择(S592),接着处理返回。
如果S593的判断结果为“否”,则基于辅助信息来判断拍摄时的物距是否为长距(S594),如果判断结果为“是”,则拾取“脊线”类别和“地平线”类别作为提取选择(S595),接着处理返回。
如果S594的判断结果为“否”,则基于辅助信息来判断拍摄时的物距是否为中或短距(S596),如果判断结果为“是”,则拾取“脸”类别、“脊线”类别和“地平线”类别作为提取选择(S597),接着处理返回。
如果S596的判断结果为“否”,则基于辅助信息来判断拍摄时的物距是否为宏(S598),如果判断结果为“是”,则拾取“花”类别作为提取选择(S599),接着处理返回。
如果S598的判断结果为“否”,则进行与在图54中所示的S571的处理相似的处理(S600)并且处理返回。
这种处理使得可以基于在构成搜索源图像的照片图像的辅助信息中包括的拍摄条件的信息来拾取提取选择。
同时,在图53中所示的S542中进行的用于拾取提取选择的处理被构造成:提取在根据本实施方式的数字摄像机的操作中可以检测的所有类别的部分图像,如通过参照图54所描述的;然而,另选的结构示例可以对各类别赋予优先级,按优先级的降序检测与各个类别相对应的部分图像,并在检测到部分图像时确定提取选择。
图57是示出用于如上所述拾取提取选择的处理的结构的流程图。
如图57所示,该处理首先从构成搜索源图像的照片图像(即,在图53的S541中以单帧形式显示的照片图像)中检测与“脸”类别相对应的部分图像,判断是否检测到该部分图像(S611),如果判断结果为“是”,则确定并拾取“脸”类别作为提取选择(S612),并且处理返回。
如果S611的判断结果为“否”,则判断是否检测到与“脊线”类别相对应的部分图像(S613),如果判断结果为“是”,则确定并拾取“脊线”类别和“地平线”类别作为提取选择(S614),接着处理返回。
如果S613的判断结果为“否”,则从照片图像中检测与“地平线”类别相对应的部分图像,然后判断是否检测到该部分图像(S615),如果判断结果为“是”,则确定并拾取“脊线”类别和“地平线”类别作为提取选择(S616),接着处理返回。
如果S615的判断结果为“否”,则检测与“花”类别相对应的部分图像,然后判断是否检测到该部分图像(S617),如果判断结果为“是”,则确定并拾取“花”类别作为提取选择(S618),接着处理返回。
如果S617的判断结果为“否”,则处理返回。
这种处理使得可以对类别分配优先级顺序,通过从处于较高优先级的类别开始而依次检测与类别中的每一个相对应的部分图像,并在完成对部分图像的检测时确定要拾取的提取选择。
应注意,在根据本实施方式的数字摄像机的操作中,图53中所示的S548和S549的处理被构造成:当从照片图像中提取出与由用户的操作输入而选择和确定的类别相对应的部分图像时,对与提取的部分图像相对应的部分显示部分图像框,并且还对部分图像框中的一个显示光标框,如图55中的显示画面557所示;另选的结构例如可以如下所述地对处理进行修改。即,当提取了与由用户的操作输入而选择和确定的类别相对应的部分图像时,将提取的部分图像的尺寸调整成规定尺寸,通过与以单帧形式显示的照片图像排齐的方式显示尺寸经调整的部分图像,并且对尺寸经调整的部分图像中的一个显示光标框。
图58是例示当在如上所述进行修改的情况下执行喜爱的重放处理时根据按钮操作的TFT541的图像屏面变换的图。应注意,除了显示画面571替代了图55中所示的显示画面557之外,图58与图55相同。
如图58所示,例如,在显示画面553的状态中通过用户的按钮操作对“脸”类别的选择和确定使从以单帧显示显示的照片图像552中提取与“脸”类别相对应的部分图像,并将其尺寸调整为规定尺寸。并且将尺寸经调整的部分图像572、573和574与以单帧形式显示的照片图像552排齐,并对部分图像573显示光标框575,如显示画面571所示。
其他画面变换与图55中的画面变换相同,因此这里省略描述。
这种处理使得可以通过与以单帧形式显示的照片图像排齐的方式来向用户呈现部分图像。
应注意,在根据本实施方式的数字摄像机的操作中,图53中所示的喜爱的重放处理被构造成:以单帧形式在TFT541中显示与在喜爱的文件中登记的链接信息相对应的照片图像;然而,例如也可以以索引显示形式在TFT541中显示所述照片图像的规定数量的帧。
如图59A和图59B例示了当根据在喜爱的文件中登记的链接信息以索引形式显示照片图像时的屏面图像。
图59A中所示的示例例示了当以索引形式显示图55中所示的照片图像563、566和568时的屏面图像,还例示了对在与图55中所示的照片图像563、566和568的情况相同或相似的相应图像中的部分图像显示部分图像框的情况。图59B中所示的示例例示了被构造成不显示部分图像框的屏面图像。
这种以索引显示形式的显示使得用户能够以多个图像的集的方式来查看搜索到的图像。
并且,喜爱的重放处理可以被构造成:在显示与喜爱的文件中登记的链接信息相对应的照片图像时,根据用户的摄像机操作而使显示形式在索引形式与单帧形式之间改变。
同时,根据本实施方式的摄像机还可以是能够拍摄图像并对其进行重放的其他便携式设备,例如装有摄像机的便携式电话和装有摄像机的PDA,而不限于数字摄像机。
尽管至此已描述了实施方式1至5,但是根据各个实施方式的摄像机可以被构造成添加根据另一实施方式的摄像机的部分组成,或者还进行根据另一实施方式的摄像机中进行的处理的一部分。
尽管已详细描述了本发明,但是当然可以在本发明的范围内对本发明进行改进和/或修改,而不限于上述实施方式。
因此,本发明使得能够简单且容易地搜索期望图像。
Claims (50)
1.一种摄像机,该摄像机包括:
摄像单元,其用于拍摄被摄体像;
第一存储单元,其用于存储多个静止画面和多个运动画面作为图像,以及除所述图像之外的信息;
显示单元,其用于显示一个或多个图像或从所述摄像单元输出的图像;
搜索源指定单元,其用于指定搜索源图像;
搜索条件指定单元,其用于指定搜索条件;以及
搜索单元,其用于根据所述搜索条件指定单元所指定的所述搜索条件来搜索与所述搜索源指定单元所指定的所述搜索源图像相似的图像。
2.根据权利要求1所述的摄像机,其中,
所述搜索源指定单元从存储在所述第一存储单元中的图像中选择一个图像,从而指定所述搜索源图像。
3.根据权利要求1所述的摄像机,该摄像机还包括:
第二存储单元,其用于与所述第一存储单元相独立地存储多个图像以及除图像之外的信息;以及
选择/存储单元,其用于从存储在所述第一存储单元中的图像中选择一个或多个图像,从而将所述一个或多个图像存储在所述第二存储单元中,其中,
所述搜索源指定单元从存储在所述第二存储单元的图像中选择一个图像,从而指定所述搜索源图像。
4.根据权利要求1所述的摄像机,该摄像机还包括:
提取单元,其用于提取运动图像的一部分,并将所述部分作为静止画面,其中,
所述搜索源指定单元将所述提取单元的输出作为所述搜索源图像。
5.根据权利要求1所述的摄像机,其中,
所述搜索源指定单元将从所述摄像单元输出的图像作为所述搜索源图像。
6.根据权利要求1所述的摄像机,该摄像机还包括:
特征指定单元,其用于指定一图像的一部分或其多个部分作为该图像的特征部分,其中,
所述搜索条件指定单元将所述特征指定单元所指定的特征作为所述搜索条件。
7.根据权利要求6所述的摄像机,其中,
所述特征指定单元围起所述图像的所述一部分或所述图像的所述多个部分,从而指定所述特征部分。
8.根据权利要求6所述的摄像机,其中,
所述特征指定单元描画所述图像的所述一部分或所述图像的所述多个部分,从而指定所述特征部分。
9.根据权利要求6所述的摄像机,其中,
所述特征指定单元将与所述图像的所述一部分颜色大致相同的范围作为所述特征部分。
10.根据权利要求1所述的摄像机,其中,
所述图像拥有添加到所述图像上的一条或多条辅助信息,其中,
所述搜索条件指定单元指定所述辅助信息的一部分或所述辅助信息的全部。
11.根据权利要求10所述的摄像机,其中,
所述辅助信息保持在与保持所述图像的文件相同的文件中,或者保持在与包含所述图像文件的文件不同的文件中,并具有包含所述辅助信息的文件与所述图像文件之间的相关性的信息。
12.根据权利要求10所述的摄像机,该摄像机还包括:
辅助信息范围指定单元,其用于指定以所述辅助信息的值为中心的范围,其中,
所述搜索条件指定单元将所述辅助信息范围指定单元的输出作为所述搜索条件。
13.根据权利要求10所述的摄像机,该摄像机还包括:
特征指定单元,其用于指定一图像的一部分或其多个部分作为该图像的特征部分,其中,
所述搜索条件指定单元通过将所述辅助信息的一部分或其全部与所述特征指定单元的输出相组合来进行指定。
14.根据权利要求13所述的摄像机,
根据所述辅助信息来改变所述特征指定单元的输出。
15.根据权利要求1所述的摄像机,
根据所述搜索单元的输出来改变所述搜索条件指定单元的输出。
16.根据权利要求15所述的摄像机,
如果所述搜索单元的输出是不存在图像,则通过改变所述搜索条件指定单元的输出来再次执行搜索。
17.根据权利要求1所述的摄像机,该摄像机还包括:
搜索对象指定单元,其中,
所述搜索单元搜索所述搜索对象指定单元所指定的搜索对象。
18.根据权利要求3所述的摄像机,该摄像机还包括:
搜索对象指定单元,其中,
所述搜索单元搜索所述搜索对象指定单元所指定的搜索对象。
19.根据权利要求18所述的摄像机,其中,
所述搜索对象指定单元指定存储在所述第一存储单元或/和第二存储单元中的图像。
20.根据权利要求17所述的摄像机,其中,
所述搜索对象指定单元从存储在所述第一存储单元中的图像中指定一个或多个图像,从而指定所述搜索对象。
21.根据权利要求17所述的摄像机,其中,
所述图像除了拥有作为主要图像的主图像之外,还拥有缩小成具有比所述主图像小的尺寸的次图像,其中,
所述搜索对象指定单元指定所述图像的次图像。
22.根据权利要求17所述的摄像机,其中,
所述搜索对象指定单元指定一运动图像的整体,并且
所述搜索单元输出与所述运动图像最匹配的部分。
23.根据权利要求17所述的摄像机,该摄像机还包括:
通信单元,其用于执行与设置在所述摄像机的外部的第三存储单元的通信,其中,
所述搜索对象指定单元指定存储在所述第三存储单元中的图像。
24.根据权利要求1所述的摄像机,其中,
所述显示单元同时地或依次地显示所述搜索源指定单元所指定的图像和从所述搜索单元输出的图像。
25.根据权利要求24所述的摄像机,其中,
所述显示单元以可识别的格式同时地或依次地显示所述搜索源指定单元所指定的图像和从所述搜索单元输出的图像。
26.根据权利要求17所述的摄像机,其中,
所述显示单元以可识别的格式同时地或依次地显示所述搜索对象指定单元所指定的多个图像中的不是从所述搜索单元输出的图像和从所述搜索单元输出的图像。
27.根据权利要求1所述的摄像机,其中,
所述显示单元以可识别的格式同时地或依次地显示所述搜索条件指定单元的输出和从所述搜索单元输出的图像。
28.根据权利要求6所述的摄像机,其中,
所述显示单元以可识别的格式同时地或依次地显示所述特征指定单元所指定的特征部分和从所述搜索单元输出的图像。
29.根据权利要求13所述的摄像机,其中,
所述显示单元以可识别的格式同时地或依次地显示所述特征指定单元所指定的特征部分和从所述搜索单元输出的图像。
30.根据权利要求12所述的摄像机,其中,
所述显示单元同时地或依次地显示所述辅助信息范围指定单元所指定的范围和从所述搜索单元输出的图像。
31.根据权利要求24所述的摄像机,该摄像机还包括:
第一重排单元,其用于根据所述图像的所述辅助信息来重排所述图像,其中,
所述第一重排单元重排从所述搜索单元输出的所述图像。
32.根据权利要求31所述的摄像机,其中,
所述图像拥有各自的拍摄日期作为一条辅助信息,其中,
所述第一重排单元根据所述拍摄日期来重排所述图像。
33.根据权利要求24所述的摄像机,该摄像机还包括:
相似性判断单元,其用于判断所述搜索条件指定单元的输出与从所述搜索单元输出的图像之间的相似性;以及
第二重排单元,其用于根据所述相似性判断单元的输出来重排所述图像,其中,
所述第二重排单元重排从所述搜索单元输出的所述图像。
34.根据权利要求1所述的摄像机,该摄像机还包括:
相关性单元,其中,
所述相关性单元生成使从所述搜索单元输出的图像相互关联的相关性信息。
35.根据权利要求3所述的摄像机,该摄像机还包括:
相关性单元,其中,
所述相关性单元生成使从所述搜索单元输出的图像相互关联的相关性信息。
36.根据权利要求34所述的摄像机,其中,
所述相关性单元生成使所述搜索源指定单元所指定的图像与从所述搜索单元输出的图像相互关联的相关性信息。
37.根据权利要求34所述的摄像机,其中,
所述相关性单元将所生成的相关性信息添加到从所述搜索单元输出的所述图像的辅助信息中。
38.根据权利要求35所述的摄像机,其中,
所述相关性单元将所生成的相关性信息存储在所述第一存储单元或/和所述第二存储单元中。
39.根据权利要求35所述的摄像机,其中,
所述相关性单元将从所述搜索单元输出的图像存储在所述第一存储单元或/和所述第二存储单元中。
40.根据权利要求3所述的摄像机,该摄像机还包括:
缩减单元,其中,
所述缩减单元生成作为对从所述搜索单元输出的所述图像进行缩减的结果的缩减图像,并将所述缩减图像存储在所述第一存储单元或/和所述第二存储单元中。
41.根据权利要求40所述的摄像机,其中,
所述缩减单元根据所述显示单元的显示方法来缩减从所述搜索单元输出的所述图像。
42.根据权利要求3所述的摄像机,其中,
所述第一存储单元或/和所述第二存储单元存储所述搜索条件指定单元所指定的条件。
43.根据权利要求1所述的摄像机,其中,
如果所述搜索单元的输出不存在,则所述显示单元显示所述搜索单元的输出不存在的事实。
44.根据权利要求3所述的摄像机,其中,
所述第一存储单元是可拆卸地安装到所述摄像机上的,而所述第二存储单元是固定在所述摄像机上的。
45.根据权利要求1所述的摄像机,其中,
所述第一存储单元是CompactFlash卡、Micro Drive、Smart Media、Extreme Digital(xD)卡、Secure Digital(SD)卡和存储棒中的任一个或全部。
46.根据权利要求10所述的摄像机,其中,
所述辅助信息是拍摄时的拍摄模式、曝光值、快门速度、光圈关停值、ISO感光度、物体亮度、物光源、曝光校正值、焦距、白平衡、白平衡校正值、是否存在闪光发光、闪光发光强度校正值、闪光发光定时、清晰度校正值、对比度校正值、色饱和度校正值、亮度校正值、图像尺寸、图像分辨率或日期/时间中的任一个或全部;或者所述摄像机的名称、制造商名称、序列号或固件号。
47.一种用于摄像机的图像搜索方法,所述摄像机包括:
摄像单元,其用于拍摄被摄体像;
第一存储单元,其用于存储多个静止画面和多个运动画面作为图像,以及除了所述图像之外的信息;以及
显示单元,其用于显示一个或多个图像或从所述摄像单元输出的图像,所述图像搜索方法包括以下步骤:
指定搜索源图像;
指定搜索条件;以及
根据所指定的搜索条件来搜索与所指定的搜索源图像相似的图像。
48.根据权利要求47所述的用于摄像机的图像搜索方法,该方法还包括以下步骤:
指定搜索对象。
49.一种记录有一程序的计算机可读记录介质,所述程序使摄像机用作实现了以下功能的计算机,所述摄像机包括:
摄像单元,其用于拍摄被摄体像;
第一存储单元,其用于存储多个静止画面和多个运动画面作为图像,以及除了所述图像之外的信息;以及
显示单元,其用于显示一个或多个图像或从所述摄像单元输出的图像,所述功能包括:
搜索源指定功能,其用于指定搜索源图像;
搜索条件指定功能,其用于指定搜索条件;以及
搜索功能,其用于根据所述搜索条件指定功能所指定的所述搜索条件来搜索与所述搜索源指定功能所指定的所述搜索源图像相似的图像。
50.根据权利要求49所述的计算机可读记录介质,其中,
所述程序还使所述摄像机的计算机实现用于指定搜索对象的搜索对象指定功能。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006249258 | 2006-09-14 | ||
JP2006249258 | 2006-09-14 | ||
JP2006295223 | 2006-10-31 | ||
JP2006303882 | 2006-11-09 | ||
JP2006316229 | 2006-11-22 | ||
JP2006349598 | 2006-12-26 | ||
JP2007180302 | 2007-07-09 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101146178A true CN101146178A (zh) | 2008-03-19 |
Family
ID=39208446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2007101512308A Pending CN101146178A (zh) | 2006-09-14 | 2007-09-14 | 摄像机 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101146178A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673176A (zh) * | 2008-09-09 | 2010-03-17 | 三星电子株式会社 | 使用触摸屏搜索和执行内容的方法和装置 |
CN101815193A (zh) * | 2009-02-20 | 2010-08-25 | 奥林巴斯映像株式会社 | 再现装置和再现方法 |
CN102243644A (zh) * | 2010-05-12 | 2011-11-16 | 佳能株式会社 | 信息处理设备及其控制方法 |
CN102265602A (zh) * | 2008-12-26 | 2011-11-30 | 松下电器产业株式会社 | 图像拍摄装置 |
CN102332172A (zh) * | 2010-07-12 | 2012-01-25 | Lg电子株式会社 | 图片编辑方法和使用该方法的移动终端 |
CN101770489B (zh) * | 2008-12-27 | 2012-06-20 | 鸿富锦精密工业(深圳)有限公司 | 被摄主体信息获取系统及方法 |
CN102572226A (zh) * | 2010-12-09 | 2012-07-11 | 三星电子(中国)研发中心 | 自适应的分布式摄像方法及系统 |
CN103324634A (zh) * | 2012-03-22 | 2013-09-25 | 百度在线网络技术(北京)有限公司 | 为用户提供当前媒体文件所对应的查询结果的方法与装置 |
CN103402070A (zh) * | 2008-05-19 | 2013-11-20 | 株式会社日立制作所 | 记录再现装置及方法 |
CN103903291A (zh) * | 2012-12-24 | 2014-07-02 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
CN104053016A (zh) * | 2014-06-24 | 2014-09-17 | 深圳市江波龙电子有限公司 | 一种图像预览方法及装置 |
CN104137528A (zh) * | 2012-01-02 | 2014-11-05 | 三星电子株式会社 | 提供用户界面的方法及应用该方法的图像拍摄装置 |
CN104811576A (zh) * | 2014-01-27 | 2015-07-29 | 佳能株式会社 | 图像形成装置及信息处理方法 |
CN106227439A (zh) * | 2015-06-07 | 2016-12-14 | 苹果公司 | 用于捕获增强型数字图像和与之交互的设备和方法 |
CN106570015A (zh) * | 2015-10-09 | 2017-04-19 | 杭州海康威视数字技术股份有限公司 | 图像搜索方法和装置 |
CN106649538A (zh) * | 2016-10-26 | 2017-05-10 | 北京旷视科技有限公司 | 人脸搜索的方法及装置 |
CN110432709A (zh) * | 2019-08-09 | 2019-11-12 | 上海有电电子有限公司 | 一种基于液晶屏的透明展柜 |
CN110650285A (zh) * | 2018-06-26 | 2020-01-03 | 佳能株式会社 | 摄像系统、摄像设备、照明设备和控制方法 |
CN110955818A (zh) * | 2019-12-04 | 2020-04-03 | 深圳追一科技有限公司 | 搜索方法、装置、终端设备及存储介质 |
WO2021063222A1 (zh) * | 2019-09-30 | 2021-04-08 | 京东方科技集团股份有限公司 | 电子设备和图像处理方法 |
-
2007
- 2007-09-14 CN CNA2007101512308A patent/CN101146178A/zh active Pending
Cited By (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103402070A (zh) * | 2008-05-19 | 2013-11-20 | 株式会社日立制作所 | 记录再现装置及方法 |
CN101673176A (zh) * | 2008-09-09 | 2010-03-17 | 三星电子株式会社 | 使用触摸屏搜索和执行内容的方法和装置 |
CN105068720B (zh) * | 2008-09-09 | 2018-06-15 | 三星电子株式会社 | 使用触摸屏搜索和执行内容的方法和装置 |
CN103777888B (zh) * | 2008-09-09 | 2018-01-16 | 三星电子株式会社 | 使用触摸屏搜索和执行内容的方法和装置 |
US9442947B2 (en) | 2008-09-09 | 2016-09-13 | Samsung Electronics Co., Ltd. | Method and device to search for and execute content using a touch screen |
CN102265602A (zh) * | 2008-12-26 | 2011-11-30 | 松下电器产业株式会社 | 图像拍摄装置 |
CN101770489B (zh) * | 2008-12-27 | 2012-06-20 | 鸿富锦精密工业(深圳)有限公司 | 被摄主体信息获取系统及方法 |
US8532439B2 (en) | 2009-02-20 | 2013-09-10 | Olympus Imaging Corp. | Reproduction apparatus and reproduction method |
CN101815193B (zh) * | 2009-02-20 | 2013-11-06 | 奥林巴斯映像株式会社 | 再现装置和再现方法 |
CN101815193A (zh) * | 2009-02-20 | 2010-08-25 | 奥林巴斯映像株式会社 | 再现装置和再现方法 |
US8670045B2 (en) | 2010-05-12 | 2014-03-11 | Canon Kabushiki Kaisha | Information processing apparatus, control method thereof, and computer readable storage medium |
CN102243644A (zh) * | 2010-05-12 | 2011-11-16 | 佳能株式会社 | 信息处理设备及其控制方法 |
CN102332172A (zh) * | 2010-07-12 | 2012-01-25 | Lg电子株式会社 | 图片编辑方法和使用该方法的移动终端 |
CN102572226A (zh) * | 2010-12-09 | 2012-07-11 | 三星电子(中国)研发中心 | 自适应的分布式摄像方法及系统 |
CN104137528A (zh) * | 2012-01-02 | 2014-11-05 | 三星电子株式会社 | 提供用户界面的方法及应用该方法的图像拍摄装置 |
CN103324634A (zh) * | 2012-03-22 | 2013-09-25 | 百度在线网络技术(北京)有限公司 | 为用户提供当前媒体文件所对应的查询结果的方法与装置 |
CN103903291B (zh) * | 2012-12-24 | 2017-05-31 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
CN103903291A (zh) * | 2012-12-24 | 2014-07-02 | 阿里巴巴集团控股有限公司 | 一种自动修改图片的方法和装置 |
CN104811576B (zh) * | 2014-01-27 | 2019-09-06 | 佳能株式会社 | 图像形成装置及信息处理方法 |
CN104811576A (zh) * | 2014-01-27 | 2015-07-29 | 佳能株式会社 | 图像形成装置及信息处理方法 |
CN104053016B (zh) * | 2014-06-24 | 2018-09-28 | 深圳市江波龙电子有限公司 | 一种图像预览方法及装置 |
CN104053016A (zh) * | 2014-06-24 | 2014-09-17 | 深圳市江波龙电子有限公司 | 一种图像预览方法及装置 |
CN106227439A (zh) * | 2015-06-07 | 2016-12-14 | 苹果公司 | 用于捕获增强型数字图像和与之交互的设备和方法 |
CN106570015A (zh) * | 2015-10-09 | 2017-04-19 | 杭州海康威视数字技术股份有限公司 | 图像搜索方法和装置 |
CN106570015B (zh) * | 2015-10-09 | 2020-02-21 | 杭州海康威视数字技术股份有限公司 | 图像搜索方法和装置 |
CN106649538A (zh) * | 2016-10-26 | 2017-05-10 | 北京旷视科技有限公司 | 人脸搜索的方法及装置 |
CN110650285A (zh) * | 2018-06-26 | 2020-01-03 | 佳能株式会社 | 摄像系统、摄像设备、照明设备和控制方法 |
CN110432709A (zh) * | 2019-08-09 | 2019-11-12 | 上海有电电子有限公司 | 一种基于液晶屏的透明展柜 |
WO2021063222A1 (zh) * | 2019-09-30 | 2021-04-08 | 京东方科技集团股份有限公司 | 电子设备和图像处理方法 |
CN110955818A (zh) * | 2019-12-04 | 2020-04-03 | 深圳追一科技有限公司 | 搜索方法、装置、终端设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101146178A (zh) | 摄像机 | |
JP4914778B2 (ja) | カメラ | |
US8599251B2 (en) | Camera | |
CN101385338B (zh) | 记录装置和方法以及再现装置和方法 | |
JP4640456B2 (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
JP3862404B2 (ja) | 画像処理装置およびその方法、画像ファイルフォーマット、記憶媒体 | |
CN101595727B (zh) | 图像处理设备及其控制方法和图像处理系统 | |
CN101834991A (zh) | 图像处理装置、图像处理方法和图像处理程序 | |
CN103945131A (zh) | 电子设备及电子设备的图像取得方法 | |
CN101790034A (zh) | 图像处理装置、图像显示方法和图像显示程序 | |
JP2008165700A (ja) | 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム | |
CN101668116A (zh) | 图像处理装置及计算机程序 | |
JP2006197243A (ja) | 撮像装置及び撮像方法及びプログラム及び記憶媒体 | |
US20100253801A1 (en) | Image recording apparatus and digital camera | |
US20130100329A1 (en) | Image pickup apparatus | |
JP2012150438A (ja) | 撮像装置およびその制御方法 | |
JP4901258B2 (ja) | カメラ及びデータ表示方法 | |
JP4986264B2 (ja) | 外部記録媒体管理装置、外部記録媒体管理方法、及びプログラム | |
JP2007066251A (ja) | デジタルカメラ及びその画像ファイル管理方法 | |
JP4725854B2 (ja) | 画像表示装置及び画像表示方法 | |
JP4906685B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP2007156729A (ja) | 検索装置及び検索方法並びに検索装置を有するカメラ | |
JP2005026794A (ja) | データ処理方法、画像処理装置、及びプログラム | |
JP5460001B2 (ja) | 画像検索装置、画像検索装置の制御方法、プログラム及び記録媒体 | |
CN100450171C (zh) | 显示控制设备和显示控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C12 | Rejection of a patent application after its publication | ||
RJ01 | Rejection of invention patent application after publication |
Open date: 20080319 |