CN101286196A

CN101286196A - 图像存储处理装置和方法、图像搜索装置和方法以及程序

Info

Publication number: CN101286196A
Application number: CNA2008100897863A
Authority: CN
Inventors: 佐野茜; 鹤田雅明; 尾崎望; 飞鸟井正道; 伊藤大二; 杉野彰信; 关泽英彦; 佐古曜一郎; 田畑英子
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-04-10
Filing date: 2008-04-10
Publication date: 2008-10-15
Anticipated expiration: 2028-04-10
Also published as: US8687925B2; JP2008263274A; CN101286196B; JP4367663B2; US20080253695A1

Abstract

本发明公开了图像存储处理装置和方法、图像搜索装置和方法以及程序。一种图像存储处理装置包括：图像获取装置，用于获取在成像装置单元处成像的所拍摄图像数据；生物信息获取装置，用于获取在对由图像获取装置获得的所拍摄图像数据进行成像时、成像装置单元的用户的生物信息；对象信息获取装置，用于获取作为对由图像获取装置获得的所拍摄图像数据的图像分析结果的对象信息；以及存储处理装置，用于执行下述处理，即，将由图像获取装置获得的所拍摄图像数据、由生物信息获取装置获得的生物信息和由对象信息获取装置获得的对象信息在它们相互关联的状态下存储在记录介质中。

Description

图像存储处理装置和方法、图像搜索装置和方法以及程序

技术领域

本发明涉及用于所拍摄图像数据的图像存储处理装置、图像搜索装置、图像存储处理方法、图像搜索方法以及利用信息处理装置来实现上述装置和方法的程序。

背景技术

在JP-A-2005-260892(专利文献1)中，公开了一种技术，其中，以心脏电信号所引起的情绪起伏放大信号作为触发来记录图像。

在JP-A-2005-250977(专利文献2)中，公开了一种技术，其中，所拍摄的图像反映了拍摄图像者的情绪(高兴、悲伤、愉悦、愤怒、恐惧、冷、热、舒适、痛苦、沮丧等)。

在JP-A-2004-178593(专利文献3)中，示出了一种技术，其中，获得拍摄图像者的情绪信息，然后基于对标签图像(tag image)的兴趣程度、重要性、喜好程度来分析重要性或者情绪信息，特别地，描述了对拍摄图像者的脸部图像的分析。

在JP-A-2005-124909(专利文献4)中，公开了一种技术，其中，将人类的生物信息(bio-information)或者心理状态置于静止图像或者运动图像上。还描述了通过使用生物信息来执行内容搜索的技术。

在JP-A-2005-141281(专利文献5)中，公开了一种技术，其中，难以用文字等来表达的心理状态和生物信息被感知以将其添加到内容上从而再现经历，使用经历来进行搜索。

发明内容

近年来，由于数码相机或摄像机的流行，使得存在用户拥有大量所拍摄图像的情况。还可以设想，在用户携带作为生活片断相机(life slicecamera)的相机的状况下，通过连续地拍摄图像(拍摄全时的连续运动图像、规律地拍摄静止图像等)而存储用户的日常生活的行动轨迹的图像。在这种状况下，用户将拥有更多的所拍摄图像数据。在这样的情况下，从大量所拍摄图像数据中容易且恰当地选择并输出(例如，显示输出)所拍摄图像是很重要的。

希望提供一种存储所拍摄图像数据并执行搜索以输出数据的技术方法。

根据本发明一个实施例，一种图像存储处理装置包括：图像获取装置，用于获取在成像装置单元处成像的所拍摄图像数据；生物信息获取装置，用于获取在对由图像获取装置获得的所拍摄图像数据进行成像时、成像装置单元的用户的生物信息；对象信息获取装置，用于获取作为对由图像获取装置获得的所拍摄图像数据的图像分析结果的对象信息；以及存储处理装置，用于执行下述处理，即，将由图像获取装置获得的所拍摄图像数据、由生物信息获取装置获得的生物信息和由对象信息获取装置获得的对象信息在它们相互关联的状态下存储在记录介质中。

图像获取装置通过在整体提供的成像装置单元中的成像操作来获取所拍摄图像数据。

或者，图像获取装置通过在外部成像装置单元中的成像操作来获取所拍摄图像数据。

生物信息获取装置获取生物传感器检测信息作为生物信息。

生物信息获取装置通过使用生物传感器检测信息来生成成像装置单元的用户的心理信息，作为生物信息。

对象信息获取装置执行所拍摄图像数据中是否包括人的脸部图像的图像分析，将作为图像分析结果的脸部存在信息视为对象信息。

对象信息获取装置对所拍摄图像数据中的人的脸部图像执行图像分析，将作为图像分析结果的脸部分析结果信息视为对象信息。脸部分析结果信息是指出例如表情、性别、年龄段等的信息。

另外，还提供了：搜索处理装置，用于通过使用生物信息和对象信息来生成搜索条件，并基于搜索条件对被存储处理装置存储为与生物信息和对象信息相互关联的所拍摄图像数据执行搜索处理；以及输出处理装置，用于执行搜索处理装置的搜索处理结果的输出处理。

搜索处理装置还使用在执行搜索处理时由生物信息获取装置获得的生物信息，以用于生成搜索条件。

根据本发明一个实施例的图像搜索装置包括：搜索处理装置，用于通过使用生物信息和对象信息来生成搜索条件，并基于搜索条件来执行搜索处理，作为针对记录介质的搜索处理，在该记录介质中，所拍摄图像数据、对所拍摄图像数据进行了成像的成像装置单元的用户在成像时的生物信息、以及作为所拍摄图像数据的图像分析结果的对象信息被存储为相互关联；以及输出处理装置，用于执行搜索处理装置的搜索处理结果的输出处理。

另外，还包括用于获取用户的生物信息的生物信息获取装置，并且搜索处理装置还使用在执行所述搜索处理时由生物信息获取装置获得的生物信息，以用于生成搜索条件。

根据本发明一个实施例的图像存储处理方法包括：图像获取步骤，在该步骤中，获取在成像装置单元处成像的所拍摄图像数据；生物信息获取步骤，在该步骤中，获取在对图像获取步骤中获得的所拍摄图像数据进行成像时、成像装置单元的用户的生物信息；对象信息获取步骤，在该步骤中，获取作为在图像获取步骤中获得的所拍摄图像数据的图像分析结果的对象信息；以及存储处理步骤，在该步骤中执行下述处理，即，将在图像获取步骤中获得的所拍摄图像数据、在生物信息获取步骤中获得的生物信息和在对象信息获取步骤中获得的对象信息在它们相互关联的状态下记录在记录介质中。

根据本发明一个实施例的程序是允许信息处理装置执行所述图像存储处理方法的程序。

根据本发明一个实施例的图像搜索方法包括：搜索处理步骤，在该步骤中，通过使用生物信息和对象信息来生成搜索条件，并基于搜索条件来执行搜索处理，作为针对记录介质的搜索处理，在所述记录介质中，所拍摄图像数据、对所拍摄图像数据进行了成像的成像装置单元的用户在成像时的生物信息、以及作为所拍摄图像数据的图像分析结果的对象信息被存储为相互关联；以及输出处理步骤，在该步骤中，执行搜索处理步骤的搜索处理结果的输出处理。

根据本发明一个实施例的程序是允许信息处理装置执行所述图像搜索方法的程序。

也就是说，在本发明的这些实施例中，成像时用户的生物信息和所拍摄图像中的对象信息在它们与所拍摄图象数据相关联的状态下被存储。

在搜索时，通过使用生物信息和对象信息来生成搜索条件以执行搜索。搜索时的生物信息也被用于生成搜索条件。

所拍摄图像中的对象信息例如是关于所拍摄图像中的被拍摄的人的图像的信息。因此，通过取拍摄图像的人的情绪等和作为拍摄对象的人的表情等作为条件，此外通过添加用户在搜索时的情绪等，则可以选择并显示适合用户的图像。

根据本发明的这些实施例，成像时用户的生物信息和所拍摄图像中的对象信息在它们与所拍摄图像数据相关联的状态下被存储，从而通过使用生物信息和搜索时的对象信息来执行搜索。另外，可以在添加搜索时用户的生物信息(情绪等)的情况下执行搜索。因此，存在这样的优点，即，可以实现适合于图像的观看者的图像选择和显示。

特别地，通过添加观看者的心理状态来正确地设定搜索条件，从而使观看者的精神平静或得以控制。

附图说明

图1A到图1D是根据本发明一个实施例的成像装置的外观示例的说明图；

图2是根据一个实施例的成像装置的框图；

图3是根据一个实施例的图像存储处理示例I的流程图；

图4A和图4B是根据一个实施例的包括脸部图像的所拍摄图像的说明图；

图5是根据一个实施例的所拍摄图像数据的存储状态的说明图；

图6是根据一个实施例的生物信息的存储状态的说明图；

图7A和图7B是根据一个实施例的图像存储处理示例II的流程图；

图8是根据一个实施例的图像搜索处理示例I的流程图；

图9是根据一个实施例的图像搜索处理示例II的流程图；

图10是根据一个实施例的图像存储处理装置和图像搜索装置的配置示例的说明图；

图11是根据一个实施例的图像存储处理装置和图像搜索装置的配置示例的说明图；

图12是根据一个实施例的图像存储处理装置和图像搜索装置的配置示例的说明图；

图13是根据一个实施例的图像存储处理装置和图像搜索装置的配置示例的说明图；以及

图14是根据一个实施例的图像存储处理装置和图像搜索装置的配置示例的说明图。

具体实施方式

下文中，将说明根据本发明实施例的图像存储处理装置、图像搜索装置、图像存储处理方法和图像搜索方法以及程序。

在这种情况下，成像装置被例示为将图像存储处理装置和图像搜索装置组合在一起的装置的一个示例。根据本发明一个实施例的图像存储装置和图像搜索装置可以在除了该成像装置之外的装置中实现，将作为修改示例和扩展示例来描述这些装置。

将按以下顺序来进行说明。

[1.成像装置的外观示例]

[2.成像装置的配置示例]

[3.图像存储处理示例I]

[4.图像存储处理示例II]

[5.图像搜索处理示例I]

[6.图像搜索处理示例II]

[7.实施例的优点、修改示例、扩展示例和程序]

[1.成像装置的外观示例]

可以考虑各种形式来作为一个实施例的成像装置1，并且其外观示例将被例示为图1A、图1B、图1C和图1D中的示例。

图1A示出了作为眼镜型显示相机(display camera)的成像装置1。如图所示，成像装置1包括可佩戴单元，该可佩戴单元具有这样的配置，其中，例如，框架从两个颞骨区域到枕骨区域环绕半圈，该可佩戴单元由用户佩戴，悬挂在用户的双耳上。

在成像装置1中，布置了朝向前方的成像透镜3a，以便在用户佩戴着的状态下以用户视线的方向作为对象方向来拍摄图像。

在如图所示的佩戴状态下，成像装置1具有这样的配置，其中，就在用户双眼前方的位置处(即，通常的眼镜中的镜片所位于的地方)布置用于右眼和左眼的一对显示面板单元2a、2a。对于显示面板单元2a，例如使用液晶面板，通过控制透光率可以使其处于看透的状态，即，透明或半透明的状态。因为显示面板单元2a处于看透的状态下，所以即使用户像眼镜一样经常佩戴该装置，用户在日常生活中也不会有任何麻烦。

作为显示面板单元2a，除了与双眼相对应的提供一对单元的配置之外，还考虑与一只眼睛相对应的提供一个单元的配置。

图1B也示出了将由用户佩戴在头部的成像装置1，其具有并不包括图1A所示的显示面板单元2a的配置。该装置例如通过佩戴单元而佩戴在用户头部，该佩戴单元可以悬挂在一只耳朵处。在这种状态下，布置了朝向前方的成像透镜3a，以便在这种状态下以用户视线的方向作为对象方向来拍摄图像。

在图1A和图1B中，例示了通过眼镜型佩戴单元或者将佩戴在头部的佩戴单元来佩戴在用户头部的成像装置1，但是，可以考虑用户以不同方式来佩戴成像装置1的配置。用户可以通过诸如头戴耳机型、颈带型和耳挂型之类的任何类型的佩戴单元来佩戴成像装置1。另外，成像装置1可以具有这样的配置，其中，用户通过用诸如夹子之类的附件(attachment)将装置附着于通常的眼镜、帽舌、头戴式耳机等之上而佩戴装置。此外，装置不必总是佩戴在用户头部。

虽然以上成像方向是用户的视线方向，但是可以考虑这样的配置，其中，当用户佩戴装置时成像透镜3a被附着以便拍摄后方、横向、上方和下方的图像，或者考虑这样的配置，在该配置中提供了成像方向相同或不同的多个成像系统。

此外，在一个或多个成像透镜3a中，可以提供能够手动或自动地改变对象方向的成像方向可变机构。

图1C示出了具有一般称为数码相机的形式的成像装置1。

图1D示出了具有一般称为摄像机的形式的成像装置1。

如图1C和图1D所示的由用户拥有和使用的成像装置1可以是本发明的实施例。在这些图中仅示出了成像透镜3a，但是，还提供了成像监视器的面板显示单元和诸如取景器之类的显示设备。

不言而喻，可以考虑除了图1A、图1B、图1C和图1D所示的形式之外的其它形式，作为拍摄静止图像和运动图像的成像装置。例如，可以考虑包括作为成像装置的功能的诸如蜂窝电话设备、PDA(个人数字助理)和便携式个人计算机之类的装置，作为本实施例的成像装置1。

在这些各种形式中，也优选的是，例如提供收集外部音频的麦克风，并且在拍摄图像时获得将与图像数据一起记录的音频信号。此外，优选的是，形成用于输出音频的扬声器单元或者耳机单元。

可以考虑，在成像透镜3a附近通过LED(发光二极管)来提供照亮对象方向的发光单元，或者提供用于拍摄静止图像的闪光发光单元。

在本实施例的成像装置1中，作为成像操作可以执行手动成像和自动成像中的一者或两者。

在这种情况下，“手动成像”表示通过用户的快门操作来执行成像(所拍摄图像数据被记录)的操作。

另一方面，“自动成像”表示不是通过用户的快门操作来执行成像(所拍摄图像数据被记录)的操作。例如，当用户佩戴着图1A和图1B所示的成像装置1时，连续拍摄运动图像的操作或者以一秒、几秒、几十秒的间隔来拍摄静止图像的操作被视为自动成像操作，例如，作为生活片断相机来拍摄用户的日常生活轨迹的图像的操作。通过一些触发而不是用户操作来执行成像的操作虽然不是常规的成像操作，但是也可以视为自动成像操作。例如，通过检测用户的诸如紧张或惊愕之类的情绪来自动执行成像的操作，以及通过从外部装置提供的触发(除用户的快门操作信息之外的触发)来执行成像的操作被视为自动成像操作。

[2.成像装置的配置示例]

将参考图2来说明成像装置1的配置示例。

系统控制器10包括微计算机，该微计算机例如具有CPU(中央处理单元)、ROM(只读存储器)、RAM(随机存取存储器)、非易失性存储单元和接口单元，系统控制器10构成控制整个成像装置1的控制单元。系统控制器10基于存储在内部ROM等中的程序，执行各种计算处理并通过总线13从各个单元接收控制信号和向各个单元发送控制信号，允许各个单元执行必要的操作。

成像单元3包括成像光学系统、成像器件单元和成像信号处理单元。

成像单元3中的成像光学系统设有透镜系统、驱动系统等，透镜系统包括图1A到1D所示的成像透镜3a、光圈(diaphragm)、变焦透镜、聚焦透镜等，驱动系统用于允许透镜系统执行聚焦操作或变焦操作。

成像单元3中的成像器件单元设有用于检测成像光学系统所获得的成像光并通过执行光电转换来生成成像信号的固态成像器件阵列。作为固态成像设备阵列，例如使用CCD(电荷耦合器件)传感器阵列或者CMOS(互补金属氧化物半导体)传感器阵列。

成像单元3中的成像信号处理单元包括采样-保持/AGC(自动增益控制)电路和视频A/D转换器，其中，采样-保持/AGC电路对固态成像器件所获得的信号执行增益调节和波形整形，视频A/D转换器获得所拍摄图像数据作为数字数据。成像信号处理单元对所拍摄图像数据执行白平衡处理、辉度(luminance)处理、彩色信号处理、模糊(blur)校正处理等。

由包括成像光学系统、成像器件单元和成像信号处理单元的成像单元3执行成像以获得所拍摄图像数据。

在成像控制单元6中对通过成像单元3的成像操作所获得的图像数据进行处理。

成像控制单元6在系统控制器10的控制之下执行将所拍摄图像数据转换成给定的图像数据格式的处理，或者根据操作状态将转换后的所拍摄图像数据提供给对象信息生成单元12、存储单元14、通信单元15和显示控制单元7的处理。

成像控制单元6还基于系统控制器10的指令来执行成像单元3中的成像操作的开/关控制、成像光学系统的变焦透镜和聚焦透镜的驱动控制、成像器件单元的灵敏度或帧速率控制、成像信号处理单元中的各种处理的参数控制或执行处理的设定。

对象信息生成单元12对由成像装置1获得的所拍摄图像数据(即，由成像单元3拍摄得到的所拍摄图像数据)执行图像分析处理以生成对象信息。

特别地，作为图像分析处理，执行对所拍摄图像是否包括人脸进行分析的分析处理。对象信息生成单元12根据脸部图像的存在/不存在来生成脸部标记，作为指出脸部图像的存在的信息(脸部存在信息)。

例如，可以通过识别图像中的诸如眼、鼻、口之类的脸部元素和脸部轮廓来判断在所拍摄图像数据中是否存在脸部图像。

在存在脸部图像的情况下，对象信息生成单元12还执行脸部图像的分析处理，生成也作为对象信息的脸部分析结果信息。脸部分析结果信息是指出被拍摄图像的人的例如表情、性别或者年龄段的信息。

已知，通过分析脸部图像可以以特定的概率程度(degree ofprobability)来估计表情、性别和年龄段。

可以考虑各种确定脸部表情的处理。例如，可以应用通过提取形成脸部的各个部分并给出各个部分的估计值以确定表情的表情确定方法。

例如，在确定笑脸的情况下，从图像中提取眼睛、眉毛、嘴唇的各个部分，作为构成脸部的部分。关于眉毛，确定角度。对所谓的“向上倾斜”的状态给出低分，并且对两端向下倾斜的眉毛给出高分。关于眼睛，确定瞳孔的扩张程度。对瞳孔扩张较大的眼睛给出高分。关于嘴唇，对两端的角度向下倾斜的嘴唇给出低分，而对两端的角度向上倾斜的嘴唇给出高分。

如上所述，例如，对各个部分给出用于确定笑脸的分数，将这些分数相加(或者通过根据各个部分来改变权重从而执行加法)以计算笑脸分数。当笑脸分数高于预定值时，可以确定是笑脸。

不用说，这仅仅是一个示例，并且也优选的是，可以使用人微笑时生成的脸颊状态、皱纹等作为判断因素。

也可以从根据构成脸部的各个部分的图像来估计除笑脸之外的诸如愤怒表情、坏脾气的表情、悲伤表情、平静表情之类的表情。

生物传感器4包括用于检测用户的各种生物信息的各种传感器。例如，可以考虑血压传感器、体温传感器、脉搏传感器、脑电波传感器、电反应传感器、皮肤电阻值传感器、视觉传感器以及其它各种传感器。还可以考虑加速度传感器、角速度传感器、振动传感器等。

生物信息生成单元5获得生物信息作为由生物传感器单元4的各种传感器检测到的信息。

由生物传感器单元4的各种传感器检测到的信息(生物传感器检测信息)例如指出脉搏速率、心率、心电图信息、肌电信息、呼吸信息(例如，呼吸的速度、深度、换气量)、排汗、GSR(galvanic skin response，皮肤电反应)、血压、血液中的氧饱和水平、皮肤表面温度、脑电波(α波、β波、θ波和δ波的信息)、血流变化、眼睛状况等。

作为加速度传感器、角速度传感器和振动传感器的检测信息，加速度、角速度和振动的信息可以被视为指出用户的动作的生物信息。

生物信息生成单元5还可以基于生物传感器检测信息来确定用户的心理状态，并生成心理信息作为生物信息中的一种。

例如，可以基于从紧张状态、激动状态、舒适状态等中检测到的生物传感器检测信息的数值的变动来估计用户的情绪(快乐、好奇、高兴、悲伤、恐惧、平静、思乡、感动、惊愕、激动、紧张等)。此外，还可以通过由视觉传感器测得的瞳孔状态、视线移动来确定用户的状态。也优选的是使用由加速度传感器、振动传感器等检测到的用户身体的动作等来确定用户的状态。

增大脉搏频率等的原因有时候是紧张或激动，或者有时候是用户的运动，例如跑步。也优选的是，通过参考加速度传感器等的信息来确定原因。

即，可以使用各种传感器的一个或多个检测信息来估计用户的情绪状态。生物信息生成单元5可以通过执行所述估计处理来生成心理信息。

估计心理状态需要一定的时间，并且有时候难以仅通过临时获取生物传感器单元4的检测信息来估计准确的心理状态。即，作为从身体获得的信号的、生物传感器单元4的检测信息的值总是变化，因此，难以仅通过参考某个时刻的值来确定心理状态。存在这样一些情况，其中，应当按照情绪的连续变化来改变用于确定心理状态的阈值。

优选的是，生物信息生成单元5不断地获取生物传感器单元4中的生物信息而不停止，并通过添加时序检测信息的变化来生成用户的心理信息。

通过将生物传感器单元4中的各种传感器布置在眼镜型成像装置1的佩戴框架内，生物传感器单元4中的各种传感器可以接触用户的颞骨区域或者枕骨区域以检测各种信息，并且也优选的是，它们被佩戴在身体上与成像装置1的佩戴框架部分相分离的给定位置处。例如，优选的是，传感器通过手表形状的单元等来接触用户的手腕等。为了检测眼睛的状态或者动作、瞳孔的状态等，可以考虑使用拍摄用户眼睛的图像的相机。

可以利用作为视频处理器的微计算机或者DSP(数字信号处理器)来配置对象信息生成单元12或生物信息生成单元5。虽然在图2中，利用与包括微计算机的系统控制器10不同的模块来示出对象信息生成单元12和生物信息生成单元5，但是，也优选的是，通过在系统控制器10中启动的软件来实现作为对象信息生成单元12或生物信息生成单元5的操作。

作为成像装置1中用于为用户执行显示的配置，提供了显示单元2和显示控制单元7。

显示单元2设有显示面板单元2a和显示驱动单元，其中，显示面板单元2a包括上述液晶面板等，并且显示驱动单元驱动显示面板单元2a的显示。

显示驱动单元包括像素驱动电路，该像素驱动电路用于在显示面板单元2a(例如是液晶显示器)上显示从成像控制单元6提供的图像数据。像素驱动电路在各个指定的水平/垂直驱动定时处，将基于视频信号的驱动信号施加给在显示面板单元2a中按矩阵状态所布置的各个像素，从而执行显示。

显示控制单元7驱动显示单元2中的像素驱动电路，并在系统控制器10的控制之下执行显示面板单元2a上的给定显示。

即，显示控制单元7在显示面板单元2a上执行作为成像单元3中的成像监视器的显示、由存储单元14获得的所拍摄图像数据的回放显示、通信单元15所接收的数据的显示、各种字符的显示等。

对于以上显示，可以执行例如辉度级别调节、色彩校正、对比度调节、锐度(轮廓强调)调节等。另外，还可以执行图像效果处理，例如，图像数据的一部分被放大的放大图像的生成或者缩小图像的生成、软聚焦、马赛克、辉度反转、图像的一部分的高亮显示(强调显示)、以及整体色彩氛围(color atmosphere)的变化、用于所拍摄图像的分割显示的图像的分离和组合、字符图像或肖像图像的生成、以及将所生成图像与所拍摄图像组合起来的处理等。

显示控制单元7基于系统控制器10的指令来控制显示驱动单元，以控制显示面板单元2a中的各个像素的透光率，从而使其呈看透状态(透明或半透明状态)。

存储单元14用于存储各种数据。例如，用于存储所拍摄图像数据。存储单元14还存储在生物信息生成单元5中生成的生物信息(生物传感器检测信息和心理信息)，或者存储在对象信息生成单元12中生成的对象信息(脸部标记和脸部分析结果信息)，将这些信息与所拍摄图像数据相关联。

存储单元14可以利用诸如RAM或闪存之类的固态存储器来配置，或者可以利用例如HDD(硬盘驱动器)来配置。

也优选的是，存储单元14可以是记录/回放驱动器，而不是内部记录介质，该记录/回放驱动器对应于诸如包括固态存储器的存储卡、光盘、磁光盘和全息存储器之类的便携式记录介质。

不用说，诸如固态存储器或HDD之类的内部存储器以及与便携式记录介质相对应的记录/回放驱动器都可以被安装。

存储单元14在系统控制器10的控制之下记录所拍摄图像数据、生物信息、对象信息等，并将它们存储下来。

存储单元14在系统控制器10的控制之下读取所记录的数据，并将其提供给系统控制器10、显示控制单元7等。

通信单元15向外部装置发送数据并从外部装置接收数据。通信单元15可以具有这样的配置，其中，以无线LAN、蓝牙标准等方式例如通过与网络接入点的近场无线通信来执行网络通信，并且通信单元15还可以直接在具有相应的通信功能的外部装置之间执行无线通信。

并不必须总是无线通信，也优选的是，通信单元15通过线缆连接来执行与外部装置的通信。

在成像装置1中，操作输入单元11用于由用户进行操作。用于电源的开/关操作、自动成像/手动成像的选择操作、手动成像时的快门操作(或者记录运动图像的开始/停止操作)、变焦/聚焦的操作、指定显示内容的操作、稍后将描述的表示搜索的操作等的操作输入由操作输入单元11来执行。

操作输入单元11可以具有其中包括诸如按键、拨号盘之类的操作元件并且作为按键操作等来检测用户操作的配置，或者具有检测用户的有意识行为的配置。

当提供操作元件时，必须提供用于电源的开/关操作、成像系统的操作(例如，快门、变焦等的操作，信号处理的指令操作)、关于显示的操作(例如，显示内容的选择或者显示调节操作)等的操作元件。

也优选的是提供触摸板(touch pad)或触摸面板(touch panel)作为操作元件。例如，在显示单元2中布置触摸面板，并且由用户通过触摸显示屏来执行操作输入。

也优选的是提供触摸面板、十字键、滚轮(jog dial)等作为操作元件，用于在屏幕上移动诸如光标之类的指针。可以允许通过遥控器在屏幕上移动光标等的操作，该控制器包括由握持并移动遥控器的用户来操作的加速度传感器、角速度传感器等。

操作输入单元11将通过以上操作所输入的操作信息提供给系统控制器10，并且系统控制器10根据操作信息来执行指定控制。

在包括如上所述的生物传感器单元4的情况下，可以考虑系统控制器10基于生物传感器单元4的检测信息来检测用户的有意识的操作输入。

例如，用户从在成像装置1的侧面的敲击被加速度传感器、振动传感器等检测，并且当横向加速度超过固定值时，系统控制器10将敲击识别为用户操作。在这种情况下，当加速度传感器或角速度传感器能够检测到用户敲击了哪个侧面部分(与眼镜的弓架(bows of glasses)相对应的部分)，即，左侧或者右侧的部分时，可以确定所检测到的结果作为各个指定操作。

也可能的是，加速度传感器或角速度传感器检测类似于转头或摇头的用户动作，并且系统控制器10将所检测到的动作识别为用户操作。

也可以考虑，在成像装置1的左右侧面部分(与眼镜的弓架相对应的部分)等布置压力传感器，并且将用户手指推动右侧的操作识别为远距离方向上的变焦操作，并将用户手指推动左侧的操作识别为广角方向上的变焦操作。

作为用户的有意识行为，例如可以考虑眼睛的动作(视线方向的变化和眨眼)。当视觉传感器检测到用户的三次眨眼时，可以将操作确定为特定的操作输入。此外，根据生物传感器单元4的检测信息，用户佩戴和移除成像装置1的动作、或者佩戴着成像装置1的特定用户的动作可以被检测到，并且优选的是，系统控制器10根据检测来执行电源的开/关。

可以考虑由诸如检测用户的声音的传感器、检测嘴唇的动作的传感器之类的其它传感器来检测操作输入的配置。

以上描述了成像装置1的配置，但是，其仅仅是一个示例。依据操作示例或者实际执行的功能，自然可以考虑到添加和删除各种组件。

[3.图像存储处理示例I]

将说明在成像装置1中执行的所拍摄图像数据的存储处理。图3示出了在系统控制器10、生物信息生成单元5和对象信息生成单元12中执行的处理。当利用在作为系统控制器10的微计算机中操作的软件来构成生物信息生成单元5和对象信息生成单元12时，图3的处理可以被视为系统控制器10的处理。这与稍后将描述的图7A和图7B中是相同。

在步骤F101中，系统控制器10检查是否发生成像触发。系统控制器10将某种信号识别为发生成像触发，以在成像装置1中执行成像。

在执行手动成像的情况下，由用户使用操作输入单元11所进行的快门操作或者通过生物传感器单元4所检测到的用户的有意识行为所进行的快门操作被识别为成像触发。

在执行自动成像的情况下，可以考虑以下成像触发。

例如，在当用户佩戴着图1A或图1B所示的成像装置1时不断地执行连续成像的情况下，如果通过生物传感器单元4的检测信息而检测到用户的佩戴状况，则其可以被视为发生成像触发。开启电源的操作可以被视为发生成像触发。

在规律地拍摄静止图像的情况下，系统控制器10根据内部定时器的计数、在每次经过固定时间段时判断成像触发的发生。

例如当用户在观看体育期间很激动/疯狂时、当用户看到有趣的场景时、当用户被感动时、当用户看到交通事故等时、当用户遇到喜爱的人/名人时、当用户感到焦虑或害怕时、当用户感到惊讶时，可以执行自动地执行成像的自动成像。例如，生物信息生成单元5不断地监视生物信息生成单元5的检测信息，以不断地估计用户的心理状态，并且当估计到诸如惊愕、激动、喜悦、焦虑等的心理状态时，这种估计可以被通知给系统控制器10作为成像触发。

当系统控制器10识别到成像触发时，其允许处理从步骤F101前进到步骤F102，执行对执行成像和存储所拍摄图像数据的控制。以下，将在拍摄静止图像作为成像操作的情况下进行说明。

系统控制器10指示成像控制单元6来拍摄图像，并获取在成像单元3中获得的所拍摄图像数据，即，在成像触发所指定的定时处的一帧的所拍摄图像数据。系统控制器10还指示将所拍摄图像数据传送到存储单元14，并指示存储单元14将数据存储在记录介质中。

接下来，在步骤F103中，系统控制器10指示生物信息生成单元5生成生物信息。生物信息生成单元5将在成像定时处的生物传感器单元4的各个传感器的所检测值(生物传感器检测信息)视为生物信息。

这时检测到的用户的心理信息也被视为生物信息。

如上所述，更加优选的是，通过连续地监视生物传感器检测信息并考虑信息的变动来估计用户的心理状态，而不是根据某个时刻的生物传感器检测信息来估计。因此，生物信息生成单元5不断地监视生物传感器检测信息，并继续估计心理状态的处理。在步骤F103中，优选的是，当时所估计的心理状态被输出作为成像时的心理信息。

在步骤F104中，系统控制器10指示对象信息生成单元12对所拍摄图像数据进行分析。然后，在步骤F105中，系统控制器10指示对象信息生成单元12生成对象信息。

也就是说，系统控制器10还将所拍摄图像数据从成像控制单元6传送到对象信息生成单元12。对象信息生成单元12根据系统控制器10的指令来对传送过来的所拍摄图像数据执行分析。首先，执行图像中是否存在脸部图像的分析。

例如，当所拍摄图像数据具有如图4A或图4B所示的图像内容时，确认存在脸部图像。

当存在脸部图像时，对象信息生成单元12对脸部图像进行分析，并执行诸如表情、性别和年龄段之类的估计处理。

对象信息生成单元12基于分析结果来生成对象信息。当在所拍摄图像数据的图像中不存在脸部图像时，对象信息生成单元12生成指出脸部标记为关闭的信息，作为对象信息。

另一方面，当所拍摄图像数据中存在脸部图像并且已经对脸部图像进行过分析时，对象信息生成单元12生成指出脸部标记为开启的信息，并生成脸部分析结果信息作为对象信息。脸部分析结果信息是表情、性别和年龄段的估计信息。

当像图4A中一样确认存在多个脸部图像时，优选的是对所有脸部图像执行脸部分析，并分别针对多个脸部图像来生成脸部分析结果信息，但是，也优选的是，例如，对主脸部图像进行估计，并执行该脸部图像的分析以获得脸部分析结果信息。主脸部图像可以被确定为与其它脸部图像相比，图像中脸部图像的尺寸(脸部图像所占有的像素的数目，脸部图像的对角线的长度等)为最大的脸部图像，或者是位于屏幕中心的脸部图像。

当像图4B中一样识别出远处的小脸部图像时，优选的是，该小脸部图像不被识别为脸部图像。即，优选的是，执行分析处理以忽略小于预定值的脸部图像。

接下来，在步骤F106中，系统控制器10在生物信息和对象信息与所拍摄图像数据相关联的状态下存储该生物信息和对象信息。即，在生物信息生成单元5中生成的生物信息和在对象信息生成单元12中生成的对象信息被提供给存储单元14，并在它们与在步骤F102中记录的所拍摄图像数据相关联的状态下被存储在存储单元14中。

在执行成像时执行以上处理，结果，所拍摄图像数据、生物信息(生物传感器检测信息和心理信息)、对象信息(脸部标记和脸部分析结果信息)被关联并被存储在存储单元14中。

例如，图5示出了存储状态的一个示例，其指出针对一个所拍摄图像数据VD来存储图象管理信息、生物传感器检测信息、心理信息、脸部标记和脸部分析结果信息的状态。

图像管理信息是与在步骤F102中记录所拍摄图像数据时一起记录的信息。例如，包括诸如成像日期(年、月、日、时、分、秒)、图像类型、文件格式、压缩格式和数据大小之类的信息。所述信息由系统控制器10在成像时生成，并与所拍摄图像数据VD一起被存储在存储单元14中。

作为生物传感器检测信息，记录了作为生物传感器单元4的检测值的心率、排汗量、血压值、体温、皮肤电反应值、加速度等。

作为心理信息，记录了诸如喜悦、高兴、焦虑、激动、紧张、悲伤、平静之类的估计结果的信息。

作为脸部标记，记录了根据脸部图像的存在/不存在的标记开启/标记关闭的信息。

作为脸部分析结果信息，记录了性别、年龄段和表情的估计结果的信息。

在图3的处理中，生物信息在成像时被生成并与所拍摄图像数据VD一起被记录，并且像图5一样，生物传感器检测信息和心理信息被这样来记录以使其与所拍摄图像数据VD相关联，但是，也优选的是，与成像定时相分离地不断记录生物信息。

例如，生物信息生成单元5规律地生成图6所示的生物信息。以具有生物传感器检测信息和心理信息的数据格式，与日期和时间信息(年、月、日、时、分、秒)一起生成生物信息。图6中规律地生成的生物信息被记录在存储单元14中。

当与上述那样的日期和时间信息一起记录生物信息时，该生物信息可以与所拍摄图像数据VD相关联。

也就是说，关于记录在存储单元14中的所拍摄图像数据VD，可以基于图像管理信息中的日期和时间信息来区分相应的(即，成像时的)生物信息。

[4.图像存储处理示例II]

以上图3的图像存储处理示例I是这样的一个示例，其中，在成像时生成并存储与所拍摄图像数据相对应的生物传感器检测信息、心理信息、脸部标记、脸部分析结果信息。但是，可以在与成像定时不同的定时处执行心理信息、脸部标记和脸部分析结果信息的生成和存储。在图7A和图7B中，作为图像存储处理示例II示出了在稍后于成像时刻的时间点处执行心理信息、脸部标记和脸部分析结果信息的生成和存储的处理示例。

图7A示出了在成像时系统控制器10的处理。

当如上所述地识别出成像触发时，系统控制器10允许处理从步骤F201前进到F202，执行对执行成像和所拍摄图像数据的存储的控制。即，系统控制器10指示成像控制单元6来拍摄图像，并指示其执行对在成像单元3中获得的所拍摄图像数据的获取，即，对由成像触发指定的定时处的一帧的所拍摄图像数据的获取。系统控制器10还将所拍摄图像数据传送到存储单元14，并指示存储单元14将数据存储在记录介质中。

接下来，在步骤F203中，系统控制器10指示生物信息生成单元5生成生物信息。在这种情况下，生物信息生成单元5将该成像定时处的生物传感器单元4的各个传感器的所检测值(生物传感器检测信息)视为生物信息。

然后，在步骤F204中，系统控制器10存储生物信息(在这种情况下，仅仅存储生物传感器检测信息)以使其与所拍摄图像数据相关联。即，在生物信息生成单元5中生成的生物传感器检测信息被提供给存储单元14，并且该信息在其与步骤F202中所记录的所拍摄图像数据相关联的状态下被记录在存储单元14中。

在这种情况下，优选的是，包括到达成像定时之前的特定时间段内的时序变动的所检测值被用作生物传感器检测信息。

系统控制器10在成像定时之后执行图7B的处理。例如，对存储在存储单元14中的各个所拍摄图像数据(其心理信息、脸部标记和脸部分析结果信息尚未存储在存储单元14中)执行图7B的处理。

首先，在步骤F251中，指示存储单元14来读取将被处理的所拍摄图像数据。

然后，在步骤F252中，指示对象信息生成单元12对所拍摄图像进行分析。

即，系统控制器10将存储单元14所读取的所拍摄图像数据传送到对象信息生成单元12。对象信息生成单元12根据系统控制器10的指令来对传送的所拍摄图像数据执行分析。首先，分析图像中是否存在脸部图像。然后，对象信息生成单元12将是否存在脸部图像的分析结果通知给系统控制器10。

当接收到存在脸部图像的通知时，系统控制器10允许处理从步骤F253前进到F254，指示对象信息生成单元12生成对象信息。

对象信息生成单元12基于在所拍摄图像数据的图像中存在脸部图像的事实来生成指出脸部标记为开启的信息，作为对象信息。对象信息生成单元12还对脸部图像进行分析以生成脸部分析结果信息。如上所述，脸部分析结果信息是表情、性别和年龄段的估计信息。

随后，在步骤F255中，系统控制器10指示存储单元14读取与当前将被处理的所拍摄图像数据相对应的生物传感器检测信息。在步骤F256中，指示生物信息生成单元5生成心理信息。即，系统控制器10将存储单元14所读取的生物传感器检测信息传送给生物信息生成单元5。根据系统控制器10的指令，基于传送给生物信息生成单元5的生物传感器检测信息来执行心理状态的估计处理。

然后，在步骤F257中，系统控制器10在对象信息生成单元12中生成的对象信息(脸部标记和脸部分析结果信息)和生物信息生成单元5中生成的生物信息(心理信息)与所拍摄图像数据相关联的状态下，存储所述对象信息和所述生物信息。即，生物信息生成单元5所生成的生物信息和对象信息生成单元12所生成的对象信息被提供给存储单元14，并且在这些信息与所拍摄图像数据相关联的状态下记录这些信息。

因此，例如，可以获得如图5所示的状态，在该状态中，生物传感器检测信息、心理信息、脸部标记和脸部分析结果信息与所拍摄图像数据相关联。

另一方面，当作为步骤F252中的对所拍摄图像的分析结果，判定不存在脸部图像时，系统控制器10允许处理前进到步骤F258，指示对象信息生成单元12生成指出脸部标记为关闭的对象信息。

然后，在步骤F259中，脸部标记被传送给存储单元14，以在该标记与当前将被处理的所拍摄图像数据相关联的状态下存储该标记。

也根据图7A和图7B中的处理，当所拍摄图像数据包括脸部图像时，可以实现如图5所示的存储状态，在该存储状态中，生物传感器检测信息、心理信息、脸部标记和脸部分析结果信息与所拍摄图像数据相关联。

在生物信息生成单元5规律地生成如图6所示的生物信息并将该信息存储在存储单元14中时，图7A中的步骤F203和F204将成为与成像时的处理相分离且相独立的处理。

作为一个处理示例，可以考虑在其它不同的定时处执行对象信息的生成/存储和心理信息的生成/存储。

[5.图像搜索处理示例I]

由于如上所述，生物信息和对象信息在它们与所拍摄图像数据相关联的状态下被存储，所以使用生物信息和对象信息来进行的搜索处理变得可行。

在图8中，示出了作为图像搜索处理示例I的系统控制器10的处理。

在步骤F301中，系统控制器10检测搜索触发的存在/不存在。

例如，系统控制器10将用户的指示开始搜索的操作识别为搜索触发。

当存在搜索触发时，系统控制器10允许处理从步骤F301前进到F302，执行搜索条件的输入处理。例如，在显示单元2上执行用于输入搜索条件的图像显示，并执行允许用户选择搜索条件的处理。

在这种情况下，可以基于指出用户在成像时的身体和心理状态的生物信息项和对象信息项来指定搜索条件。

例如，作为用户自身的身体和心理状态，诸如喜悦、高兴、焦虑、激动、紧张、悲伤、平静等的心理情况或者兴高采烈的状态、疲倦的状态、困乏的状态、奔跑的状态等被呈现作为搜索条件的候选，这些候选将由用户来选择。

也优选的是，心率、排汗量、脑电波等被指定，并且这些数值或状态被作为搜索条件而输入。例如，用户可以将“心率较高”的情况指定为心跳较快的状态。

关于对象信息，用户可以选择被拍摄者的表情，例如，笑脸、悲伤的脸、愤怒的脸和正常的脸。此外，用户可以选择性别或者年龄段。

在用户输入关于用户自身在成像时的状态的指定和关于对象信息的指定之后，在步骤F303中，系统控制器10基于输入来生成搜索条件。例如，用户指定关于用户自身状态的“喜悦”、关于对象的“笑脸”、“女性”等作为搜索条件的输入，这些指定项被设定为搜索条件。还可以执行关于用户所指定的条件的诸如“与/或”等的指定。

当搜索条件被设定时，在步骤F304中，系统控制器10执行搜索处理。即，系统控制器10通过参考生物信息和对象信息来搜索存储在存储单元14中的所拍摄图像数据。

例如，在脸部标记为开启的所拍摄图像数据中，生物传感器检测信息、心理信息和脸部分析结果信息被确认，并且相应的所拍摄图像数据被提取。

在将作为用户自身状态的“喜悦”及作为对象的“微笑”和“女性”的搜索条件被指定为“与”条件时，与作为心理信息的“喜悦”和作为脸部分析结果的“微笑”和“女性”相对应的所拍摄图像数据被提取。

在搜索处理结束之后，在步骤F305中，系统控制器10执行搜索结果显示处理。即，指示显示单元2来执行搜索结果显示。

例如，当没有提取相应的所拍摄图像数据时，指示显示单元2来执行指出不存在相应数据的消息的显示。

当一个或多个所拍摄图像数据被提取时，其列表的图像被显示，并且例如，根据用户针对列表图像的指定来执行显示一个所拍摄图像的显示处理、按所拍摄日期的时间顺序来显示多个所拍摄图像的处理或者随机地显示多个所拍摄图像的处理。

也优选的是，顺序地或随机地显示被提取的所拍摄图像，而不显示列表图像。

[6.图像搜索处理示例II]

接下来，作为图像搜索处理示例II，将在图9中示出用户对搜索条件的指定不被输入的示例。

在步骤F401中，系统控制器10检测搜索触发的存在/不存在。当存在搜索触发时，系统控制器10允许处理从步骤F401前进到F402，确定在执行搜索时的用户心理。

因此，系统控制器10指示生物信息生成单元5来生成用户的心理信息。生物信息生成单元5根据系统控制器10的指令，利用此时(或者在这点之前的特定时间段内)的生物传感器单元4的检测信息来执行用户心理的确定处理。执行诸如喜悦、高兴、焦虑、激动、紧张、悲伤、平静等的心理状态的确定。确定结果被通知给系统控制器10。

接下来，在步骤F403中，系统控制器10生成搜索条件。在这种情况下，根据此时用户的心理状态来设定搜索条件。

在这种情况下，当用户感到沮丧时，使用户感觉好些的图像的搜索条件被设定，或者当用户紧张时，使用户放松的图像的搜索条件被设定。当用户激动时，使用户平静的图像的搜索条件被设定。当用户感到高兴时，使用户感到更高兴的图像的搜索条件被设定。因此，可以考虑不同的设定搜索条件的方式。

例如，作为使用户感觉好些的搜索条件，选择诸如“喜悦”、“高兴”或者“激动”之类的条件作为在成像时用户自身的状态，或者关于对象信息而选择“笑脸”等，此外，将“悲伤的脸”、“愤怒的脸”等设定为排除条件。

作为使处于激动状态的用户平静时的搜索条件，选择诸如“平静”之类的条件作为成像时用户自身的状态，或者设定在脑电波的检测值中的指出平静状态的值。另外，关于对象信息而选择“正常表情”，或者设定排除“愤怒”表情的搜索条件。可以考虑设定“孩子”的年龄段。

当搜索条件被设定时，在步骤F404中，系统控制器10执行搜索处理。即，系统控制器10通过参考生物信息或对象信息来搜索存储在存储单元14中的所拍摄图像数据。

在搜索处理结束之后，在步骤F405中，系统控制器10执行搜索结果显示处理，并指示显示单元2显示搜索结果。

根据以上处理，根据搜索时用户的心情来提取所拍摄图像数据并对其进行显示。

步骤F401中的搜索触发可以是用户的搜索指令的操作，但是，也优选的是，当通过不断地判断用户的心理而检测到用户的心理为沮丧或激动的状态时确定发生搜索触发。

在步骤F402中，可以考虑确定多个观看者的群体的心理，而不是单独一个用户的心理确定。

例如，在诸如家庭或朋友之类的群体中，获得各个人的生物传感器检测信息或者心理信息，并基于该信息来确定群体心理。例如，他们愉快地度过时光的状态、他们太过激动的状态、他们无聊的状态、他们处于尴尬的心情中的状态等被确定。优选的是根据该确定来设定搜索条件并执行搜索和图像显示。

[7.实施例的优点、修改示例、扩展示例和程序]

根据以上实施例，成像时用户的生物信息(生物传感器检测信息和心理信息)和对象信息(脸部标记和脸部分析结果信息)被与所拍摄图像数据相关联并被存储。在搜索时，通过使用生物信息和对象信息来生成搜索条件以执行搜索。成像时的诸如用户的心情等的生物信息被用于生成搜索条件。

因此，可以实现适合图像观看者的图像选择和显示。

例如，根据图8的搜索处理示例I，可以浏览用户在所期望状态下拍摄的脸部照片。例如，可以显示处于激动的心理状态下的脸部照片，例如搜索在心率大于100时记录的女性的脸部照片的情况，或者仅提取在心率处于60到80之间时记录的笑脸的照片的情况。不用说，作为观看者的用户可以通过将搜索条件指定为生物传感器检测信息、心理信息和脸部分析结果信息(表情、年龄段和性别)来执行任意的各种搜索。

根据图9的搜索处理示例II，观看者(一个或多个观看者)搜索时的情绪状态等被估计，并且与心理状态等相对应的图像被呈现，所述图像例如是在观看者感到沮丧时改变观看者状态的图像(例如，笑脸照片)、以及在观看者感到激动时通过显示在激动状态下拍摄的笑脸照片来维持当时的气氛的图像，从而使作为观看者的用户或群体的心理状态好转或平稳。

特别地，考虑在观看者浏览时感到紧张的情况下显示在平静状态下拍摄的图像，或者在观看者处于悲伤的心情中时显示在快乐的心情下拍摄的图像和笑脸图像，从而起到某种类型的光线疗法的效果。

特别地，考虑到存储了大量所拍摄图像数据的情况，实施例所描述的搜索将非常有用。例如，当通过每隔固定时间就执行自动成像来存储用户日常生活的行动轨迹并执行大量记录时，如何在稍后时间点上搜索所需图像变得重要。鉴于此，可以通过应用本实施例来执行正确的图像搜索。

本发明并不限于这些实施例，并且可以考虑各种修改示例或扩展示例以作为成像装置1的配置示例或处理示例。

可以在除了成像装置1之外的装置中实现根据本发明实施例的图像存储处理装置和图像搜索装置。

将参考图10到图14来说明根据本发明实施例的作为图像存储处理装置和图像搜索装置的装置配置的示例。

首先，图10示出了根据本发明一个实施例的作为图像存储处理装置和图像搜索装置的装置50的功能配置。以上的成像装置1也与装置50相对应。

也就是说，包括所拍摄图像获取单元51、生物信息获取单元52、对象信息获取单元53、存储处理单元54、搜索处理单元55以及显示处理单元56。

所拍摄图像获取单元51具有获取所拍摄图像数据的功能，例如，与图2的成像装置1中的成像单元3和成像控制单元6相对应。装置50并不必须具有如同相机的功能。例如，就与相机相连接的装置50而言，接收通过线缆或无线方式从相机发送的所拍摄图像数据的接收单元可以是所拍摄图像获取单元51。

生物信息获取单元52获取用户的生物信息。例如，该单元按照例如图2的成像装置1中的生物传感器单元4和生物信息生成单元5的方式来生成生物信息。但是，也优选的是，生物信息获取单元52不具有生物传感器等，并且从分离的生物传感器或生物信息生成单元接收生物信息。

对象信息获取单元53对在所拍摄图像获取单元51中获取的所拍摄图像数据进行分析，生成诸如脸部标记和脸部分析结果信息之类的对象信息。在以上示例中，针对脸部图像来获取对象信息，但是，对象信息的目标并不限于脸部图像。

存储处理单元54执行将所拍摄图像获取单元51所获取的所拍摄图像数据、生物信息获取单元52所获取的生物信息和对象信息获取单元53所获取的对象信息在它们相互关联的状态下进行存储的处理。在图2的成像装置1的情况下，存储处理单元54被实现为在存储单元14中的通过系统控制器10来进行的存储处理。

搜索处理单元55通过使用生物信息和对象信息作为搜索条件来执行所拍摄图像的搜索处理。在图2的成像装置1的情况下，存储处理单元54被实现为由系统控制器10执行的搜索处理。

显示处理单元56执行搜索处理单元55的搜索结果的显示处理。在图2的成像装置1的情况下，显示处理单元56被实现为由显示单元2根据系统控制器10的指令所执行的显示控制处理。

装置50通过包括所拍摄图像获取单元51、生物信息获取单元52、对象信息获取单元53和存储处理单元54来构成根据本发明一个实施例的图像存储处理装置。

此外，装置50通过包括搜索处理单元55和显示处理单元56(还包括生物信息获取单元52)来构成根据本发明一个实施例的图像搜索装置。

装置50具体地被实现为诸如数码相机或摄像机之类的成像装置，图像处理装置、图像存储设备等对该成像装置所拍摄的图像执行处理。在这种情况下的图像处理装置和图像存储设备可以被实现为蜂窝电话设备、PDA、个人计算机、录像机、视频服务器等的功能块。

图11的装置50也是作为根据本发明一个实施例的图像存储处理装置和图像搜索装置的装置50，其示出在分离的显示设备30中执行搜索结果的显示的配置示例。例如，在图1B的情况下成像装置1不具有显示功能的情况下，可以根据这种配置来实现搜索结果显示。

显示处理单元56A将作为搜索结果的所拍摄图像数据通过线缆或以无线方式发送到显示设备30，在显示设备30上执行数据的显示处理。

作为显示设备30，可以考虑各种显示设备，例如，手表型显示设备、便携式小型显示设备、诸如蜂窝电话设备和PDA之类的包括显示面板的设备以及诸如电视监视器和个人计算机监视器之类的固定显示设备。

图12示出了作为根据本发明一个实施例的图像存储处理装置的装置50A和作为根据本发明一个实施例的图像搜索装置的装置60，它们具有分离的配置。

装置50A通过包括所拍摄图像获取单元51、生物信息获取单元52、对象信息获取单元53和存储处理单元54而构成根据本发明一个实施例的图像存储处理装置。

装置50A通过例如图3或者图7A和图7B的处理，在所拍摄图像获取单元51所获取的所拍摄图像数据、生物信息获取单元52所获取的生物信息和对象信息获取单元53所获取的对象信息相互关联的状态下对这些信息执行存储处理。

在这种情况下，装置50A可以将由存储处理单元54存储的所拍摄图像数据、对象信息和成像时的生物信息提供给装置60。例如，所拍摄图像数据、对象信息和成像时的生物信息通过有线通信、无线传输或者便携式记录介质的传递而被提供给装置60。

装置60通过包括存储处理单元61、搜索处理单元62、显示处理单元63而构成根据本发明一个实施例的图像搜索装置。存储处理单元61将从装置50A提供的所拍摄图像数据、对象信息和成像时的生物信息存储在记录介质中。

搜索处理单元62通过使用对象信息和成像时的生物信息作为搜索条件来执行对存储在记录介质中的所拍摄图像数据的搜索。显示处理单元63执行对搜索处理单元62的搜索结果的显示处理。例如，装置60执行图8的搜索处理。

通过在装置60的那一侧设置生物信息获取单元64，搜索处理单元62执行图9的搜索处理示例II，这使得可以在搜索条件上反映搜索时观看者的心理状态等。

图12中的装置50A被具体实现为诸如数码相机或摄像机之类的成像装置，图像处理装置、图像存储设备等对该成像装置所拍摄的图像执行处理。图像处理装置和图像存储设备可以被实现为蜂窝电话设备、PDA、个人计算机、录像机、视频服务器等。

装置60可以被实现为图像处理装置和图像存储装置，具体而言是蜂窝电话设备、PDA、个人计算机、录像机、视频服务器等。

图13示出了装置50B、60A，其示出了根据本发明一个实施例的图像存储处理装置和图像搜索装置被实现为装置60A的示例。

在这种情况下，装置50B例如是成像装置，该成像装置通过图7A的处理，在所拍摄图像获取单元51所获取的所拍摄图像数据和生物信息获取单元52所获取的生物传感器检测信息相互关联的状态下对这些信息执行存储处理。

在这种情况下，装置50B可以将由存储处理单元54存储的所拍摄图像数据和成像时的生物传感器检测信息提供给装置60A。例如，所拍摄图像数据和生物传感器检测信息通过有线通信、无线传输或者便携式记录介质的传递而被提供给装置60A。

装置60A包括存储处理单元61、搜索处理单元62、显示处理单元63、生物信息获取单元64和对象信息获取单元65。存储处理单元61将从装置50B提供的所拍摄图像数据和生物传感器检测信息存储在记录介质中。

生物信息获取单元64、对象信息获取单元65和存储处理单元61执行例如图7B的处理，该处理针对存储在记录介质中的所拍摄图像数据来生成生物信息(心理信息)和对象信息(脸部标记、脸部分析结果信息)，并在这些信息与所拍摄图像数据相关联的状态下将它们存储在记录介质中。

搜索处理单元62通过使用对象信息和成像时的生物信息作为搜索条件来对存储在记录介质中的所拍摄图像数据执行搜索。显示处理单元63执行对搜索处理单元62的搜索结果的显示处理。

在这种情况下，装置60A可以执行图8或图9的搜索处理。

图13中的装置60A可以被实现为图像处理装置、图像存储设备和图像搜索设备。具体而言，其可以实现为蜂窝电话设备、PDA、个人计算机、录像机、视频服务器等。

也优选的是，在装置50B这一侧执行图像分析，所拍摄图像数据被存储成使得该数据与脸部标记相关联，并且包括脸部标记的所拍摄图像数据被提供给装置60A。在这种情况下，在装置60A的这一侧，优选的是，执行针对脸部标记为开启的所拍摄图像数据来添加对象信息(脸部分析结果信息)的处理。

图14示出了装置50B、装置60B和装置60C，在这个示例中，装置60B相当于根据本发明一个实施例的图像存储处理装置，装置60C相当于根据本发明一个实施例的图像搜索装置。装置60B、60C可以访问存储单元40。

在这种情况下，装置50B例如是成像装置，其通过图7A的处理，在所拍摄图像获取单元51所获取的所拍摄图像数据和生物信息获取单元52所获取的生物传感器检测信息相互关联的状态下，对这些信息执行存储处理。

装置50B将由存储处理单元54存储的所拍摄图像数据和成像时的生物传感器检测信息提供给装置60B。例如，所拍摄图像数据、成像时的生物传感器检测信息通过有线通信、无线传输或者便携式记录介质的传递而被提供给装置60B。

装置60B包括存储处理单元61、生物信息获取单元64和对象信息获取单元65。

存储处理单元61将从装置50B提供的所拍摄图像数据和生物传感器检测信息存储在记录介质中。

生物信息获取单元64、对象信息获取单元65和存储处理单元61执行例如图7B的处理，该处理针对存储在记录介质中的所拍摄图像数据来生成生物信息(心理信息)和对象信息(脸部标记、脸部分析结果信息)，并在这些信息与所拍摄图像数据相关联的状态下将它们存储在存储单元40中。

装置60C包括搜索处理单元62和显示处理单元63。

搜索处理单元62通过使用对象信息和成像时的生物信息作为搜索条件来对存储在存储单元40中的所拍摄图像数据执行搜索。显示处理单元63执行对搜索处理单元62的搜索结果的显示处理。例如，装置60C执行图8的搜索处理。

通过也在装置60C的这一侧设置生物信息获取单元64，搜索处理单元62执行图9的搜索处理示例II，这使得可以在搜索条件上反映搜索时观看者的心理状态等。

图14中的装置60B、60C可以被实现为具有作为图像处理装置、图像存储设备和图像搜索设备的功能的装置，具体而言是蜂窝电话设备、PDA、个人计算机、录像机、视频服务器等。

也优选的是，在装置50B这一侧执行图像分析，并且所拍摄图像数被存储成使得该数据与脸部标记相关联，并且包括脸部标记的所拍摄图像数据被提供给装置60B。在这种情况下，在装置60B这一侧，优选的是，执行针对脸部标记为开启的所拍摄图像数据来添加对象信息(脸部分析结果信息)的处理。

图11到图14中的装置之间的通信可以是通过诸如因特网、蜂窝电话通信网络、PHS通信网络、自组织(ad hoc)网络或者LAN之类的网络来进行的通信。

根据实施例的程序是允许由成像装置、个人计算机、蜂窝电话设备、PDA、视频服务器、录像机等中的微计算机(计算处理单元)执行图3或者图7A和图7B中的图像存储处理的程序。根据实施例的程序是允许由这些设备中的微计算机(计算处理单元)执行图8或图9的图像搜索处理的程序。

这些程序可以预先记录在作为诸如个人计算机、成像装置之类的设备中所包括的记录介质的HDD中，或者预先记录在具有CPU的微计算机的ROM中、闪存中等。

这些程序也可以临时或永久地存储(记录)在可移动记录介质中，所述可移动记录介质例如是软盘、CD-ROM(光盘只读存储器)、MO(磁光)盘、DVD(数字通用光盘)、蓝光盘、磁盘、半导体存储器和存储卡。可移动记录介质可以被提供作为所谓的套装软件(packagedsoftware)。

这些程序还可以从可移动记录介质安装到个人计算机等上，另外，可以通过诸如LAN(局域网)或因特网之类的网络从下载站点下载。本领域技术人员应当了解，在所附权利要求或其等同物的范围内，根据设计要求和其它因素可以进行各种修改、组合、子组合和变更。

本发明包含与2007年4月10日向日本专利局提交的日本专利申请JP2007-102659相关的主题，该申请的全部内容通过引用而结合于此。

Claims

1.一种图像存储处理装置，包括：

图像获取装置，用于获取在成像装置单元处成像的所拍摄图像数据；

生物信息获取装置，用于获取在对由所述图像获取装置获得的所述所拍摄图像数据进行成像时、所述成像装置单元的用户的生物信息；

对象信息获取装置，用于获取作为对由所述图像获取装置获得的所述所拍摄图像数据的图像分析结果的对象信息；以及

存储处理装置，用于执行下述处理，即，将由所述图像获取装置获得的所述所拍摄图像数据、由所述生物信息获取装置获得的所述生物信息和由所述对象信息获取装置获得的所述对象信息在它们相互关联的状态下存储在记录介质中。

2.如权利要求1所述的图像存储处理装置，

其中，所述图像获取装置通过在整体提供的所述成像装置单元中的成像操作来获取所拍摄图像数据。

3.如权利要求1所述的图像存储处理装置，

其中，所述图像获取装置通过在外部成像装置单元中的成像操作来获取所拍摄图像数据。

4.如权利要求1所述的图像存储处理装置，

其中，所述生物信息获取装置获取生物传感器检测信息作为所述生物信息。

5.如权利要求1所述的图像存储处理装置，

其中，所述生物信息获取装置通过使用生物传感器检测信息来生成所述成像装置单元的用户的心理信息作为所述生物信息。

6.如权利要求1所述的图像存储处理装置，

其中，所述对象信息获取装置执行在所拍摄图像数据中是否包括人的脸部图像的图像分析，将作为图像分析结果的脸部存在信息视为所述对象信息。

7.如权利要求1所述的图像存储处理装置，

其中，所述对象信息获取装置对在所拍摄图像数据中的人的脸部图像执行图像分析，将作为所述图像分析结果的脸部分析结果信息视为所述对象信息。

8.如权利要求7所述的图像存储处理装置，

其中，所述脸部分析结果信息是指出表情、性别或年龄段的信息。

9.如权利要求1所述的图像存储处理装置，还包括：

搜索处理装置，用于通过使用所述生物信息和所述对象信息来生成搜索条件，并基于所述搜索条件对被所述存储处理装置存储为与所述生物信息和所述对象信息相关联的所拍摄图像数据执行搜索处理；以及

输出处理装置，用于执行所述搜索处理装置的搜索处理结果的输出处理。

10.如权利要求9所述的图像存储处理装置，

其中，所述搜索处理装置还使用在执行所述搜索处理时由所述生物信息获取装置获得的生物信息，以用于生成搜索条件。

11.一种图像搜索装置，包括：

搜索处理装置，用于通过使用生物信息和对象信息来生成搜索条件，并基于所述搜索条件来执行搜索处理，作为针对记录介质的搜索处理，在所述记录介质中，所拍摄图像数据、对所述所拍摄图像数据进行了成像的成像装置单元的用户在成像时的生物信息、以及作为所述所拍摄图像数据的图像分析结果的对象信息被存储为相互关联；以及

12.如权利要求11所述的图像搜索装置，还包括：

生物信息获取装置，用于获取用户的生物信息，并且

13.一种图像存储处理方法，包括以下步骤：

获取在成像装置单元处成像的所拍摄图像数据；

获取在对所述图像获取步骤中获得的所拍摄图像数据进行成像时、所述成像装置单元的用户的生物信息；

获取作为在所述图像获取步骤中获得的所拍摄图像数据的图像分析结果的对象信息；以及

执行下述处理，即，将在所述图像获取步骤中获得的所述所拍摄图像数据、在所述生物信息获取步骤中获得的所述生物信息和在所述对象信息获取步骤中获得的所述对象信息在它们相互关联的状态下记录在记录介质中。

14.一种图像搜索方法，包括以下步骤：

通过使用生物信息和对象信息来生成搜索条件，并基于所述搜索条件来执行搜索处理，作为针对记录介质的搜索处理，在所述记录介质中，所拍摄图像数据、对所述所拍摄图像数据进行了成像的成像装置单元的用户在成像时的生物信息、以及作为所述所拍摄图像数据的图像分析结果的对象信息被存储为相互关联；以及

执行所述搜索处理步骤的搜索处理结果的输出处理。

15.一种记录介质，该记录介质记录允许信息处理装置执行以下步骤的程序：

获取在成像装置单元处成像的所拍摄图像数据；

16.一种记录介质，该记录介质记录允许信息处理装置执行以下步骤的程序：

执行所述搜索处理步骤的搜索处理结果的输出处理。

17.一种图像存储处理装置，包括：

图像获取单元，被配置用于获取在成像装置单元处成像的所拍摄图像数据；

生物信息获取单元，被配置用于获取在对由所述图像获取单元获得的所述所拍摄图像数据进行成像时、所述成像装置单元的用户的生物信息；

对象信息获取单元，被配置用于获取作为对由所述图像获取单元获得的所述所拍摄图像数据的图像分析结果的对象信息；以及

存储处理单元，被配置用于执行下述处理，即，将由所述图像获取单元获得的所述所拍摄图像数据、由所述生物信息获取单元获得的所述生物信息和由所述对象信息获取单元获得的所述对象信息在它们相互关联的状态下存储在记录介质中。

18.一种图像搜索装置，包括：

搜索处理单元，被配置用于通过使用生物信息和对象信息来生成搜索条件，并用于基于所述搜索条件来执行搜索处理，作为针对记录介质的搜索处理，在所述记录介质中，所拍摄图像数据、对所述所拍摄图像数据进行了成像的成像装置单元的用户在成像时的生物信息、以及作为所述所拍摄图像数据的图像分析结果的对象信息被存储为相互关联；以及

输出处理单元，被配置用于执行所述搜索处理单元的搜索处理结果的输出处理。