CN101282446A - 图像记录装置、方法及程序、再生系统及装置、摄像装置 - Google Patents

Abstract

本发明公开了图像记录装置、方法及程序、再生系统及装置以及摄像装置，其中，该摄像装置响应于包含对象的图像的输入从图像中检测对象的面部，并生成与该面部相关的面部数据。摄像装置生成管理面部数据的面部数据管理信息，并通过映射到面部数据和面部数据管理信息的输入图像，控制输入图像、所生成的面部数据和面部数据管理信息在记录单元上的记录。面部数据包含以预定记录顺序记录的多个信息要素。具有对应于面部数据的信息要素的记录顺序的数据结构的面部数据管理信息包含连续分配的位列。信息要素以记录顺序分配预定标记。每个标记均表示对应于面部数据中标记的信息要素的存在或不存在。通过本发明，快速使用内容数据。

Description

图像记录装置、方法及程序、再生系统及装置、摄像装置

相关申请的交叉参考

本发明包含于2007年4月4日向日本专利局提交的日本专利申请JP 2007-098101以及于2007年5月22日向日本专利局提交的日本专利申请JP 2007-134948的主题，其全部内容结合于此作为参考。

技术领域

本发明涉及图像记录装置。具体地，本发明涉及用于记录和再生图像的图像记录装置、再生装置、摄像装置、图像再生系统、记录图像的方法及计算机程序。

背景技术

通过将内容数据与元数据映射，记录诸如静态图像或动态图像的内容数据和附属于内容数据的元数据，并且使用元数据执行各种操作。已经推荐了便于这种操作的各种技术。

在一种当前技术中，检测包含在诸如静态图像或动态图像的内容数据中的人物面部，并且与所检测的面部相关的信息被注册为元数据。还可以执行识别所检测的人物面部是否是特定人物的面部的识别处理。

在日本未审查专利申请公开第2004-336466号中公开了元数据的注册方法。根据所公开的内容，在所拍摄的图像中检测面部，包含面部的矩形区域和诸如面部的人名的个人信息以标记(tag)格式注册在图像文件中作为元数据。

发明内容

在相关技术中，包括含有所检测面部的矩形区域和个人信息的元数据以标记格式存储在图像文件中。当观察图像文件时，通过点击预定面部来激活使用与面部相映射的元数据的操作。

例如，立刻检索图像文件。当使用根据相关技术注册的元数据检索图像文件时，因为元数据以标记格式写入图像文件，所以需要检测并确认每个标记。检测和确认每个标记需要消耗时间，导致对图像文件更长的检索时间。不能够快速地使用内容。

因此，期望通过使用元数据加速内容数据的使用。

根据本发明的一个实施例，一种图像再生系统包括：图像记录装置，具有用于输入包含对象的图像的图像输入单元；以及再生装置，用于再生输入至图像记录装置的图像。图像记录装置包括：面部检测单元，用于检测包含在输入图像中的对象的面部；面部数据生成单元，用于基于所检测的面部生成与面部相关的面部数据；面部数据管理信息生成单元，用于生成管理所生成的面部数据的面部数据管理信息；以及记录控制单元，用于控制所生成的面部数据和所生成的面部数据管理信息在预定记录单元上的记录。面部数据包括多个信息要素，该多个信息要素以预定的记录序列被记录。面部数据管理信息的数据结构具有以面部数据的信息要素的记录序列分配的位列，并包含与面部数据的信息要素在记录序列中的存在或不存在相关的面部数据结构信息。再生装置包括：信息要素确认单元，用于根据包含在面部数据管理信息中的面部数据结构信息来确认形成面部数据的信息要素的存在或不存在；记录偏移值计算单元，用于计算与由信息要素确认单元确认了的形成面部数据的信息要素中的期望信息要素的每个面部数据的开头的记录偏移值；以及信息要素读取单元，用于根据所计算的记录偏移值，从形成面部数据的信息要素中读取期望信息要素。因此，检测包含在输入图像中的面部。通过映射到面部数据管理信息的面部数据，基于根据所检测的面部和管理面部数据的面部数据管理信息生成的面部数据被记录在记录单元中。基于包含在面部数据管理信息中的面部数据结构信息来确认形成面部数据的信息要素的存在或不存在。从形成所确认的面部数据的信息要素中计算与期望信息要素的面部数据的开头的记录偏移值。根据所记录的偏移值从形成面部数据的信息要素中读取期望信息要素。

根据本发明的一个实施例，一种图像记录装置包括：图像输入单元，用于输入包含对象的图像；面部检测单元，用于检测包含在输入图像中的对象的面部；面部数据生成单元，用于基于所检测的面部生成与面部相关的面部数据；面部数据管理信息生成单元，用于生成管理所生成的面部数据的面部数据管理信息；以及记录控制单元，用于控制所生成的面部数据和所生成的面部数据管理信息在预定记录单元上的记录。面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录。面部数据管理信息包含面部数据结构信息，所述面部数据结构信息的数据结构具有以面部数据的信息要素的记录序列分配的位列。因此，检测包含在输入图像中的面部。通过映射到面部数据管理信息的面部数据，基于所检测的面部和管理面部数据的面部数据管理信息生成的面部数据记录在记录单元上。

面部数据结构信息具有连续位列的数据结构，其中，对于以记录序列记录的要素信息，以记录序列来分配预定的标记，并且每个标记都表示在面部数据内与标记相对应的信息要素的存在或不存在。因此，生成包含面部数据结构信息的面部数据管理信息。面部数据结构信息具有顺序分配位列的数据结构。每个标记都表示对应于面部数据中的标记的信息要素的存在或不存在。

面部数据结构信息可以包括为除信息要素之外的扩展面部数据保留的保留位列。以这种方式，生成包含面部数据结构信息的面部数据管理信息，其中，面部数据结构信息包含除信息要素之外的为扩展的面部数据所保留的保留位列。

如果所检测的面部不满足预定条件，则面部数据生成单元不生成通过面部检测单元检测的面部的面部数据。不生成不满足预定条件的面部的面部数据。

面部数据管理信息可以包括表示对应面部数据的数据大小的数据大小信息和表示面部数据的版本的版本信息。因此，生成了包含表示对应面部数据的数据大小的数据大小信息和表示面部数据的版本的版本信息的面部数据管理信息。

面部数据可以包括关于通过面部检测单元检测的面部的位置和大小的数据。因此，生成了包含关于通过面部检测单元检测的面部的位置和大小的数据的面部数据。

图像可以是动态图像文件，并且面部检测单元可以每隔预定时间间隔检测包含在动态图像文件中的面部。通过这种配置，以预定的时间间隔检测包含在动态图像文件中的面部。记录控制单元可以将与所检测的面部相关的面部数据和面部数据管理信息记录在检测有面部的动态图像文件中。通过这种配置，将与所检测的面部相关的面部数据和面部数据管理信息记录在检测有面部的动态图像文件中。

图像可以是AVC编码译码的动态图像文件，并且面部检测单元可以在附加有SPS的AUS中所包含的IDR画面和I画面的一个中检测面部。通过这种配置，在附加有SPS的AUS中所包含的IDR画面和I画面的一个中检测面部。记录控制单元可以将与所检测的面部相关的面部数据和面部数据管理信息记录在包含检测有面部的IDR画面和I画面的一个的AU中的SEI中。通过这种配置，将与所检测的面部相关的面部数据和面部数据管理信息记录在包含检测有面部的IDR画面和I画面的一个的AU中的SEI中。

图像可以是静态图像文件，并且记录控制单元可以将与所检测的面部相关的面部数据和面部数据管理信息记录在检测有面部的静态图像文件中。通过这种配置，将与所检测的面部相关的面部数据和面部数据管理信息记录检测有面部的静态图像文件中。

根据本发明的一个实施例，再生装置根据面部数据和面部数据管理信息再生图像，面部数据与包含在图像中的面部相关并包括多个信息要素，信息要素以预定的记录序列被记录，面部数据管理信息管理面部数据并且其数据结构具有以面部数据的信息要素的记录序列连续分配的位列，并且包含与面部数据的信息要素在面部数据的信息要素的记录序列中的存在或不存在相关的面部数据结构信息，该再生装置包括：信息要素确认单元，用于根据包含在面部数据管理信息中的面部数据结构信息确认形成面部数据的信息要素的存在或不存在；记录偏移值计算单元，用于计算与由信息要素确认单元确认了的形成面部数据的信息要素中的期望信息要素的每个面部数据的开头的记录偏移值；以及信息要素读取单元，用于根据所计算的记录偏移值，从形成面部数据的信息要素中读取期望信息要素。基于包含在面部数据管理信息中的面部数据结构信息来确认形成面部数据的信息要素的存在或不存在。从形成所确认的面部数据的信息要素中计算与期望信息要素的面部数据的开头的记录偏移值。基于记录偏移值从面部数据的信息要素中读取期望的信息要素。

图像可以包含关于图像已经被更新的更新日期和时间的信息。面部数据管理信息可以包含关于更新对应图像的更新日期和时间的信息。再生装置可以进一步包括更新信息比较单元，用于将包含在图像中的更新日期和时间与包含在对应图像的面部数据管理信息中的更新日期和时间进行比较，以确定图像中的更新时间和日期是否与面部数据管理信息中的更新时间和日期相匹配。记录偏移值计算单元计算包含在更新信息比较单元已经确定为具有匹配的更新日期和时间的图像中的面部的面部数据的记录偏移值。通过这种配置，将图像的更新日期和时间与包含在图像的面部数据管理信息中的更新日期和时间进行比较。因此，计算包含在确定为具有匹配的更新日期和时间的图像中的面部的面部数据的记录偏移值。

再生装置可以进一步包括：面部检测单元，用于检测包含在更新信息比较单元已经确定为具有不匹配的更新日期和时间的图像中的对象的面部；面部数据生成单元，用于基于通过面部检测单元检测的面部，生成面部的面部数据；面部数据管理信息生成单元，用于生成管理面部数据的面部数据管理信息；以及记录控制单元，用于相对于更新信息比较单元已经确定为具有不匹配的日期和时间的图像，控制所生成的面部数据和所生成的面部数据管理信息在预定记录单元上的记录。通过这种配置，对于确定为具有不匹配的更新日期和时间的图像，基于包含在图像中的对象的面部生成面部的面部数据。生成管理面部数据的面部数据管理信息。通过映射到其他数据的每个数据，将图像、面部数据和面部数据管理信息记录在记录单元上。

再生装置可以进一步包括检索单元，用于如果更新信息比较单元确定图像中的更新日期和时间与面部数据管理信息中的更新日期和时间不匹配，则检索与更新信息比较单元已经确定为具有不匹配的更新日期和时间的图像不同的图像相对应的面部数据和面部数据管理信息。通过这种配置，如果图像中的更新日期和时间与面部数据管理信息中的更新日期和时间不匹配，则检索与确定为具有不匹配的更新日期和时间的图像不同的图像的面部数据和面部数据管理信息。

图像可以包含与图像大小相关的信息。面部数据管理信息包含关于对应图像的图像大小的信息。再生装置可以进一步包括图像大小比较单元，用于将包含在图像中的图像大小与包含在对应图像的面部数据管理信息中的图像大小进行比较，以确定图像中的图像大小是否与面部数据管理信息中的图像大小相匹配。记录偏移值计算单元可以计算包含在图像大小比较单元已经确定为具有匹配的图像大小的图像中的面部的面部数据的记录偏移值。通过这种配置，对于确定为具有匹配的图像大小的图像，计算包含在图像中的面部的面部数据的记录偏移值。在这种情况下，图像可包含与其旋转相关的旋转信息。再生装置可以进一步包括旋转信息确认单元，用于确认旋转信息是否存在于图像中并且旋转信息是否有效。偏移值计算单元可以计算旋转信息确认单元已经确认旋转信息在图像中存在并且在图像中存在的旋转信息有效的图像中所包含的面部的面部数据的记录偏移值。如果图像包含旋转信息并且如果旋转信息被确定为有效，则计算包含在图像中的面部的面部数据的记录偏移值。

面部数据管理信息可以包含由对应图像确定的误差检测码值。再生装置可以进一步包括：误差检测码值计算单元，用于基于图像的图像数据的至少一部分计算误差检测码值；以及误差检测码值比较单元，用于将所计算的图像的误差检测码值与包含在对应图像的面部数据管理信息中的误差检测码值进行比较。偏移值计算单元可以计算包含在误差检测码值比较单元已经确定为具有匹配的误差检测码值的图像中的面部的面部数据的记录偏移值。通过这种配置，如果图像被确定为具有匹配的误差检测码值，则计算包含在图像中的面部的面部数据的记录偏移值。

面部数据管理信息可以包含表示面部数据的版本的版本信息。再生装置可以进一步包括版本确认单元，用于基于包含在面部数据管理信息中的版本信息，确认是否支持对应于面部数据管理信息的面部数据。偏移值计算单元可以计算版本确认单元已经确定为有效的面部数据的记录偏移值。通过这种配置，基于包含在面部数据管理信息中的版本信息，确定面部数据管理信息的面部数据是否支持面部数据。如果确定支持面部数据，则计算面部数据的记录偏移值。

根据本发明的一个实施例，一种摄像装置包括：摄像单元，用于拍摄对象的图像；图像输入单元，用于输入通过摄像单元拍摄的图像；面部检测单元，用于检测包含在所输入的图像中的对象的面部；面部数据生成单元，用于生成与所检测的面部相关的面部数据；面部数据管理信息生成单元，用于生成管理所生成的面部数据的面部数据管理信息；以及记录控制单元，用于控制所生成的面部数据和面部数据管理信息在预定记录单元上的记录。面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录。面部数据管理信息包含与面部数据的信息要素在记录序列中的存在或不存在相关的面部数据结构信息，并具有含有以面部数据的信息要素的记录序列分配的位列的数据结构。通过这种配置，检测包含在所拍摄图像中的面部。通过映射到面部数据管理信息的面部数据，将基于所检测的面部生成的面部数据和面部数据管理信息记录在记录单元上。

根据本发明的实施例，快速使用内容数据。

附图说明

图1是根据本发明一个实施例的摄像装置的框图；

图2示意性示出了根据本发明一个实施例的根据MPEG 4-AVC对由摄像装置拍摄的图像数据进行编码的视频信号的帧；

图3示出了根据本发明一个实施例的以特性文件管理的实文件的文件结构；

图4示出了根据本发明一个实施例的通过特性文件管理的每个虚拟文件夹和虚拟文件；

图5示意性示出了根据本发明一个实施例的特性文件、缩略图文件和动态内容文件的关系；

图6示意性示出了根据本发明一个实施例的动态图像文件夹条目、日期文件夹条目、动态图像文件条目以及元数据条目的亲子关系；

图7A～图7D示出了根据本发明一个实施例的特性文件的基本结构；

图8示意性示出了根据本发明一个实施例的特性文件的整体结构；

图9示意性示出了根据本发明一个实施例的元数据条目的内部结构；

图10示出了根据本发明一个实施例的存储在报头部中的各种类型的信息；

图11示意性示出了根据本发明一个实施例的存储在报头部上的面部数据；

图12示出了根据本发明一个实施例的报头部的面部数据结构标记的数据结构；

图13A和图13B示出了根据本发明一个实施例的存储在面部数据结构标记上的位和存储在面部数据部上的面部数据之间的关系；

图14A和图14B示出了根据本发明一个实施例的存储在面部数据结构标记上的位和存储在面部数据部上的面部数据之间的关系；

图15A和图15B示出了根据本发明一个实施例的存储在面部数据结构标记上的位和存储在面部数据部上的面部数据之间的关系；

图16A和图16B示出了根据本发明一个实施例的存储在面部数据结构标记上的位和存储在面部数据部上的面部数据之间的关系；

图17是示出根据本发明一个实施例的摄像装置的功能框图；

图18是示出根据本发明一个实施例的摄像装置的功能框图；

图19示意性示出了根据本发明一个实施例的动态文件条目、元数据条目、缩略图文件以及动态图像内容文件的关系；

图20示出了根据本发明一个实施例的内容管理文件的应用；

图21是示出根据本发明一个实施例的通过摄像装置执行的特性文件的记录处理的流程图；

图22是示出根据本发明一个实施例的通过摄像装置执行的动态图像内容文件的再生处理的流程图；

图23是根据本发明一个实施例的图22的流程图的继续；

图24是根据本发明一个实施例的图23的流程图的继续；

图25示意性示出了根据本发明一个实施例的包含在元数据条目中的面部数据；

图26是示出通过摄像装置执行的面部数据的读取处理的流程图；

图27是示出根据本发明一个实施例的通过摄像装置执行的面部数据的读取处理的流程图；

图28示出了根据本发明一个实施例的在帧中检测的面部和面部数据之间的关系；

图29示出了根据本发明一个实施例的根据像机文件系统(DCF)标准的设计规则所记录的静态图像文件的文件结构；

图30是示出据本发明实施例的修改的摄像装置100的功能框图；

图31是示出根据本发明一个实施的例通过摄像装置执行的面部数据的读取处理的流程图；

图32是根据本发明一个实施例的图31的流程图的继续；

图33A～图33C示出了根据本发明一个实施例的静态图像内容文件的幻灯片放映的显示实例；

图34A～图34C示出了根据本发明一个实施例的每个都连接至可移动加载记录介质的图像记录装置和图像再生装置；以及

图35示出了根据本发明一个实施例的包括图像记录装置和图像再生装置的图像处理系统的系统结构。

具体实施方式

下面，参照附图描述本发明的实施例。

图1是示出根据本发明一个实施例的摄像装置100的框图。摄像装置100包括像机部110、像机数字信号处理器(DSP)120、同步动态随机存取存储器(SDRAM)121、控制器130、操作单元140、介质接口(I/F)150、液晶显示器(LCD)控制器161、LCD 162、外部I/F 163以及通信I/F 164作为其主要元件。连接至介质I/F 150的记录介质170可以置于摄像装置100内部或者不置于其内部。可选地，记录介质170可以可移动地加载到摄像装置100上。

记录介质170可以是由半导体存储器构成的存储卡、诸如数字通用盘(DVD)或可记录压缩光盘(CD)的光学记录介质、磁性光盘或硬盘驱动器(HDD)。

像机部110包括光学单元111、电荷耦合装置(CCD)112、预处理单元113、光学块驱动器114、CCD驱动器115以及定时发生器116。光学单元111包括透镜、聚焦机构、快门机构、光圈机构等。

控制器130包括中央处理单元(CPU)141、随机存取存储器(RAM)142、闪存只读存储器(ROM)143以及定时器144，这些元件通过系统总线145彼此相互连接。控制器130可以是通用内置微型计算机或专用大规模集成电路(LSI)。通常，控制器130控制摄像装置100的每个元件。

RAM 142用作工作区，以临时存储每个处理的中间结果。闪存ROM 143存储CPU 141执行的各种程序和在每个处理中CPU 141所需的数据。定时器144给出当前的日、月、年、当前的星期以及当前时间。定时器144还给出图像拍摄的日期和时间。

在图像拍摄中，光学单元驱动器114在控制器130的控制下生成驱动光学单元111的驱动信号，并通过向光学元件111提供驱动信号来将该驱动信号驱动信号至光学单元111。响应于来自光学单元驱动器114的驱动信号，控制光学单元111中的聚焦机构、快门机构和光圈机构。光学单元111拍摄对象的光学图像，并将光学图像聚焦在CCD 112上。

CCD 112光电转换来自光学单元111的光学图像，并输出作为光电转换结果的图像的电信号。更具体地，CCD 112响应于来自CCD驱动器115的驱动信号从光学单元111接收对象的光学图像。响应于来自由控制器130控制的定时发生器116的定时信号，CCD112以电信号的形式将拍摄的对象图像(图像信息)提供给预处理单元113。诸如互补金属氧化物半导体(CMOS)传感器的光电转换器可替换CCD 112。

如上所述，定时发生器116在控制器130的控制下生成定时信号，以提供预定的定时。响应于来自定时发生器116的定时信号，CCD驱动器115生成将被提供给CCD 112的驱动信号。

为了将信噪(S/N)比保持在很好的水平，预处理单元113对作为从CCD 112提供的图像信息的电信号执行相关双采样(CDS)处理。预处理单元113还对电信号执行自动增益控制(AGC)处理，从而控制增益。预处理单元113还对作为图像信息的电信号执行模数转换处理，从而得到数字信号形式的图像数据。

将通过预处理单元113转换成数字信号形式的图像数据提供给像机DSP 120。像机DSP 120对所提供的图像数据执行像机信号处理，包括自动聚焦(AF)处理、自动曝光(AE)处理和自动白平衡(AWB)处理。将经受这些各种处理的图像数据根据联合图像专家组(JPEG)或JPEG2000进行编码，然后，经由系统总线145和介质I/F 150提供给记录介质170。因此，图像数据作为文件记录在记录介质170上。像机DSP 120根据MPEG4-AVC标准执行数据压缩处理和数据解压处理中的一个。

随后，响应于通过包括触摸屏和控制键的操作单元140接收的用户操作输入，经由介质I/F 150从记录介质170中读取目标图像数据。然后，将读取的目标图像数据提供给像机DSP 120。

像机DSP 120对经由介质I/F 150从记录介质170读取的编码图像数据进行解码，并经由系统总线145将解码的图像数据提供给LCD控制器161。LCD控制器161通过提供的视频数据生成将被提供给LCD 162的图像信号。因此，与记录在记录介质170上的图像数据相对应的图像显示在LCD 162上。像机DSP 120检测从预处理单元113和记录介质170中的一个提供的图像数据中所包含的面部，并将与所检测面部相关的信息输出至控制器130。

摄像装置100包括外部I/F 163。经由外部I/F 163连接至外部个人计算机的摄像装置100从外部个人计算机接收图像数据。然后，摄像装置100将图像数据记录在记录介质170上，或将记录在加载到其上的记录介质170上的图像数据提供给外部个人计算机。

通信I/F 164包括网络接口卡(NIC)。连接至网络的通信I/F 164经由网络获取各种图像数据和其它信息。

摄像装置100读取并再生从外部个人计算机或经由网络获取的图像数据等，并在LCD 162上为用户显示图像数据等。

通信I/F 164可以是符合电气和电子工程师协会(IEEE)1394和通用串行总线(USB)的有线接口。通信I/F 164可以是符合IEEE802 11a、IEEE802 11b、IEEE802 11g或蓝牙标准的无线接口。换句话说，通信I/F 164可以是有线接口或无线接口。

摄像装置100拍摄对象图像并将图像记录在加载到其上的记录介质170上。摄像装置100读取并再生记录在记录介质170上的图像数据。摄像装置100从外部个人计算机或经由网络接收图像数据，并将所接收的图像数据记录在记录介质170上。随后，摄像装置100读取并再生记录在记录介质170上的图像数据。

下面，详细描述用在本发明一个实施例中的动态图像内容文件。

图2示意性示出了通过摄像装置100拍摄的图像数据根据MPEG4-AVC(MPEG-4部分10：AVC)进行编码的视频信号的预定帧。

根据本发明的一个实施例，检测包含在根据MPEG4-AVC编码的视频信号中的人物面部。然后，记录与所检测面部相关的面部元数据。下面，描述这种记录处理。

根据MPEG4-AVC标准，网络抽象层(NAL)存在在用于处理动态图像编码处理的视频编码层(VCL)和用于传输并存储编码信息的下层系统之间。对应于序列或画面(picture)的报头(header)信息的参数集可与生成在VCL中的信息分别被处理。根据作为NAL一个区间(session)的“NAL单元”执行位流对诸如MPEG-2系统的下层系统的映射。

描述NAL单元。序列参数集(SPS)NAL单元包含诸如简档(profile)和水平(level)信息的与整个序列的编码相关的信息。在稍后述的访问单元(AU)中，通常将具有插入其间的SPS NAL单元的AU区间视为1个序列。通过作为编辑单位的序列执行诸如部分删除或结合的流的编辑。画面参数集(PPS)NAL单元包含与诸如熵编码模式和每画面单位的量子化参数的全体画面的编码模式相关的信息。

将瞬时解码恢复(IDR)画面的编码数据存储在IDR画面NAL单元的码片(code slice)中。除IDR画面之外的其它画面的编码数据被存储在非IDR画面NAL单元的编码片中。

对于VCL编码不必要的附加信息存储在补充增强信息(SEI)NAL单元中。例如，在SEI NAL单元中存储便于随机访问的信息和由用户唯一定义的信息。访问单元定界符(AUD)NAL单元被附加在稍后描述的AU的开头。AUD NAL单元包含表示访问单元所包含的片的类型的信息。此外，定义表示序列末端的序列末端(EOS)NAL单元和表示流末端的流末端(EOST)NAL单元。

被形成为以画面为单位访问位流中的信息的几个NAL单元的组被称作访问单元(AU)。AU包含对应于画面的片的NAL单元(IDR画面NAL单元的编码片或非IDR NAL单元的编码片)。根据本发明的一个实施例，将以包含一个SPS NAL单元的AU开始并以包含一个EOS NAL单元的AU结束的AU组块(chunk)定义为一个序列。包含SPS的AU包括对应于IDR画面或I画面的片的NAL单元。由于IDR画面和I画面中的一个(每一个都可不依赖于另一个画面而解码)被定位在一个序列的解码序列的开头，所以可将一个序列设置为随机访问单元或编辑单元。

如图2所示，包含SPS的AU 180包括SEI NAL单元181。包含SPS的AU 190包括SEI NAL单元191。稍后将结合本发明一个实施例的修改来描述SEI NAL单元181和SEI NAL单元191。

根据本发明的一个实施例，从动态内容数据检测人物面部，并且使用的检测单位是一个序列。更具体地，在一个序列中，从包含在一个序列中的一帧内检测面部，并且不从另一个帧中执行面部检测。可选地，可以以每个预定序列或在包含IDR的每个序列处执行面部检测。

稍后结合附图详细描述记录在记录介质170上的实文件。

图3示意性示出了在文件系统上注册的实文件的文件结构。根据本发明的一个实施例，以与实目录不同的虚拟条目(entry)结构来管理动态图像文件和静态图像文件中的一个以及与这些内容文件相关的面部元数据。更具体地，将管理面部元数据以及动态图像文件和静态图像文件中的一个的内容管理文件340记录在记录介质170上。

根目录300包含动态图像内容文件夹310、静态图像内容文件夹320以及内容管理文件夹330。

动态图像内容文件夹310包含通过摄像装置100拍摄的动态图像内容文件311和312。因此，动态图像内容文件311和312属于动态图像内容文件夹310。

静态图像内容文件夹320包含通过摄像装置100拍摄的静态图像内容文件321和322。因此，静态图像内容文件321和322属于静态图像内容文件夹320。

内容管理文件夹330包含内容管理文件340。内容管理文件340通过虚拟层条目管理属于动态图像内容文件夹310和静态图像内容文件夹320的每一个的内容文件。内容管理文件夹330包含特性文件400和缩略图文件500。特性文件400包含用于虚拟管理每个内容文件、诸如每个内容文件的创建日期和时间的内容属性信息以及诸如面部元数据的附属于每个内容文件的元数据的管理信息。缩略图文件500存储每个内容文件的代表缩略图像。稍后将参照图4～图8详细描述特性文件400和缩略图文件500。

属于动态图像内容文件夹310的动态图像文件和属于静态图像内容文件夹320的静态图像文件对于用户是可见的。更具体地，用户可在LCD 162上显示对应于由用户操作输入指定的每个内容文件的图像。

内容管理文件340被设置为对于用户不可见，使得不能通过用户修改内容管理文件340的内容。例如，通过将标记设置为开启(on)以呈现文件系统的内容管理文件夹330，将内容管理文件340的内容设置为对于用户不可见。当摄像装置100意识到摄像装置100经由通用串行总线(USB)接口(以大容量存储连接)连接至个人计算机(PC)(即，摄像装置100从主机PC接收已经正确建立连接的信号)时，标记可被设置为开启。

详细描述特性文件400的虚拟条目结构。

图4示出了通过特性文件400管理的虚拟文件夹和虚拟文件。

特性文件400管理记录在记录介质170上的动态图像文件和静态图像文件。特性文件400响应于应用柔性地管理文件。例如，特性文件400根据这些文件被记录在摄像装置100上的日期和时间来管理动态图像文件和静态图像文件。描述根据记录日期和时间分类并管理动态图像文件的管理方法。每个条目中的数字为条目号。参照图7描述条目号。

条目号407是层条目结构的顶层的条目。条目号407包含动态图像文件夹条目410和静态图像文件夹条目409。简档条目408(条目号#150)包含每个文件条目的编码译码(codec)信息(编码格式、图像大小、比特率等)。稍后将参照图7C描述简档条目408。静态图像文件夹条目409管理处于下层的与静态图像相关的日期和时间文件夹条目。动态图像文件夹条目410(条目号#1)管理处于下层的日期文件夹条目。日期文件夹条目411和日期文件夹条目416属于动态图像文件夹条目410。

日期文件夹条目411(条目号#3)和日期文件夹条目416(条目号#5)根据日期分类并管理记录在记录介质170上的动态图像文件。日期文件夹条目411和日期文件夹条目416管理处于下层的分类动态图像文件。日期文件夹条目411管理在2006年1月11日记录的动态图像文件。动态图像文件夹条目412和动态图像文件夹条目414属于日期文件夹条目411。日期文件夹条目416管理在2006年7月28日记录的动态图像文件。动态图像文件夹条目417和动态图像文件夹条目419属于日期文件夹条目416。将参照图5详细描述文件夹条目。

动态图像文件夹条目412(条目号#7)、动态图像文件夹条目414(条目号#28)、动态图像文件条目417(条目号#14)以及动态图像文件条目419(条目号#21)的每一个都存储用于虚拟管理每个动态图像文件的管理信息和与存储在记录介质170上的每个动态图像文件的创建的日期和时间相关的内容属性信息。将参照图5详细描述文件条目。

元数据条目413(条目号#10)、元数据条目415(条目号#31)、元数据条目418(条目号#17)、元数据条目420(条目号#24)的每一个都存储附属于通过所映射的动态图像文件条目所管理的动态图像文件的元数据。元数据包含从动态图像内容文件中提取的面部数据。面部数据包含与从动态图像内容文件中提取的面部相关的各种数据。如图11所示，面部数据包含面部检测时间信息、基本面部信息、面部得分、笑脸得分等。将参照图5～图16A和图16B详细描述元数据条目。

下面，详细描述内容管理文件和内容文件之间的关系。

图5示意性示出了形成内容管理文件340的特性文件400和缩略图文件500、以及属于动态图像内容文件夹310的动态图像内容文件311～316之间的关系。描述图4所示日期文件夹条目411、动态图像文件夹条目414和元数据条目415以及代表缩略图图像502及动态图像内容文件312之间的关系。

日期文件夹条目411虚拟管理实内容文件的日期。日期文件夹条目411包含“条目类型”、“父条目列表”、“父条目类型”、“子条目列表”、“子条目类型”、“槽位(slot)有效标记”、“槽位链”等。

每个条目号均识别相应的条目。例如，日期文件夹条目411分配有条目号“#3”。参照图7A～图7D以及图8描述分配条目号的方法。

“条目类型”表示条目的类型。根据每个条目的类型，条目类型可以是“动态图像文件夹条目”、“日期文件夹条目”、“动态图像文件条目”、“静态图像文件条目”、“元数据条目”等中的一个。例如，日期文件夹条目411的条目类型为“日期文件夹条目”。

“父条目列表”包含与作为相应的条目所属的上层条目的父条目相对应的条目号。例如，“#1”被存储为日期文件夹条目411的“父条目列表”。

“父条目类型”表示对应于存储在“父条目列表”中的条目号的父条目的类型。更具父条目的类型，“父条目类型”存储“日期文件夹条目”、“动态图像文件条目”、“静态图像文件条目”等中的一个。日期文件夹条目411的“父条目类型”存储了“动态图像文件夹条目”。

“子条目列表”存储与属于该条目的下层的子条目相对应的条目号。例如，日期文件夹条目411的“子条目列表”存储“#7”和“#28”。

“子条目类型”表示与存储在“子条目列表”中的条目号相对应的子条目的类型。根据子条目的类型，“子条目类型”可以是“动态图像文件夹条目”、“日期文件夹条目”、“动态图像文件条目”、“静态图像文件条目”、“元数据条目”等中的一个。例如，日期文件夹条目411的“子条目类型”存储“动态图像文件条目”。

“槽位有效标记”表示形成条目的槽位是否有效。“槽位链”是与形成条目的每个槽位的链接或结合相关的信息。将参照图7B描述“槽位有效标记”和“槽位链”。

动态图像文件夹条目414虚拟管理实内容文件，并包含虚拟管理信息401和内容属性信息402。虚拟管理信息401包含“条目类型”、“内容类型”、“内容地址”、“父条目列表”、“父条目类型”、“子条目列表”、“子条目类型”、“槽位有效标记”、“槽位链”等。“条目类型”、“父条目列表”、“父条目类型”、“子条目列表”、“子条目类型”、“槽位有效标记”和“槽位链”与参照日期文件夹条目411所讨论的一致，这里省略对其的讨论。

“内容类型”表示对应于文件条目的内容文件的类型。根据与文件条目相对应的内容文件的类型，“内容类型”可以是“动态图像内容文件”和“静态图像内容文件”中的一个。例如，动态图像文件夹条目414的内容类型为“动态图像内容文件”。

“内容地址”是表示记录在记录介质170上的动态图像内容文件的记录位置的信息。根据记录位置信息，可以访问记录在记录介质170上的动态图像内容文件。例如，动态图像文件夹条目414的“内容地址”是表示动态图像内容文件312的地址的“A312”。

内容属性信息402是存储在虚拟管理信息401中的内容文件的属性信息。内容属性信息402包含“创建日期和时间”、“更新日期和时间”、“区间信息”、“大小信息”、“缩略图地址”、“简档信息”等。

“创建日期”表示创建对应于文件条目的内容文件的日期和时间。“更新日期和时间”表示更新对应于文件条目的内容文件的日期和时间。使用“更新日期和时间”来确定元数据的不规律。“区间信息”表示对应于文件条目的内容文件的时长。“大小信息”表示对应于文件条目的内容文件的大小。

“缩略图地址”表示存储在缩略图文件500中的代表缩略图图像的记录位置。根据位置信息，可以访问存储在缩略图文件500中的代表缩略图图像。例如，动态图像文件夹条目414的“缩略图地址”包括作为动态图像内容文件312的代表图像的代表缩略图图像502的缩略图文件500中的条目号。

“简档信息”包含存储在简档条目408中的视频音频条目的条目号。将参照图7C详细描述视频音频条目。

元数据条目415包含“条目类型”、“父条目列表”、“父条目类型”、“槽位有效标记”、“槽位链”、“元数据”等。“条目类型”、“父条目列表”、“父条目类型”、“槽位有效标记”、“槽位链”与参照日期文件夹条目411所描述的一致，这里省略其讨论。

从与作为元数据条目的上层文件条目的父条目相对应的内容文件中检索“元数据”。将参照图9～图16A和图16B详细描述包含在“元数据”中的各种信息。

缩略图文件500包含每个内容文件的代表缩略图图像。如图5所示，缩略图文件500包含作为属于动态图像内容文件夹310的动态图像内容文件311～316的代表图像的代表缩略图图像501～506。根据特性文件400中的内容属性信息402的“缩略图地址”，可以访问存储在缩略图文件500中的每个缩略图图像。根据包含在特性文件400中的虚拟管理信息401的“内容地址”，可以访问每个内容文件。

下面，详细描述存储在每个特性文件中的每个亲子关系。

图6示意性示出了图4所示的动态图像文件夹条目410、日期文件夹条目411、动态图像文件夹条目412和414以及元数据条目413和415的亲子关系。

动态图像文件夹条目410(条目号#1)包含诸如“子条目列表”的信息。例如，“子条目列表”存储“#3”和“#5”。

日期文件夹条目411(条目号#3)存储诸如“父条目列表”和“子条目列表”的信息。例如，“父条目列表”包含“#1”。例如，“子条目列表”包含“#7”和“#28”。

动态图像文件夹条目412(条目号#7)和动态图像文件夹条目414(条目号#28)的每一个都存储诸如“父条目列表”、“子条目列表”、“内容地址”以及“缩略图地址”的信息。在动态图像文件夹条目412中，“父条目列表”包含“#3”，“子条目列表”包含“#10”、“内容地址”包含“A311”，以及“缩略图地址”包含“#1”。包含在“缩略图地址”中的“#1”是缩略图文件500中的条目号，并且与存储在特性文件400中的每个条目的条目号不同。将参照图7A～图7D详细描述“缩略图地址”。

元数据条目413(条目号#10)和元数据条目415(条目号#31)的每一个都存储诸如“父条目列表”的信息。例如，在元数据条目413中，“父条目列表”包含“#7”。如图6所示，箭头线表示来自“父条目列表”和“子条目列表”中的一个的亲子关系。类似的亲子关系保持在图4所示的动态图像文件夹条目410、日期文件夹条目416、动态图像文件条目417和419以及元数据条目418和420中。

一个文件条目被映射到图4和图6的特性文件400中的一个元数据条目。可选地，一个文件条目可被映射到多个元数据条目。更具体地，一个父文件条目可被映射到多个子元数据条目。

例如，包含全球定位系统(GPS)信息的元数据条目(条目号#40)(未示出)和包含面部元数据的元数据条目413被映射作为动态图像文件夹条目412的子元数据条目。然后，“#10”和“#40”列入动态图像文件夹条目412的子条目列表中。根据元数据的类型确定子条目列表的存储顺序。可在单个文件条目中列出多个元数据。即使元数据的数量增加，但数据管理仍然保持简单，并且在更短的时间内提取出期望的元数据。元数据的类型可以涉及简单的数据类型(诸如面部元数据或GPS)或者元数据的编码类型(诸如二进位数据或文本数据)。

图7A示出了特性文件400的基本结构。图7B示出了形成每个条目的槽位的结构。图7C示出了包含在简档条目中的信息实例。图7D示出了表示包含在报头430中的信息中的通过内容管理文件340管理的内容数据的类型的实例信息。图8示意性示出了图4的特性文件400的通用结构。

如图7A所示，特性文件400具有报头430和动态图像文件夹条目440的每一个的基本结构。每个条目都是虚拟文件夹或虚拟文件的单位。

由一个或多个槽位构成形成动态图像文件夹条目部440的每个条目。根据存储在每个条目中的数据大小，对条目分配一个或多个槽位。形成每个条目的槽位被定义为具有由特性文件或缩略图文件确定的固定数据长度的数据块。由于槽位与槽位之间的槽位的数目不同，所以条目以槽位的整数倍可变。

如图7A所示，根据将被存储的数据451的数据大小，将两个槽位441和442分配给动态图像文件夹条目410。根据将被存储的数据452的数据大小，对日期文件夹条目411分配两个槽位443和444。

由于槽位的长度固定，所以槽位的整个区域不是一直被数据填充并留有空白。然而，从改善数据访问和数据管理的方面来说，优选使用固定长度的槽位。

通过图4和图6所示的条目号来管理形成条目部400的每个条目。考虑从整个特性文件400的第一个槽位到条目的先头(leading)槽位所出现的槽位数来分配条目号。如图7A和图8所示，动态图像文件夹条目410的条目的先头槽位变为特性文件400中的第一个槽位，该条目被分配条目号“#1”。由于日期文件夹条目411的条目的先头槽位变为特性文件400中的第三个槽位，所以该条目被分配条目号“#3”。由于日期文件夹条目416的条目的先头槽位变为特性文件400中的第五个槽位，所以该条目被分配条目号“#5”。对于其它条目号也同样适用。根据条目号，管理所有条目，并且还管理每个条目的亲子关系。当检索条目时，从第一个槽位开始计算特性文件400的槽位。

如图7B所示，构成每个条目的槽位包含槽位报头460和实数据部470。槽位报头460包含表示槽位有效性的有效/无效标记461和链462。

如果存在有效的对应内容文件，则在有效/无效标记461处设置标记。如果删除对应的内容文件，则设置无效标记。当删除对应的内容文件时，设置无效标记，并且通过删除对应于所删除内容文件的槽位内的信息，该槽位看起来好像不存在。在没有有效/无效标记461的情况下，如果相应的内容文件被删除，则不需要删除对应于所删除内容文件的槽位内的信息。另外，应该前移在所删除槽位之后的槽位内的信息，以填充所删除的槽位。

链462包含用于链接各个槽位的链接和结合的信息。包含在链462中的信息形成链接多个条目的单个条目。数据主体存储在实数据部470中。

简档条目408存储了100个数据单元，每个单元均包括每个内容文件中的一对视频、音频的编码译码信息。作为编码译码信息的视频条目包含“编码译码类型”、“视觉大小”、“采样率”等。作为编码译码信息的音频条目包含“编码译码类型”、“采样率”等。视频和音频条目分配有条目号。在简档条目408中以记录顺序分配条目号。如图7C所示，第一视频和音频条目471被分配“#1”，第二视频和音频条目472被分配“#2”。视频和音频条目的条目号被记录在文件条目的“简档信息”中(参见图5)。根据记录在“简档信息”中的条目号，读取对应于文件条目的内容文件的编码译码信息。

缩略图文件500(参见图5)在结构上基本与特性文件400一致，并且每个条目均包括一个或多个槽位。每个条目都用作用于表示一个代表缩略图像的单位。缩略图文件500[0]没有报头。文件中的每个槽位长度固定。将一个槽位的槽位大小记录在特性文件400的报头430中。缩略图文件500内的所有条目的关系被存储在特性文件400中。缩略图文件500的槽位大小与特性文件400的槽位大小不同。

可基于每个缩略图文件设置缩略图文件500的槽位大小，并且可将其存储在特性文件400的报头430中。在报头430中记录缩略图文件500的缩略图文件名。

对缩略图文件500中对应于内容文件的每个文件条目，记录内容文件的代表缩略图像。例如，如果内容文件为动态图像，则内容文件的代表缩略图像是开头图像的整个屏幕。形成缩略图文件500的每个条目都被分配有各个条目号。如果缩略图文件内的一个条目对应于一个槽位，则缩略图文件的条目号为槽位号。将缩略图文件的条目号存储在每个文件条目的“缩略图地址”中(参见图5)。

报头430包含管理每个条目的各种信息。例如，如图7D所示，报头430包含表示由内容管理文件340管理的内容文件的类型的信息。在图7D的实例中，由内容管理文件340管理的内容文件为高清晰度(HD)动态图像或标准清晰度(SD)动态图像，而不是静态图像。即使在记录动态图像和静态图像的内容记录装置中，内容管理文件340也不支持静态图像。以标准文件系统管理如图7D所示记录在报头430中的静态图像。由于也以标准文件系统管理动态图像，所以根据在不支持内容管理文件的内容再生装置中的文件系统的信息再生内容。摄像装置100可连接至另一个内容再生装置，或者可移动记录介质可移动至用于再生的另一个内容再生装置。如果其它内容再生装置支持内容管理文件，则可以根据内容管理文件读取内容文件。报头430包含简档条目408的条目号(条目号#150)。因此，根据形成动态图像文件夹条目部440的条目中的条目号#150来确定简档条目408的位置。

图8示意性示出了如图4所示的形成特性文件400的每个条目、对应于条目的槽位以及包含在每个槽位中的数据的关系。每个条目都标有各个条目号，而不是其名称。

图9示意性示出了元数据条目600的内部结构。元数据条目600对应于图4和图6的元数据条目413、415、418和420。根据本发明的一个实施例，基于每个动态图像内容文件记录面部元数据。

元数据条目600包含一个或多个元数据单元610。元数据单元610包含数据单元大小611、语言612、编码类型613、数据类型识别(ID)614和元数据615、

数据单元大小611包含存储在元数据单元610中的元数据大小的记录。语言612包含存储在元数据单元610中的元数据的语言的记录。编码类型613包含存储在元数据单元610中的元数据的编码类型的记录。元数据类型614包含识别每个元数据类型的识别信息的记录。

元数据615包含面部元数据620和除面部元数据以外的元数据650的记录。元数据650包括内容文件的标题信息和种类信息。

面部元数据620包含报头部630和面部数据部640。报头部630存储管理面部元数据的信息。报头部630基于每个动态图像内容而固定长度。面部数据部640包含基于每个面部所记录的面部数据的记录，作为从动态图像内容文件检测的面部的面部元数据。例如，面部数据部640包含面部数据621至面部数据623的记录。如图11所示，面部数据包含面部检测时间信息、基本面部信息、面部得分和笑脸得分。面部数据部640包含具有固定长度的一个动态图像内容文件。由于报头部630和面部数据部640的每一个都具有固定的长度，所以很容易执行对面部数据的访问。

其它元数据650具有与面部元数据620相同的结构。

根据本发明的一个实施例，规定在一帧内检测的面部中将被记录在面部数据部上的面部数据的值。例如，可基于预定条件定义将被记录在面部数据部上的面部数据的最大值。预定条件可以是一帧内检测的面部大小和在面部得分中具有高分的面部。通过对面部数据施加的这种限制，排除将一帧内不必要的面部(具有低分的面部或不可靠的面部)的面部数据记录在记录介质170上。因此，节约了记录介质170的存储容量。

将动态图像内容文件记录在记录介质170上。如果生成通过面部检测引擎检测的所有面部的面部数据，则面部数据的大小变得很大。如果面部检测的间隔很短，则面部大小增加得更多。如果在时间t0处对于帧记录的面部数据的单元数等于在时间t1处对于下一帧记录的面部数据的单元数，则在时间t1处检测的面部的面部数据不被记录在面部数据部上。如果所检测的面部数保持不变，则存在记录相同面部的元数据的高可能性。如果仅在任意两个连续时间点之间发生面部数据的单元数的改变，则记录面部数据。这种配置防止了面部数据的重复记录。根据本发明的一个实施例，不需要生成一帧内检测的所有面部的面部数据。

图10示出了将被存储在报头部630中的信息的概要。

报头部630存储报头大小631、元数据版本632、内容更新日期和时间633、面部数据结构标记660、时标(time scale)634、面部数据单元个数635、面部数据大小636、面部检测引擎版本637、内容图像大小638以及误差(error)检测码值639。如图10的表中“大小”下面所列出的，这些数据单元的每一个的数据大小为2字节。

报头大小631包含报头部630的数据大小的记录。当访问面部数据部640时，通过跳过报头部630，立刻对面部数据部640执行访问。报头大小631的数据大小为2字节。

元数据版本632包含对应于报头部630记录在面部数据部640上的面部元数据的版本信息的记录。当在内容再生装置上再生内容文件时，内容再生装置检查存储在元数据版本632中的面部数据的版本，以确认该版本是否是再生装置所支持的版本。根据本发明的一个实施例，记录“1.00”。元数据版本632的数据大小为2字节，其中，前8位表示主版本，而后8位表示次版本。如果面部元数据格式被扩展，则所扩展的版本信息被存储在这里。

内容更新日期和时间633包含记录动态图像内容文件的更新日期和时间的记录。可将通过摄像装置100拍摄的动态图像内容文件移动至另一个装置，然后可将编辑的动态图像内容文件记录在摄像装置100上。在编辑的动态图像内容文件和面部元数据之间产生偏差。例如，如下所述，可以以3个步骤1-3来移动动态图像内容文件。在这种情况下，检测偏差，从动态图像内容文件B再次检测面部元数据，由此校正在编辑的动态图像内容文件和面部元数据之间所发生的偏差。

(1)步骤1

动态图像内容文件A记录在内容再生装置A上，并生成对应于动态图像内容文件A的元数据。在这种情况下，动态图像内容文件A的创建日期和时间和更新日期和时间与面部元数据的内容更新日期和时间一致。

(2)步骤2

将动态图像内容文件A移动至内容再生装置B，然后在内容再生装置B上进行编辑。因此，动态图像内容文件A变为动态图像内容文件B。将动态图像内容文件B的更新日期和时间更新位编辑时的日期和时间。

(3)步骤3

将动态图像内容文件B移动至内容再生装置A。在这种情况下，动态图像内容文件B和面部元数据的内容更新日期和时间的值不同。

面部数据结构标记660包含表示由存储在面部数据部640中的面部数据所定义的元数据的存在或不存在。将参照图12～图16详细描述面部数据结构标记660。

时标634包含在面部数据部中所使用的时间信息的时标(表示每秒的单元数)的记录。更具体地，将表示从动态图像内容文件中检测面部时的信息(面部检测时间信息)作为面部数据记录在面部数据部上。时间信息的时标存储在时标634中。时标634的单位为Hz。

面部数据单元个数635包含在报头部630之后记录的数据单元的个数的记录。如果没有检测到面部，则记录“0”。

面部数据大小636包含表示在报头部630之后记录的单个面部数据单元的数据大小的信息。根据存储在面部数据大小636中的信息，可以跳至每个面部数据单元。如果没有检测到面部，则记录“0”。

面部检测引擎版本637包含与用于从动态图像内容文件中检测面部的面部检测引擎相关的信息。如果在面部元数据的再生期间内容再生装置识别出已经通过面部检测装置检测的面部元数据在性能上低于自身的装置，则面部检测引擎版本637用作是否再次检测面部元数据的标准。例如，以ASCII码描述与面部检测引擎相关的信息。

例如，如果元数据版本为“1.00”，则以图11中描述的顺序对面部数据部640执行数据记录。当内容再生装置识别出元数据版本为“1.00”时，因为具有固定长度的每个数据都位于预定的位置，所以快速访问面部数据部640的期望数据。

内容图像大小638包含表示从中检测面部的图像的高度和宽度的信息。误差检测码值639包含表示在已经从中检测出面部的图像的预定范围内所计算的误差检测码值(误差校正码值)的信息。例如，在面部元数据的生成期间，将由对应图像数据计算的校验和(checksum)值记录在误差检测码值639中。校验和被用于误差检测码值。可选地，误差检测码值可以是循环冗余检查(CRC)值和基于哈希(hush)函数的哈希值中的一个。

内容图像大小638和误差检测码值639可用于检测发生在动态图像内容文件和面部元数据之间的偏差。发生偏差的机构与上述步骤1～3相同。例如，静态图像内容文件包含大量的静态图像编辑软件程序，并且在一些程序中，即使当更新静态图像时，也可以不更新内容数据中的内容日期和时间。在这种情况下，对内容更新日期和时间和内容图像大小执行比较处理。由此可靠地检测偏差。

图11一般性地示出存储在面部数据部640上的面部数据。面部数据部640以报头部630的面部数据结构标记660的位分配顺序来存储面部数据。

面部数据部640包含面部检测时间信息641、基本面部信息642、面部得分643、笑脸得分644和面部重要性645。这些信息的存储单位为字节。这里利用“1.00”的元数据版本来定义讨论的元数据。

面部检测时间信息641表示在对应动态图像内容文件的开头为“0”的情况下检测元数据的帧的时间。面部检测时间信息641包含是存储在报头部630的时标634中的时标的整数倍的值。

基本面部信息642包含关于从形成动态图像内容文件的每个帧中所检测的面部的位置和大小的信息。在基本面部信息642中，通过前4个字节定义面部位置信息，通过后4个字节定义面部大小信息。例如，面部位置信息可以表示从中检测面部的图像的左上角与所检测面部的左下角之间的差，并且通过前16位定义面部的水平轴，通过后16位定义面部的垂直轴。例如，面部大小信息表示所检测面部的图像大小，并且通过前16位定义面部宽度，通过后16位定义面部高度。在使用面部元数据的应用中，基本面部信息642是最重要的元数据。

面部得分643表示代表所检测面部的面部相似性的分数。

笑脸面部得分644表示所检测面部多少为笑脸的得分信息。

面部重要性645包含表示同时检测的图像的优先级顺序(重要性)的信息。例如，可在相同帧内检测多个面部。可将高优先级被分配给接近图像中心的面部或被聚焦的面部。在其中包含的信息中，值越小，面部越重要。例如，“1”可能是最重要的值。即使在将图像显示在移动终端的小屏幕上时，也可以放大显示具有最高优先级的面部，剩下的面部以较小的尺寸显示。

根据本发明的一个实施例，面部数据以其检测顺序被记录。因此，可以按时间顺序快速检索面部数据。在相同动态图像内容文件中的所有面部数据中所包含的元数据被认为是相同类型的，并且以图11所示的顺序记录面部数据。不需要记录图11的所有数据，但记录相同图像内容文件中的相同类型的元数据。以这种方式，所有面部数据保持固定的长度，从而增加了面部数据的可访问性。由于记录了相同动态图像内容文件中的相同类型的元数据，所以改善了对预定元数据的可访问性。

图12示出了图10所示报头部630的面部数据结构标记660的数据结构。图13A和图13B～图16A和图16B示出了存储在面部数据结构标记660中的位和存储在面部数据部640中的面部数据之间的关系。

根据本发明的一个实施例，定义了面部数据部640的五个元数据单位。根据如图11所示的面部数据部640的顺序，数据被分配从面部数据部640的最低有效位(LSB)开始的0位到4位。面部数据结构标记660的每位都填充有面部数据的对应数据字段(field)的数据的存在或不存在的指示。更具体地，如果数据存在于面部元数据的数据字段中，则将“1”存储在面部数据结构标记660的对应位中，以及如果数据不存在于面部元数据的数据字段中，则将“0”存储在对应位中。以这种方式，如果数据存在于面部数据部640，则将“1”设置在对应位中。在面部数据结构标记660中，保留6位和随后的位，用于进一步扩展。

更具体地，如图13A所示，面部数据部640存储通过元数据版本“1.00”定义的数据。如图13B所示，从LSB开始的位1～位4填充有“1”。内容记录装置不需要记录所有数据，而是记录所需数据。根据元数据的应用，柔性地记录面部元数据，因此，所处理的数据量减少。

如图14A所示，另一个内容记录装置将通过“1.00”的元数据版本定义的5个数据单位中的3个元数据单位存储在面部数据部640中。在这种情况下，所记录的元数据的顺序为图11中所示的顺序，没有数据的空字段填充有数据。图14B示出了通过另一个内容记录装置记录的面部数据结构标记660的实数据，并将“1”存储在分配给作为面部数据存在的数据字段的标记处。在通过“1.00”的元数据版本定义的范围内，内容记录装置可记录任意元数据。即使通过其它内容记录装置记录不同的元数据，内容再生装置也能再生报头部的面部元数据参考信息，从而确认元数据中元数据的存在或不存在。由于面部数据的数据长度固定，所以快速访问期望的数据。

参照附图描述在根据本发明一个实施例的面部数据部640中所存储的面部数据的扩展方法。

如果将来进一步改进面部检测技术或者如果面部检测结果被用在新应用中，则通过“1.00”的元数据版本单独定义的元数据可能不够。

图15A示出了扩展的面部数据的实例。所扩展的面部数据包括表示所检测面部中的性别差异的“性别差异得分”以及表示帧中的所检测面部的角度的“角度信息”。具有这些添加至其的数据字段的面部元数据被定义为“1.10”的元数据版本，并将“1.10”记录在报头部的元数据版本字段中。通过将新的元数据添加到由以前的版本定义的数据下方来扩展元数据。更具体地，当数据记录在记录介质170上时，由版本“1.10”定义的数据通过面部数据单位被记录在其上记录有由“1.00”版本定义的数据的物理地址之后的物理地址中。接下来，下一个元数据通过面部数据单位被记录在其上记录有由“1.10”版本定义的数据的物理地址之后的地址中。

图16B示出了由“1.10”版本定义的元数据中通过一个记录装置所记录的元数据。例如，当记录图15A的扩展面部数据时，不需要记录图15A的所有面部数据。如果没有记录任何的面部数据，则图15A的面部数据的预定面部数据以图16A所示的数据顺序被记录，其中，没有面部数据的空数据字段填充有当前数据。

随着版本升级至“1.10”，面部数据结构标记也被扩展。将“1.00”版本中保留的位以如图15A所示定义的字段顺序分配新位。如果数据存在于面部数据部中，则如图15B所示设置“1”。支持“1.10”版本的再生装置确认报头部的面部数据结构标记的位列，并识别面部数据部的数据结构。由于每个面部数据的长度固定，所以快速访问期望的元数据。

支持“1.10”版本的记录装置可将面部元数据记录在其可移动加载的记录介质上，并且记录介质可被转移到仅支持“1.00”版本的再生装置。在这种情况下，再生装置可识别报头部的面部数据结构标记的位0～位4。由于面部数据大小的规格保持不变，所以如果面部数据没有通过“1.00”版本定义，再生装置也能识别通过“1.00”版本定义的面部数据。如图16A和图16B所示，再生装置可以识别“面部检测时间信息”、“基本面部信息”、“面部得分”和“面部重要性”。因此，再生装置可以访问这些信息。元数据条目具有可访问性极佳的数据结构，并且可以支持结构的修改。

下面，描述根据本发明一个实施例的摄像装置100的功能结构。

图17是示出本发明一个实施例的摄像装置100的框图。摄像装置100包括内容管理文件存储器210、内容输入单元211、面部检测器212、面部元数据生成器213、虚拟管理信息生成器214、代表缩略图像提取器215、内容属性信息生成器216和记录控制器217。

内容管理文件存储器210存储包含具有虚拟层结构的层条目的记录的内容管理文件340。在图3～图9中详细示出了内容管理文件340。

内容输入单元211接收内容文件，然后将接收的内容文件输出至面部检测器212、面部元数据生成器213、虚拟管理信息生成器214、代表缩略图像提取器215和内容属性信息生成器216的每一个。更具体地，通过像机部110拍摄的帧经由内容输入单元211顺序输入。

面部检测器212检测包含在通过内容输入单元211输入的内容文件中的面部。然后，面部检测器212将所检测面部的出现时间和位置输出至面部元数据生成器213。如果同时检测多个面部，则将每个检测面部的出现时间和位置输出至面部元数据生成器213。

面部元数据生成器213基于经由内容输入单元211输入的内容文件生成面部元数据。面部元数据生成器213将生成的面部元数据输出至记录控制器217。面部元数据生成器213包括面部数据生成器218和报头信息生成器219。基于通过面部检测器212检测的面部的出现时间和位置，面部数据生成器218生成面部的面部数据(图11的面部数据部640的每个数据)。报头信息生成器219生成管理由面部数据生成器218生成的面部数据的报头信息(图10的报头部630的信息)。记录控制器217接收通过面部数据生成器218生成的面部数据和通过报头信息生成器219生成的报头信息。任选地，面部数据生成器218可以具有不生成以预定时间间隔检测但不满足预定条件的任意一个面部的面部数据的选项。

虚拟管理信息生成器214基于内容文件生成虚拟管理经由内容输入单元211输入的内容文件的虚拟管理信息401(图5)。虚拟管理信息生成器214将生成的虚拟管理信息401输出至记录控制器217。

代表缩略图像提取器215从经由内容输入单元211输入的内容文件中提取内容文件的代表缩略图像501～506，并将提取的代表缩略图像输出至内容属性信息生成器216和记录控制器217的每一个。

内容属性信息生成器216基于内容文件生成与经由内容输入单元211输入的内容文件相关的内容属性信息402(图5)，并将生成的内容属性信息402输出至记录控制器217。内容属性信息生成器216通过将缩略图文件500中的代表缩略图像的记录位置(缩略图地址)包括在与对应于由代表缩略图像提取器215提取的代表缩略图像的内容文件相关的内容属性信息中来生成属性信息。

记录控制器217使内容管理文件存储器210作为特性文件400记录动态图像文件夹条目414。动态图像文件夹条目414包含通过虚拟管理信息生成器214生成的虚拟管理信息401和通过内容属性信息生成器216生成的内容属性信息402。记录控制器217还使内容管理文件存储器210记录包含通过面部元数据生成器213生成的面部元数据的元数据条目415。将元数据条目415记录为对应于具有生成的其元数据的内容文件的动态图像文件夹条目414的特性文件400中的下层。记录控制器217进一步使内容管理文件存储器210作为缩略图文件500记录通过代表缩略图像提取器215提取的代表缩略图像。

图18是示出根据本发明一个实施例的摄像装置100的功能框图。摄像装置100包括内容管理文件存储器210、操作输入接收器221、内容存储器223、选择器224、提取器225、绘画单元226和显示器227。

内容管理文件存储器210存储通过记录控制器217记录的内容管理文件340(图17)。内容管理文件存储器210将记录在内容管理文件340中的每个条目输出至选择器224和提取器225的每一个。

操作输入接收器221具有各种输入键。一旦响应于其中一个键的选择接收操作输入时，操作输入接收器221就将接收的操作输入输出至选择器224。操作输入接收器221的至少一部分可以与内容存储器223集成为整体作为触摸屏。

内容存储器223存储诸如动态图像或静态图像的内容文件。内容存储器223将所存储的内容文件输出至提取器225和绘画单元226的每一个。

选择器224响应于经由操作输入接收器221键入的操作输入来执行选择处理，并将选择结果输出至提取器225。更具体地，操作输入接收器221接收操作输入，以从显示在显示器227上的代表缩略图像中选择一个代表缩略图像。响应于操作输入，选择器224响应所选代表缩略图像选择文件条目，并将选择的文件条目的条目号输出至提取器225。操作输入接收器221接收操作输入，以从显示在显示器227上的面部缩略图像中选择一个面部缩略图像。响应于操作输入，选择器224响应所选面部缩略图像来选择面部数据，并将所选面部数据的面部检测时间信息输出至提取器225。换句话说，选择器224从记录在内容管理文件存储器210上的内容管理文件中的文件条目中选择期望的文件条目，并从元数据条目中的面部元数据的面部数据中选择期望的面部数据。

响应于通过选择器224输入的文件条目的条目号，提取器225提取存储在内容存储器223上的内容文件。提取器225响应于通过选择器224输入的条目号提取在文件条目的下层所存储的元数据条目中所包含的面部数据。根据包含在面部数据中的面部的时间和位置信息，提取器225从内容文件中提取对应于面部数据的面部缩略图像。提取器225进一步根据记录在元数据条目的上层的文件条目提取内容文件。元数据条目包含通过选择器224输入的面部数据的面部检测时间信息641。从存储在内容存储器223上的内容文件中，提取器225在对应于从选择器224输入的面部检测时间信息的记录时间的当时和之后提取动态图像。提取器225将这些提取结果输出至绘画单元226。稍后将参照图19和图20详细描述选择和提取处理。

提取器225确定对应于存储在内容存储器223上的内容文件的图像和图像的面部数据是否满足预定条件。提取器225相对于满足预定条件的图像中所包含的面部的面部数据计算与期望的信息要素中的每个面部数据的开头的记录偏移值，并根据所计算的记录偏移值从面部数据中读取期望的信息要素。如果不满足预定条件，则提取器225检索对应于与被确定为不满足预定条件的图像不同的图像的面部数据和面部数据管理信息。将参照图26、图27、图32和图33详细描述信息要素的读取处理。

响应于从提取器225输入的提取结果，绘画单元226绘制从存储在内容存储器223上内容文件中提取的面部缩略图像和从存储在内容存储器223上的内容文件中提取的动态图像。绘画单元226进一步绘制存储在内容管理文件存储器210上的缩略图文件500中的代表缩略图像。

显示器227显示由绘画单元226绘制的图像。

下面，参照附图描述特性文件、缩略图文件和动态图像内容文件的关系。

图19示出了动态图像文件夹条目414、元数据条目415、缩略图文件500和动态图像内容文件312的关系。

如图19所示，动态图像文件夹条目414存储表示动态图像内容文件312的内容地址的“A312”和表示对应于动态图像内容文件312的代表缩略图像502的缩略图地址的“#2”。动态图像文件夹条目414的子条目列表存储用于存储与动态图像内容文件312相关的元数据的元数据条目415的条目号“#31”。元数据条目415的父条目列表存储动态图像文件夹条目414的条目号“#28”。元数据条目415的元数据包含与如图9和图11所示的所检测面部相关的各种面部元数据。基于面部元数据的面部检测时间信息和基本面部信息从动态图像内容文件312的各帧中识别出一帧。通过箭头线表示上述关系。

通过映射和管理条目的内容，快速检索内容文件。

例如，可显示在2006年1月11日拍摄的动态图像列表。在特性文件400的条目中检索管理动态图像内容文件的动态图像文件夹条目410。然后，从存储在动态图像文件夹条目410中的子条目列表中的日期文件夹条目411和日期文件夹条目416中检索管理2006年1月11日的文件的日期文件夹条目411。检索存储在日期文件夹条目411的子条目列表中的动态图像文件夹条目412和动态图像文件夹条目414。提取记录在日期文件夹条目411和414上的缩略图文件500的缩略图地址(条目参考信息)。随后，打开缩略图文件500，根据提取的缩略图地址从缩略图文件500中提取代表缩略图像，然后显示所提取的代表缩略图像。

可以不使用内容管理文件340显示在2006年1月11日拍摄的动态图像列表。然而，在这种情况下，所有内容文件都被打开和关闭用于检索。这种处理很耗时。当显示代表缩略图像时，缩小并显示对应于实内容文件的图像。甚至需要更多的时间。

可显示在2006年1月11日的动态图像中出现的人物面部。基于显示的代表缩略图图像502，提取动态图像文件夹条目414和元数据条目415。访问通过动态图像文件夹条目414管理的动态图像内容文件312。根据存储在元数据条目415中的面部元数据(面部检测时间信息641和基本面部信息642)，从动态图像内容文件312中提取面部图像。然后显示所提取的面部图像。

图20示出了使用内容管理文件340的应用。与动态图像内容文件312相关的各种图像显示在LCD 162上，并且与动态图像内容文件312相关的图像从期望时间开始再生。

如图19所示，打开缩略图文件500。在LCD 162上显示存储在缩略图文件500中的代表缩略图像501～506的列表。代表缩略图像501～503显示在显示屏710上。对应于代表缩略图像502的动态图像内容文件312的记录日期和时间714被显示在标记有选择标志715的代表缩略图像502的右边。按下向上按钮711或向下按钮712使滚动条713上下移动，并且使显示在显示屏710上的代表缩略图像上下移动，以示出其它代表缩略图像。可以以记录日期和时间的顺序从上到下显示代表缩略图像。

在显示屏710上键入选择代表缩略图像502的操作输入。根据对应于代表缩略图像502的动态图像文件夹条目414中所存储的内容地址来提取对应于动态图像文件夹条目414的动态图像内容文件312。根据存储在动态图像文件夹条目414中的子条目列表来提取对应于动态图像文件夹条目414的元数据条目415。根据存储在元数据条目415中的面部元数据，从动态图像内容文件312中提取面部缩略图像。在LCD 162上显示提取的面部缩略图像的列表。如显示屏720所示，面部缩略图像是包含人物面部的矩形图像。如显示屏720所示，在屏幕的左侧部分显示在显示屏720中选择的代表缩略图像502，同时显示在屏幕右侧的面部缩略图像显示区725示出了提取的面部缩略图像730～732。所选择的面部缩略图像标有选择标号726。LCD 162还显示与在显示屏710中选择的代表缩略图像502相对应的动态图像内容文件312的记录日期和时间724。按下向上按钮721或向下按钮722使滚动条723左右移动，并且使显示在显示屏720上的代表缩略图像左右移动，以示出其它代表缩略图像。可以以记录日期和时间的顺序从左到右显示代表缩略图像。

可以在显示屏720上输入选择面部缩略图像731的操作输入。从存储在元数据条目415中的面部检测时间信息中提取对应于面部缩略图像731的面部检测时间信息。从所选面部缩略图731的开头开始，从存储在元数据条目415中的面部元数据中识别对应于面部缩略图像731的面部数据。提取包含在面部数据中的面部检测时间信息。在由面部检测时间信息表示的时间处，在LCD 162上显示动态图像内容文件312的再生图像。如图19所示，从动态图像内容文件312的帧704再生动态图像。如显示屏740所示，显示再生图像，同时记录日期和时间741也被显示在显示屏740的右上部。用户可以希望从特定人物(例如，用户本人)出现的时刻开始再生动态图像。通过选择该特定人物的面部缩略图像，用户可以容易地从那个时刻开始再生。如果同时检测多个面部，则同时生成多个面部数据单元。基于每个面部数据提取面部缩略图像。可以显示同时的多个面部缩略图像。当显示同时的多个面部缩略图像时，如果选择任何面部缩略图像，则从那个时刻开始再生动态图像。

存储从虚拟文件结构(条目)到实文件结构的链接信息(内容信息)。根据文件条目内的任意信息(例如，记录日期和时间)检索并再生内容文件。在这种情况下，检索具有记录日期和时间的记录的记录文件条目，并且根据文件条目内的内容地址来再生内容文件。只是简单地打开特性文件，而不需要打开所有内容文件。通过利用槽位的固定长度管理(条目号管理)，执行快速处理。

当不执行虚拟文件管理时，可以执行类似的检索。实际打开内容文件，读取内部信息(诸如记录日期和时间)，然后关闭内容文件。然后，打开下一个内容文件。这种处理很耗时。如果记录介质的记录容量增加，则内容单元的数目也因此增加。耗时处理的问题变得更加显著。

下面，参照附图描述本发明一个实施例的摄像装置100的操作。

图21是示出摄像装置100对特性文件400的记录处理的流程图。这里，对应于所拍摄图像数据的动态图像内容文件被输入作为内容文件。

对通过像机部110拍摄的图像进行编码。将作为编码图像数据的流(stream)输入至内容输入单元211(步骤S901)。

然后，确定在序列的开头形成输入流的帧是否为I画面或IDR画面(步骤S902)。如果形成输入流的帧既不是I画面也不是IDR画面(步骤S902)，则流输入继续(步骤S901)。

如果形成输入流的帧为I画面或IDR画面，则面部检测器212从帧中检测面部(步骤S903)。然后，确定所检测的面部是否落入预定条件的预定范围内(步骤S904)。如果没有检测到面部，或者如果所检测的面部落在预定条件的范围之外(步骤S904)，则处理返回步骤S903，以重复面部检测。

如果所检测的面部落入预定条件的范围内(步骤S904)，则基于所检测的面部生成面部数据。然后记录所生成的面部数据(步骤S905)。随后，确定是否已经完成了一帧内的面部检测(步骤S906)。换句话说，在一帧的整个区域内执行面部检测。如果确定没有完成一帧内的面部检测(步骤S906)，则处理返回步骤S903。然后重复对该帧的面部检测。

如果确定已经完成了一帧内的面部检测(步骤S906)，则确定是否已经完成的流输入(步骤S907)。换句话说，确定是否已经完成了一个完整单元的图像内容数据的输入。如果在步骤S907中确定没有完成流的输入，则处理返回步骤S901，继续输入流。

如果已经完成的流的输入，则生成报头信息(步骤S908)。基于记录在存储器上的面部数据，将报头信息记录在面部元数据的报头部630中(图10)(步骤S908)。

生成元数据条目(步骤S909)。元数据条目包括包含所生成的报头信息的报头部以及包含所检测面部的面部数据的面部数据部。生成管理对应于输入流的动态图像内容文件的文件条目(步骤S910)。

打开特性文件400(步骤S911)。计算元数据条目和文件条目的条目号，并根据计算结果将所生成的元数据条目和文件条目分配给特性文件400(步骤S912)。更具体地，多个条目以槽位号的顺序分配给特性文件400。

将属于文件条目的元数据条目的条目号记录在分配特性文件400的文件条目的子条目列表中，并且将元数据条目的文件条目的条目号记录在元数据条目的父条目列表中(步骤S913)。

将文件条目的条目号记录在分配特性文件400的文件夹条目的子条目列表中。将元数据条目的文件条目的条目号记录在元数据条目的父条目列表中(步骤S913)。

将文件条目的条目号记录在分配特性文件400的文件条目的文件夹条目的子条目列表中，并且将文件夹条目的条目号记录在文件条目的父条目列表中(步骤S914)。关闭特性文件400(步骤S915)，由此完成特性文件400的记录处理。

如果在步骤S901中形成流输入的帧为先头帧，则提取代表缩略图像(步骤S903)。将代表缩略图像存储在缩略图文件500中，并且将代表缩略图像的缩略图地址被记录在对应文件条目的缩略图地址中(步骤S912)。将对应于输入流的内容文件的内容地址存储在相应的文件条目的内容地址中(步骤S912)。

参照附图描述从期望的时间点开始再生动态图像内容文件的再生处理。

图22～图24是示出通过摄像装置100执行的动态图像内容文件的再生处理的流程图。

监控来自操作单元140的操作输入。摄像装置100确定是否已经输入显示动态图像内容文件列表的操作指令(步骤S921)。如果在步骤S921中确定没有输入指令，则摄像装置100继续监控操作输入。

当输入显示动态图像内容文件列表的操作指令时(步骤S921)，打开特性文件400(步骤S922)。从特性文件400中提取用于管理动态图像内容文件的文件夹条目(步骤S923)。从记录在所提取文件条目中的子条目列表中提取出日期文件夹条目的条目号，并根据所提取的条目号提取日期文件夹条目(步骤S924)。

从记录在所提取日期文件夹条目中的子条目列表中提取动态图像文件条目的条目号，并根据所提取的条目号提取动态图像文件夹条目(步骤S925)。将所提取的文件条目的条目号顺序记录在存储器上(步骤S926)。将对应于记录在存储器上的条目号的文件条目中所记录的缩略图地址顺序记录在存储器上(步骤S927)。

然后，确定是否提取了记录在一个日期文件夹条目的文件条目中的所有缩略图地址(步骤S928)。如果还没有提取所有缩略图地址，则处理返回步骤S927，以重复提取处理。

如果提取了所有缩略图地址(步骤S928)，则确定是否已经提取了所有日期文件夹条目(步骤S929)。如果没有提取所有日期文件夹条目(步骤S929)，则处理返回步骤S925，以重复提取处理。

如果已经提取了所有日期文件夹条目(步骤S929)，则关闭特性文件400(步骤S930)，并打开缩略图文件500(步骤S931)。根据在步骤S927中记录在存储器上的缩略图地址，从缩略图文件500中读取代表缩略图像，并将读取的代表缩略图像顺序记录在存储器上(步骤S932)。关闭缩略图文件500(步骤S933)。在LCD 162上显示在步骤S932中记录在存储器上的代表缩略图像(步骤S934)。例如，如图20所示，表示显示屏710。

在步骤S935中，摄像装置100确定操作单元140是否已经键入操作指令来选择显示在LCD 162上的一个代表缩略图像。如果在步骤S935中确定没有键入操作指令，则摄像装置100继续监控操作输入。

当已经键入选择一个代表缩略图像的操作指令时(步骤S935)，提取在步骤S926中记录在存储器上的文件条目的条目号(步骤S936)。然后，打开特性文件400(步骤S937)。从特性文件400中提取对应于所提取条目号的文件条目(步骤S938)。

将从记录在所提取文件条目中的子条目列表中提取元数据条目的条目号，并将所提取的元数据条目的条目号记录在存储器上(步骤S939)。从特性文件中提取对应于记录在存储器上的条目号的元数据条目(步骤S940)。从所提取的元数据条目中提取面部元数据(步骤S941)。确认所提取面部元数据的报头部的信息(步骤S942)。

根据报头部的信息读取面部数据(步骤S943)。顺序记录包含在所读取面部数据中的基本面部信息(步骤S944)。在步骤S945中确定是否已经读取了所有面部数据。如果在步骤S945中确定没有读取所有面部数据，则继续执行面部数据的读取和面部数据向存储器的记录(步骤S943和S944)。如果已经读取了所有面部数据，则关闭特性文件400(步骤S946)。基于在步骤S944中记录在存储器上的基本面部信息，从动态图像内容文件中生成面部缩略图像，并将所生成的面部缩略图像顺序记录在存储器上(步骤S947)。在LCD 162上显示在步骤S947中记录在存储器上的面部缩略图像(步骤S948)。因此，如图20所示，示出显示屏720。

然后，确定操作单元140是否已经键入选择显示在LCD 162上的一个面部缩略图像的操作指令(步骤S949)。如果没有键入选择一个面部缩略图像的操作指令(步骤S949)，则摄像装置100继续监控操作指令的输入。

当已经键入选择一个面部缩略图像的操作指令时(步骤S949)，将对应于所选面部缩略图像的显示顺序的号码记录在存储器上(步骤S950)。打开特性文件400(步骤S951)。根据在步骤S939中记录在存储器上的元数据条目的条目号，从特性文件400中提取元数据条目(步骤S952)。

从所提取的元数据中提取面部元数据(步骤S953)。从所提取的面部元数据中提取对应于在步骤S950中记录在存储器上的号码的面部数据(步骤S954)。从所提取的面部数据中提取面部检测时间信息，并将所提取的面部检测时间信息记录在存储器上(步骤S955)。

提取与具有记录在存储器上的条目号的元数据条目的父条目列表相对应的文件条目的条目号(步骤S956)。从特性文件400中提取对应于所提取条目号的文件条目(步骤S957)。提取记录在所提取文件条目中的内容地址，并将所提取的内容地址记录在存储器上(步骤S958)。然后，关闭特性文件400(步骤S959)。

从通过在步骤S955中记录在存储器上的面部检测时间信息所表示的时间开始再生与步骤S957中提取的内容地址相对应的内容文件(步骤S960)。

图25示意性示出了包含在图9的元数据条目600中的面部元数据620的结构。在包含数据1～数据6的面部数据的读取处理中计算面部数据的偏移值。

将面部元数据620的报头大小“a”记录在面部元数据620的报头部630的报头大小631中。将面部元数据620的面部数据大小“b”记录在面部元数据620的报头部630的面部数据大小636中，并且“c”表示单个面部数据单位与预定数据的距离。为了从面部元数据620中读取数据，根据方程式(1)计算与每个数据的开头的偏移值，然后使用计算的偏移值读取数据。当从面部数据中读取数据时，快速执行读取处理。例如，如图25所示，所期望的数据是数据3：

a+c+nxb(n：等于或大于0的整数)[字节]       …(1)

图26是示出通过摄像装置100执行的面部数据的读取处理的流程图。对图10的报头部630执行对应于图23的步骤S941～S943的读取处理。

从元数据条目中读取面部元数据(步骤S971)。然后，读取所读取面部元数据的报头部630的信息(步骤S972)。基于记录在所读取报头部630的元数据版本632中的面部元数据的版本信息，摄像装置100在步骤S973中确定摄像装置100是否支持面部元数据的版本。摄像装置100还确定关于所期望的数据是否存在于面部元数据的面部元数据的版本。可以使用附加“1.10”版本的面部元数据。如果确认为“1.00”版本，则处理前进至步骤S980。

如果在步骤S973中确定不支持面部元数据的版本，则处理前进至步骤S980。随后，摄像装置100确定是否已经读取了存储在内容存储器223上的所有内容数据的面部数据(步骤S980)。

如果支持面部元数据的版本(步骤S973)，则摄像装置100确定对应动态图像内容文件的更新日期和时间是否与记录在报头部630的内容更新日期和时间633中的更新日期和时间匹配(步骤S974)。

如果在步骤S974中确定动态图像内容文件的更新日期和时间与记录在报头部630的内容更新日期和时间633中的更新日期和时间不匹配，则摄像装置100确定是否即将执行面部再检测(步骤S982)。如果即将执行面部再检测，则对确定为具有不匹配的更新日期和时间的动态图像内容文件执行步骤S900的特性文件的记录处理。处理返回步骤S971。然后，从对应于已经经受特性文件的记录处理的动态图像内容文件的元数据条目中读取面部元数据(步骤S971)。

如果在步骤S974中确定动态图像内容文件的更新日期和时间与记录在报头部630的内容更新日期和时间633中的更新日期和时间匹配，则摄像装置100确定对应于动态图像内容文件的图像大小是否与记录在报头部630的内容图像大小638中的图像大小匹配(步骤S975)。如果在步骤S975中确定对应于动态图像内容文件的图像大小与记录在报头部630的内容图像大小638中的图像大小不匹配，则处理前进至步骤S982，重复上述处理。

如果在步骤S975中确定对应动态图像内容文件的图像大小与记录在报头部630的内容图像大小638中的图像大小匹配，则摄像装置100确定是否将“0”记录在报头部630的面部数据单元个数635中(步骤S976)。如果在步骤S976中确定“0”被记录在面部数据单元个数635中，则没有从对应动态图像内容文件中检测到面部，并且不存在面部数据。处理前进至步骤S980。

如果在步骤S976中确定没有将“0”记录在面部数据单元个数635中，则摄像装置100基于报头部630的面部数据结构标记660中的记录，确定是否将所需数据记录作为面部数据(步骤S977)。因为即使通过相同版本也可能包括不必要的数据，所以执行该确定处理。如果不必要的数据被记录作为面部数据(步骤S977)，则处理前进至步骤S980。

如果所需数据被记录作为面部数据(步骤S977)，则摄像装置100基于面部数据结构标记660的记录使用方程式(1)计算面部数据中的所需数据的偏移值(步骤S978)。计算偏移值，以确定在面部数据的开头和所需数据之间存在多少字节，以及确定面部数据的结构。根据所计算的偏移值读取面部数据(步骤S979)。摄像装置100确定是否已经读取了存储在内容存储器223上的所有内容单元(步骤S980)。如果在步骤S980中确定已经读取了存储在内容存储器223上的所有内容单元，则完成面部数据的读取处理。

如果在步骤S980中确定还没有读取存储在内容存储器223上的所有内容单元，则从与具有还没有读取的面部数据的内容单元相对应的元数据条目中选择面部元数据(步骤S981)。重复面部数据的读取处理(步骤S971～S979)。这里，对存储在内容存储器223上的所有内容单元执行读取处理。上述处理还用于仅读取存储在内容存储器223上的内容单元中的期望一个的情况。

除内容更新日期和时间的比较之外，还通过执行内容图像大小比较处理进一步可靠地检测偏差。

图27是示出通过摄像装置100执行的面部数据的读取处理的流程图。在该读取处理中，使用校验和来检测偏差。用步骤S983和S984替代图26中的步骤S974和S975。下面，详细描述步骤S983和S984，并在这里省略剩余步骤的讨论。下面，参照图10的报头部630描述步骤S983和S984。

基于在步骤S972中读取的报头部630的元数据版本632中所记录的面部元数据的版本信息，摄像装置由此确定是否支持面部元数据的版本(步骤S973)。如果在步骤S973中确定摄像装置100支持面部数据的版本，则从对应动态图像内容文件的图像数据中记录校验和(步骤S983)。所有图像数据的校验和计算很耗时。从对应图像数据中提取不影响记录和再生处理的大小的图像数据，然后仅对所提取的图像数据执行校验和计算。例如，可以对从开始至第100个字节数据的图像数据执行校验和计算。在这种情况下，也可以从图像数据的开始至第100个字节数据计算报头部630的误差检测码值的校验和值。

随后，摄像装置100确定所计算的校验和值是否等于记录在报头部630的误差检测码值639中的校验和值(步骤S984)。

如果在步骤S984中确定所计算的校验和值等于记录在报头部630的误差检测码值639中的校验和值，则面部元数据被确定为可靠。处理前进至步骤S976。如果在步骤S984中确定所计算的校验和值不等于记录在报头部630的误差检测码值639中的校验和值，则处理前进至步骤S982。这里，当将CRC或哈希函数用于误差检测码值时，也可以用于所描述的处理。可以使用参照图26和图27讨论的内容更新日期和时间比较(步骤S974)、内容图像大小比较(步骤S975)以及校验和比较(步骤S983和S984)中的至少两个步骤来检测偏差。

下面，参照附图描述本发明的实施例的修改。

这里，内容文件为动态图像内容文件。包含基于动态图像内容文件生成的面部元数据的元数据条目被记录在内容管理文件340中，同时还记录在动态图像内容文件中。面部元数据被记录为对于包含在图2的访问单元(AU)中的SEI NAL单元的附加信息。

如图2所示，在根据MPEG4-AVC编码的动态图像内容文件中所包含的面部的检测定时是IDR AU或非IDR-I AU的出现定时。例如，当从对应于IDR AU的帧中检测面部时，与所检测面部相关的面部元数据被记录为对于包含在IDR AU中的SEI NAL单元的附加信息。例如，如图2所示，从对应于AU 180的帧中检测面部。将对应于所检测面部的面部元数据记录为包含在AU 180中的SEINAL单元181的附加信息。如果从对应于AU 190的帧中检测面部，则将与所检测面部相关的面部元数据记录为包含在AU 190中的SEI NAL单元191的附加信息。

记录在SEI NAL单元(下文中称作SEI)中的面部元数据是由图10的报头部630和图11的面部数据部640构成的面部元数据620。如先前参照图13～图16所讨论的，面部数据部640仅包含所需信息。

参照图28详细描述记录在SEI中的面部数据需要满足的预定条件。当将面部数据值记录在内容管理文件340的面部数据部中时，根据预定条件(诸如面部大小、位置和先前所检测面部的数量改变)，限定一帧内所检测面部的将被记录在面部数据部上的面部数据。当面部数据被记录在SEI中时，在一帧内检测的面部的面部元数据尽可能多地被记录。更具体地，在比应用于内容管理文件340中的面部数据的记录的条件宽松的条件下，将面部数据记录在SEI中。

将上限设置为将存储在SEI中的面部数量，并且只有在所检测面部的数量超过上限时，才可以基于所检测面部的大小和位置限定将记录在SEI上的面部元数据。参照图28描述面部数据的记录方法。

图28示出了从形成动态图像内容文件的帧823～828中检测的面部和记录在面部数据部840中的面部数据811～822之间的关系。如图28所示，用矩形框围住从帧823～828中检测的每个面部。从帧825和827的每一个中检测出2个面部，从帧826和828的每一个中检测出3个面部。

在检测时间t1处从帧823中检测的面部数量等于在检测时间t2处从帧824中检测的面部数量。如果面部数量没有高于上限，则将在检测时间t1处从帧823中检测的面部和在检测时间t2处从帧824中检测的面部的面部数据记录在面部数据部640中。在检测时间t5处从帧827中检测的面部数量小于在检测时间t4处从帧826中检测的面部数量，但每种情况下所检测面部的数量没有高于上限。将在检测时间t4处从帧826中检测的面部和在检测时间t5处从帧827中检测的面部的面部数据都记录在面部数据部640中。

例如，将面部数据记录在内容管理文件340上的预定条件可以如下。如果在一个检测时间处从一个帧中检测的面部数量等于在下一个检测时间处从下一帧中检测的面部数量，则不记录从下一帧中检测的面部的面部数据。由于面部数量保持不变，所以很可能记录相同面部的元数据。如果在下一个检测时间处从下一帧中检测的面部数量小于从先前帧中检测的面部数量，则不将记录从下一帧中检测的面部的面部数据。

如图28所示，在检测时间t1处从帧823中检测的面部数量等于在检测时间t2处从帧824中检测的面部数量，并且在检测时间t2处从帧824中检测的面部的面部数据没有记录在面部数据部640中。在检测时间t5处从帧827中检测的面部数量小于在检测时间t4处从帧826中检测的面部数量。在检测时间t5处从帧827中检测的面部的面部数据不被记录在面部数据部640中。

可以在比应用于在动态图像内容文件中的面部元数据的记录的条件更宽松的条件下确定是否将面部数据记录在SEI中。即使将包含具有面部数据记录的SEI的内容文件从具有面部数据记录的记录装置转移到另一装置，内容文件也可以在目的装置中找到更好的应用。

当将所检测面部的面部元数据在预定条件下记录在记录装置中时，在预定条件下记录在源记录装置上的面部元数据对于目的装置未必有用。为了使面部元数据在目的装置中找到更多应用，将面部数据记录在SEI中的条件设置得更宽松，使得相对更多的面部数据单元被记录。因此，从更宽的范围内选择面部元数据。

不需要在内容管理文件和动态流中都记录面部元数据。当面部检测时间信息记录在内容管理文件中时，时间信息也被记录在包含SEI的AU中的另一个NAL单元中。可以从SEI中不记录面部检测时间信息。以这种方式，减小面部元数据的数据大小。从中检测面部的AU是用作编辑点的AU。为此，即使动态图像在其中间删除，面部检测时间信息也保持作为其正确值。当在动态图像流的编辑中保持内容管理文件中的面部元数据时，可以使用记录在包含SEI的AU的其它NAL单元中的时间信息。

包含内容管理文件的记录装置可具有流中面部元数据的记录。例如，如果内容管理文件被破坏，则使用流中的面部元数据快速恢复内容管理文件中的面部元数据。结果，与对所有流执行面部检测并随后校正面部元数据的校正方法相比，快速重构内容管理文件中的面部元数据。

不包含内容管理文件的记录装置可以具有在动态图像流的预定AU的仅SEI NAL单元中的面部元数据的记录。在这种情况下，记录在动态图像流中的面部元数据用于快速执行应用。如果动态图像流不具有面部元数据，则装置需要从动态图像流中检测面部。应用的执行会花费更多的时间。

内容文件可以是静态图像内容文件。从静态图像内容文件中生成的面部元数据可被记录在静态图像内容文件中，而不被记录在内容管理文件340中。下面，描述这种记录处理。

图29示意性示出了根据像机文件系统(DCF)的设计规则所记录的静态图像内容文件的文件结构。DCF是文件系统标准，其通过在记录介质中传输图像而在包括数码像机和打印机的装置中应用图像的共享使用。基于可交换图像文件格式(Exif)向记录介质进行数据记录的过程中，DCF还定义了文件名和文件夹结构。Exif是应用于在图像文件的记录过程中将图像数据和像机信息附加至图像文件并定义文件格式的标准。

根据DCF标准记录静态图像文件800。如图29A所示，静态图像文件800包含附加信息801和图像信息802。图像信息802是通过像机部110拍摄的对象的图像数据。

如图29B所示，附加信息801包含附加信息803和拍摄者注释(maker note)804。附加信息803涉及静态图像文件800并包含图像拍摄及更新日期和时间、图像大小、色彩空间信息、拍摄者姓名等。附加信息803还包括表示图像是否被旋转的旋转信息(TAGID＝274，方位)。通过图像的旋转信息不被记录为Exif，可以不设置旋转信息(即，旋转信息不记录在标记中)。即使旋转信息被设置，也可以将“0“设置为无效值。

拍摄者注释804用作可记录用户自身唯一的数据的区域。拍摄者注释804还用作每个拍摄者可自由记录信息(TAGID＝37500，MakerNote)的扩展区。如图29C所示，将面部元数据记录在拍摄者注释804中。拍摄者注释804包含面部元数据记录区805和记录区806。面部元数据记录区805至少记录诸如面部元数据807的一个面部元数据单元。记录区806记录唯一的元数据。在将面部元数据记录在静态图像内容文件中的过程中，将面部元数据记录在由Exif定义的拍摄者注释804中。

下面，描述记录在拍摄者注释804中的面部元数据。记录在拍摄者注释804中的面部元数据是由图10的报头部630和图11的面部数据部640构成的面部元数据620。如先前参照图13～图16所讨论的，面部数据部640是所需信息。由于静态图像内容文件不需要记录在报头部630中的信息中的时标634，所以将“0”记录在时标634中。不使用从静态图像向动态图像改变的元数据，使用相同量的元数据使得报头部630的数据长度固定。因此，便于对报头部630的数据访问。在动态图像和静态图像之间长度不同的元数据的记录对记录装置施加了更大的工作负载。不管图像是动态图像还是静态图像，类似面部元数据的使用减轻了工作负载。

图30是示出作为本发明实施例修改的摄像装置100的功能框图。摄像装置100包括内容管理文件210、内容输入单元211、面部检测器212、面部元数据生成器213、虚拟管理信息生成器214、代表缩略图像提取器215以及内容属性信息生成器216。摄像装置100还包括内容存储器223和记录控制器230。下面，描述内容管理文件存储器210、内容输入单元211、内容存储器223和记录控制器230(每个都不同于图17中的对应部分)，这里不描述剩余元件。

内容管理文件存储器210存储包含具有虚拟层结构的层条目的记录的内容管理文件340。内容管理文件存储器210不存储用于静态图像的层条目。

内容输入单元211接收内容文件，然后将接收的内容文件输出至面部检测器212、面部元数据生成器213、虚拟管理信息生成器214、代表缩略图像提取器215、内容属性信息生成器216和记录控制器230的每一个。更具体地，通过像机部110拍摄的动态图像的帧经由内容输入单元211被顺序输入。通过像机部110拍摄的静态图像经由内容输入单元211被顺序输入。

记录控制器230将由面部元数据生成器213生成的面部元数据记录在对应于该面部元数据的内容文件中。记录控制器230还将基于每个IDR画面或基于每个I画面对动态图像内容文件生成的面部元数据记录在包含对应于面部元数据的IDR画面或I画面的AU中的SEI中。记录控制器230将以预定间隔生成的面部元数据记录在动态图像内容文件中。在这种记录处理中，记录控制器230使用比将面部元数据记录至内容管理文件340所应用的记录条件更宽松的记录条件。记录控制器230不将静态图像的面部元数据记录在内容管理文件340中。

内容存储器223通过所记录的其面部元数据存储诸如动态图像或静态图像的内容文件。

下面，简要描述静态图像或动态图像的应用环境。

静态图像以其在记录介质上的记录状态典型地从装置移动至装置，并提供比动态图像更高的便携性。当移动静态图像时，目的装置很可能使用不支持内容管理文件的图像管理应用软件程序。为此，具有内容管理文件的静态图像的管理认为是不必要的。

可以使用在个人计算机上编辑静态图像文件的大量应用软件程序。在应用软件程序中，即使静态图像已经被修整或旋转，但Exif中的一些正确拍摄者注释仍然不能保持正确的像机信息(更新日期和时间、旋转信息等)。使用这种应用软件程序所编辑的静态图像文件可能返回到检测了面部的记录装置。在这种情况下，即使用户尝试使用表示面部位置的面部数据从静态图像中提取面部，也不能正确提取面部。

为了避免该问题，图像大小信息与静态图像内容文件中存在的更新日期和时间信息一起使用。因此，增加了检测偏差的可能性。

由于当前还没有很好地建立诸如先进视频编码译码高清晰度(AVCHD)和蓝光光盘(BD)的内容再生环境，所以不能在PC应用软件程序上再生动态图像，除非是在最初拍摄动态图像的摄像装置上运行的PC应用软件程序。因此，用户很可能使用支持内容管理文件的PC应用软件程序。因此，考虑到对元数据访问的优点，通过内容管理文件管理动态图像。动态图像内容的元数据也被记录在内容管理文件中。

如果支持动态图像格式的编辑应用软件程序很少，则更可能通过支持这种唯一文件的PC应用软件程序维持在作为唯一文件的内容管理文件或动态图像文件中所记录的更新日期和时间。

由于静态图像的应用环境不同于动态图像，所以作为本发明实施例修改的摄像装置100通过内容管理文件管理动态图像内容文件和从动态图像内容文件中检测的元数据(不限于面部元数据)。摄像装置100通过标准文件系统而不是内容管理文件来管理静态图像内容文件，并将包含在静态图像内容文件中的元数据记录在静态图像文件中(即，Exif中的拍摄者注释)。

参照附图，详细描述根据本发明实施例修改的面部数据的读取处理。

图31和图32是示出通过摄像装置100执行的面部数据的读取处理的流程图。使用内容更新日期和时间、内容图像大小以及内容旋转信息在具有记录在拍摄者注释804中的其面部元数据的静态图像中检测静态图像和元数据之间的差异。图31的处理包括图26所示的步骤S975和S976之间的步骤S985。此处，详细描述步骤S985，并在这里省略其它步骤的讨论。参照图10的报头部630讨论处理。

基于在步骤S972中读取的报头部630的元数据版本632中所读取的面部元数据的版本信息，摄像装置100由此确定是否支持面部元数据的版本(步骤S973)。如果支持面部元数据的版本，则处理前进至步骤S974。摄像装置100确定对应于静态图像内容文件的更新日期和时间与记录在报头部630的内容更新日期和时间633中的更新日期和时间是否匹配(步骤S974)。如果对应静态图像内容文件的更新日期和时间与记录在报头部630的内容更新日期和时间633中的更新日期和时间匹配(步骤S974)，则处理前进至步骤S975。否则，处理前进至步骤S982。摄像装置100确定对应静态图像内容文件的图像大小是否等于记录在报头部630的内容图像大小638中的图像大小(步骤S975)。如果对应静态图像内容文件的图像大小等于记录在报头部630的内容图像大小638中的图像大小(步骤S975)，则处理前进至步骤S985。否则，处理前进至步骤S982。

如果对应静态图像内容文件的更新日期和时间与记录在报头部630的内容更新日期和时间633中的更新日期和时间匹配(步骤S974)，并且随后，如果对应静态图像内容文件的图像大小等于记录在报头部630的内容图像大小638中的图像大小(步骤S975)，则摄像装置100确定静态图像内容文件的旋转信息是否存在以及是否将有效值记录为旋转信息(步骤S985)。如果在步骤S985中确定对应静态图像内容文件的旋转信息存在并且有效值被记录在旋转信息中，则处理前进至步骤S976。

如果在步骤S985中确定对应静态图像内容文件的旋转信息不存在或无效值被记录在旋转信息中，则图像更可能已经被旋转。处理前进至步骤S982。重复上述处理。考虑到图像的旋转、修整、以及清晰度的转换相对经常地用在静态图像内容文件的编辑中，增加了检测偏差的可能性。可以使用参照图31讨论的内容更新日期和时间转换、内容图像大小转换、校验和转换、以及旋转信息确认的至少两种来检测偏差。

下面，描述使用面部元数据的应用的执行实例。

图33A～图33C示出了对静态图像内容文件执行幻灯放映的显示实例。图33A示出了包含显示在显示器850上的面部851的图像。面部851的面部数据记录在静态图像文件的拍摄者注释中，并且从面部数据中识别包含面部851的区域852。

如果以幻灯放映显示一个图像，则图像可在近似中心线的位置处分成上半部和下半部。然后，上半部向右移动，下半部向左移动。因此，对通过过渡效果(transition effect)再生的单个图像执行幻灯显示。

如果如图33A所示通过过渡效果执行幻灯显示，则图像在作为近似中心线的虚线853处分割，上半部图像在由箭头855表示的方向上逐渐移动，下半部图像在由箭头856表示的方向上移动，直至整个图像如图33B所示一样。如果图像沿着虚线853被分割，则不能看到整个面部851，直至分割的上部和下部图像再次合并。

当包含面部的图像通过过渡效果以幻灯显示时，基于包含在拍摄者注释中所记录的面部元数据中的基本面部信息得知面部位置，使得调整将图像分成上半部和下半部的分割线。以这种方式，防止分割包含在区域852中的面部851。例如，沿图33A的虚线854分割图像，使得包含在区域852中的面部851可以不被分割。在分割图像的移动当中，如图33C整个看见面部851。

如图33A所示，通过与上述过渡效果不同的过渡效果，对具有在拍摄者注释中所记录的其面部数据的图像执行幻灯显示。例如，可以以面部从缩放大小改变至原始大小的方式来执行过渡效果。因此，防止面部被分割。过渡效果可以以幻灯片方式在包含面部的图像和不包含面部的图像之间切换，使得有效地显示包含面部的图像。

附加至通过诸如数码像机或数字摄像机的记录装置拍摄的图像数据的面部元数据可用在诸如视频再生器的再生装置上。下面，描述该处理。

图34A～图34C示出了图像记录器830和图像再生器834。记录介质831可移动地加载到图像记录器830和图像再生器834的每一个。使用包含在内容文件中的面部元数据。图像记录器830和图像再生器834的每一个通常与图17、图18和图30的摄像装置100的结构相同。

如图34A所示，通过加载到图像记录器830的记录介质831拾取对象图像。将由此拍摄的图像数据和从图像数据中生成的面部元数据作为内容文件832记录在记录介质831上。当图像再生器834再生内容文件832时，如图34B所示，从图像记录器830中移走记录介质831，并且如图34C所示将其连接至图像再生器834。因此，将记录在记录介质831上的内容文件832输入图像再生器834用于再生。

图像再生器834可使用通过图像记录器830附加的元数据。没有面部检测功能的图像再生器834使用面部元数据仍然可以再生内容文件832。典型地具有普通性能水平的移动终端可以执行复杂的再生应用。具有面部检测功能的再生装置仍然不需要检索面部，实质上缩短了再生处理时间。

图35是包括图像记录器870和图像再生器880的图像处理系统860的系统结构。图像记录器870经由诸如USB电缆的装置接口连接至图像再生器880。

图像记录器870是诸如数码像机或数字摄像机的图像记录装置。将所拍摄的图像作为内容文件存储在内容文件存储器872中，并将与内容文件相关的面部元数据记录在内容管理文件871中。

图像再生器880包括传输请求输出单元881、再生控制器882以及显示器883。图像再生器880读取在经由装置接口连接的图像记录器870中的内容文件存储器872上所存储的内容文件，并通过在显示器883上显示内容文件再生所读取的内容文件。图像记录器870基本与图17、图18和图30的摄像装置100的结构一致。这里，省略图像记录器870的剩余讨论。

为了从包含在图像记录器870的内容管理文件871中所记录的元数据条目中的元数据中提取期望的元数据，传输请求输出单元881将传输请求输出至信号线884。响应于输出至信号线844的传输请求，从包含在内容管理文件871中所记录的元数据条目中的元数据中提取期望的元数据。根据在包含所提取元数据的元数据条目的上层上记录的文件条目中所包含的虚拟管理信息，提取记录在内容文件存储器872上的内容文件。将从内容管理文件871中提取的元数据输出至信号线885，同时将从内容文件存储器872中提取的内容文件输出至信号线886。

再生控制器882使用从内容管理文件871输出至信号线885的元数据来控制内容文件的再生。内容文件从内容文件存储器872输出至信号线886，以显示在显示器883上。

图像再生器880从图像记录器870中读取内容管理文件871，从所读取的内容管理文件871中提取所需的元数据，并在内容文件的再生期间使用所提取的元数据。如先前参照图33A～33D所讨论的，图像再生器880使用记录在图像记录器870上的内容管理文件871的元数据将存储在内容文件存储器872上的内容文件显示在显示器883上。

在上面的讨论中，USB电缆被用作将图像记录器870连接至图像再生器880的连接手段。也可以采用诸如包括有线或无线的网络的另一种连接手段。

根据本发明的实施例，快速检索期望的元数据，并且也快速检索对应的内容文件。快速执行期望的应用软件程序。因此，快速使用内容文件的元数据。

当前正在开发使用面部元数据的大量应用程序，并且期望使用面部元数据的多种应用程序在未来有效。此外，期望未来可以扩展面部元数据的格式。根据本发明的实施例，如果将来扩展面部元数据的格式，则再生装置也能确保与格式扩展的兼容性。快速使用内容文件的元数据。

因此，根据本发明的实施例，快速使用内容文件。

根据本发明的一个实施例，元数据是与人物面部相关的面部元数据。本发明的实施例还可应用于其它元数据。例如，使用动物识别或宠物识别算法检测包含在图像中的动物面部，并使用与所检测动物面部相关的元数据。本发明的实施例也可以应用于这种应用。可以用宠物检测引擎替代面部检测引擎。使用与通过宠物检测装置检测的宠物相关的元数据。本发明的实施例也可以应用于这种应用。识别人物或动物的行为，并使用包含以预定描述表达的识别行为的记录的元数据。本发明的实施例也可以应用于这种应用。在上面的讨论中，内容记录装置是摄像装置。本发明的实施例也可以应用于记录内容文件的诸如移动终端的内容记录装置。本发明的实施例也可以应用于再生内容的诸如数字通用盘(DVD)记录器的内容再生装置。

已经仅仅为了例证的目的描述了本发明的实施例，下面描述权利要求的元件与本发明实施例的特征之间的相关性。本发明不限于上面参考的实施例，在不背离本发明的范围的情况下，可对上述实施例进行各种修改。

例如，图像再生系统对应于图像处理系统860。例如，图像记录装置对应于摄像装置100。例如，再生装置对应于摄像装置100。例如，摄像装置对应于摄像装置100。

例如，图像输入单元对应于内容输入单元211。

例如，面部检测单元对应于面部检测器212。

例如，面部数据生成单元对应于面部数据生成器218。

例如，面部数据管理信息生成单元对应于报头信息生成器219。

例如，记录控制单元对应于记录控制器217。

例如，信息要素确认单元对应于提取器225。例如，信息要素读取单元对应于提取器225。

例如，记录偏移值计算单元对应于提取器225。

例如，更新信息比较单元对应于提取器225。

例如，检索装置对应于提取器225。

例如，图像大小比较单元对应于提取器225。

例如，旋转信息确认单元对应于提取器225。

例如，误差检测码值计算单元对应于提取器225。误差检测码值比较单元对应于提取器225。

例如，版本确认单元对应于提取器225。

例如，摄像单元对应于像机部110。

例如，图像的输入步骤对应于步骤S901。例如，检测面部的步骤对应于步骤S903。例如，生成面部数据的步骤对应于步骤S905。例如，生成面部数据管理信息的步骤对应于步骤S908。记录的控制步骤对应于步骤S912～S914。

上述系列步骤可以与包括系列步骤的方法、用于使计算机执行系列步骤的计算机程序以及存储计算机程序的记录介质中的其中一个一致。

本领域的技术人员应该理解，根据设计要求和其它因素，可以有多种修改、组合、再组合和改进，均应包含在本发明的权利要求或等同物的范围之内。

Claims (27)

1.一种图像再生系统，包括：图像记录装置，具有用于输入包含对象的图像的图像输入装置；以及再生装置，用于再生输入至所述图像记录装置的所述图像，

其中，所述图像记录装置包括：

面部检测装置，用于检测包含在所输入的图像中的所述对象的面部；

面部数据生成装置，用于基于所检测的面部生成与所述面部相关的面部数据；

面部数据管理信息生成装置，用于生成管理所生成的面部数据的面部数据管理信息；以及

记录控制装置，用于控制所生成的面部数据和所生成的面部数据管理信息在预定记录装置上的记录，

所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录，

所述面部数据管理信息的数据结构具有以所述面部数据的信息要素的记录序列分配的位列，并且所述面部数据管理信息包含与所述面部数据的信息要素在所述记录序列中的存在或不存在相关的面部数据结构信息；以及

其中，所述再生装置包括：

信息要素确认装置，用于根据包含在所述面部数据管理信息中的所述面部数据结构信息，确认形成所述面部数据的所述信息要素的存在或不存在；

记录偏移值计算装置，用于计算与由所述信息要素确认装置确认了的形成所述面部数据的信息要素中的期望信息要素的每个面部数据的开头的记录偏移值；以及

信息要素读取装置，用于根据所计算的记录偏移值，从形成所述面部数据的信息要素中读取所述期望信息要素。

2.一种图像记录装置，包括：

图像输入装置，用于输入包含对象的图像；

面部检测装置，用于检测包含在所输入的图像中的所述对象的面部；

面部数据生成装置，用于基于所检测的面部生成与所述面部相关的面部数据；

面部数据管理信息生成装置，用于生成管理所生成的面部数据的面部数据管理信息；以及

记录控制装置，用于控制所生成的面部数据和所生成的面部数据管理信息在预定记录装置上的记录，

所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录，以及

所述面部数据管理信息包含面部数据结构信息，所述面部数据结构信息的数据结构具有以所述面部数据的信息要素的记录序列分配的位列。

3.根据权利要求2所述的图像记录装置，所述面部数据结构信息具有连续位列的数据结构，其中，对于以所述记录序列记录的所述要素信息，以所述记录序列来分配预定的标记，以及

其中，每个标记表示在所述面部数据内与所述标记相对应的信息要素的存在或不存在。

4.根据权利要求3所述的图像记录装置，其中，所述面部数据结构信息包括为除所述信息要素之外的扩展面部数据保留的保留位列。

5.根据权利要求2所述的图像记录装置，其中，如果所检测的面部不满足预定条件，则所述面部数据生成装置不生成通过所述面部检测装置检测的面部的面部数据。

6.根据权利要求2所述的图像记录装置，其中，所述面部数据管理信息包括表示对应面部数据的数据大小的数据大小信息和表示所述面部数据的版本的版本信息。

7.根据权利要求2所述的图像记录装置，其中，所述面部数据包括关于通过所述面部检测装置检测的所述面部的位置和大小的数据。

8.根据权利要求2所述的图像记录装置，其中，所述图像是动态图像文件，以及

其中，所述面部检测装置每隔预定时间间隔就检测包含在所述动态图像文件中的面部。

9.根据权利要求8所述的图像记录装置，其中，所述记录控制装置将与所检测的面部相关的所述面部数据和所述面部数据管理信息记录在已检测到所述面部的动态图像文件中。

10.根据权利要求2所述的图像记录装置，其中，所述图像是AVC编码译码动态图像文件，以及

其中，所述面部检测装置在附加有SPS的AU中所包含的IDR画面和I画面的一个中检测面部。

11.根据权利要求10所述的图像记录装置，其中，所述记录控制装置将与所检测的面部相关的所述面部数据和所述面部数据管理信息记录在包含已检测到所述面部的IDR画面和I画面中的一个的所述AU中的SEI中。

12.根据权利要求2所述的图像记录装置，其中，所述图像是静态图像文件，以及

其中，所述记录控制装置将与所检测的面部相关的所述面部数据和所述面部数据管理信息记录在已检测到所述面部的所述静态图像文件中。

13.一种用于根据面部数据和面部数据管理信息来再生图像的再生装置，所述面部数据与包含在所述图像中的面部相关并包括多个信息要素，所述信息要素以预定的记录序列被记录，所述面部数据管理信息管理所述面部数据并且其数据结构具有以所述面部数据的信息要素的记录序列连续分配的位列，并且所述面部数据管理信息包含与所述面部数据的信息要素在所述面部数据的信息要素的所述记录序列中的存在或不存在相关的面部数据结构信息，所述再生装置包括：

信息要素确认装置，用于根据包含在所述面部数据管理信息中的所述面部数据结构信息，确认形成所述面部数据的所述信息要素的存在或不存在；

记录偏移值计算装置，用于计算与由所述信息要素确认装置确认了的形成所述面部数据的信息要素中的期望信息要素的每个面部数据的开头的记录偏移值；以及

信息要素读取装置，用于根据所计算的记录偏移值，从形成所述面部数据的信息要素中读取所述期望信息要素。

14.根据权利要求13所述的再生装置，其中，所述图像包含关于更新所述图像时的更新日期和时间的信息，

其中，所述面部数据管理信息包含关于更新对应图像时的更新日期和时间的信息，

其中，所述再生装置还包括：更新信息比较装置，用于将包含在所述图像中的更新日期和时间与包含在所述对应图像的所述面部数据管理信息中的更新日期和时间进行比较，以确定所述图像中的更新时间和日期是否与所述面部数据管理信息中的更新时间和日期相匹配，以及

其中，所述记录偏移值计算装置计算包含在所述更新信息比较装置已经确定为具有匹配的更新日期和时间的所述图像中的面部的所述面部数据的记录偏移值。

15.根据权利要求14的所述再生装置，还包括：

面部检测装置，用于检测包含在所述更新信息比较装置已经确定为具有不匹配的更新日期和时间的所述图像中的对象的面部；

面部数据生成装置，用于基于通过所述面部检测装置检测的面部，生成所述面部的所述面部数据；

面部数据管理信息生成装置，用于生成管理所述面部数据的面部数据管理信息；以及

记录控制装置，用于相对于所述更新信息比较装置已经确定为具有不匹配的日期和时间的所述图像，控制所生成的面部数据和所生成的面部数据管理信息在预定记录装置上的记录。

16.根据权利要求14的所述再生装置，还包括：检索装置，用于如果所述更新信息比较装置确定所述图像中的更新日期和时间与所述面部数据管理信息中的更新日期和时间不匹配，则检索与所述更新信息比较装置已经确定为具有不匹配的更新日期和时间的所述图像不同的图像相对应的面部数据和面部数据管理信息。

17.根据权利要求14的所述再生装置，其中，所述图像包括关于图像大小的信息，

其中，所述面部数据管理信息包含关于所述对应图像的图像大小的信息，

其中，所述再生装置还包括：图像大小比较装置，用于将包含在所述图像中的图像大小与包含在所述对应图像的面部数据管理信息中的图像大小进行比较，以确定所述图像中的图像大小是否与所述面部数据管理信息中的图像大小相匹配，以及

其中，所述记录偏移值计算装置计算包含在所述图像大小比较装置已经确定为具有匹配的图像大小的所述图像中的所述面部的面部数据的记录偏移值。

18.根据权利要求17的所述再生装置，其中，所述图像包含与所述图像的旋转相关的旋转信息，

其中，所述再生装置还包括：旋转信息确认装置，用于确认在所述图像中是否存在所述旋转信息以及所述旋转信息是否有效，以及

其中，所述偏移值计算装置计算包含在所述旋转信息确认装置已经确认在所述图像中存在所述旋转信息并且在所述图像中存在的所述旋转信息有效的所述图像中的所述面部的面部数据的记录偏移值。

19.根据权利要求13的所述再生装置，其中，所述面部数据管理信息包含由所述对应图像确定的误差检测码值，

其中，所述再生装置还包括：

误差检测码值计算装置，用于基于所述图像的图像数据的至少一部分来计算所述误差检测码值；以及

误差检测码值比较装置，用于将所计算的所述图像的误差检测码值与包含在所述对应图像的面部数据管理信息中的误差检测码值进行比较，

其中，所述偏移值计算装置计算包含在所述误差检测码值比较装置已经确定为具有匹配的误差检测码值的所述图像中的所述面部的面部数据的记录偏移值。

20.根据权利要求13的所述再生装置，其中，所述面部数据管理信息包含表示所述面部数据的版本的版本信息，

其中，所述再生装置还包括：版本确认装置，用于基于包含在所述面部数据管理信息中的所述版本信息，确认是否支持对应于所述面部数据管理信息的面部数据，以及

其中，所述偏移值计算装置计算所述版本确认装置已经确定为被支持的所述面部数据的记录偏移值。

21.一种摄像装置，包括：

摄像单元，用于拍摄对象的图像；

图像输入装置，用于输入通过所述摄像单元拍摄的所述图像；

面部检测装置，用于检测包含在所输入的图像中的所述对象的面部；

面部数据生成装置，用于生成与所检测的面部相关的面部数据；

面部数据管理信息生成装置，用于生成管理所生成的面部数据的面部数据管理信息；以及

记录控制装置，用于控制所生成的面部数据和面部数据管理信息在预定记录装置上的记录，

所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录，以及

所述面部数据管理信息包含与所述面部数据的信息要素在所述记录序列中的存在或不存在相关的面部数据结构信息，并具有含有以所述面部数据的信息要素的记录序列分配的位列的数据结构。

22.一种图像记录方法，包括以下步骤：

输入包含对象的图像；

检测包含在所输入的图像中的所述对象的面部；

基于所检测的面部生成与所述面部相关的面部数据，所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录；

生成管理所生成的面部数据的面部数据管理信息，所述面部数据管理信息包含与所述面部数据的信息要素在所述记录序列中的存在或不存在相关的面部数据结构信息，并具有含有以所述面部数据的信息要素的记录序列分配的位列的数据结构；以及

控制所生成的面部数据和面部数据管理信息在记录单元上的记录。

23.一种计算机程序，用于使计算机执行以下步骤：

输入包含对象的图像；

检测包含在所输入的图像中的所述对象的面部；

基于所检测的面部生成与所述面部相关的面部数据，所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录；

生成管理所生成的面部数据的面部数据管理信息，所述面部数据管理信息包含与所述面部数据的信息要素在所述记录序列中的存在或不存在相关的面部数据结构信息，并具有含有以所述面部数据的信息要素的记录序列分配的位列的数据结构；以及

控制所生成的面部数据和面部数据管理信息在记录单元上的记录。

24.一种图像再生系统，包括：图像记录装置，具有用于输入包含对象的图像的图像输入单元；以及再生装置，用于再生输入至所述图像记录装置的所述图像，

其中，所述图像记录装置包括：

面部检测单元，用于检测包含在所输入的图像中的所述对象的面部；

面部数据生成单元，用于基于所检测的面部生成与所述面部相关的面部数据；

面部数据管理信息生成单元，用于生成管理所生成的面部数据的面部数据管理信息；以及

记录控制单元，用于控制所生成的面部数据和所生成的面部数据管理信息在预定记录单元上的记录，

所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录，

所述面部数据管理信息的数据结构具有以所述面部数据的信息要素的记录序列分配的位列，并且所述面部数据管理信息包含与所述面部数据的信息要素在所述记录序列中的存在或不存在相关的面部数据结构信息；以及

其中，所述再生装置包括：

信息要素确认单元，用于根据包含在所述面部数据管理信息中的所述面部数据结构信息，确认形成所述面部数据的所述信息要素的存在或不存在；

记录偏移值计算单元，用于计算与由所述信息要素确认单元确认了的形成所述面部数据的信息要素中的期望信息要素的每个面部数据的开头的记录偏移值；以及

信息要素读取单元，用于根据所计算的记录偏移值，从形成所述面部数据的信息要素中读取所述期望信息要素。

25.一种图像记录装置，包括：

图像输入单元，用于输入包含对象的图像；

面部检测单元，用于检测包含在所输入的图像中的所述对象的面部；

面部数据生成单元，用于基于所检测的面部生成与所述面部相关的面部数据；

面部数据管理信息生成单元，用于生成管理所生成的面部数据的面部数据管理信息；以及

记录控制单元，用于控制所生成的面部数据和所生成的面部数据管理信息在预定记录单元上的记录，

所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录，以及

所述面部数据管理信息包含面部数据结构信息，所述面部数据结构信息的数据结构具有以所述面部数据的信息要素的记录序列分配的位列。

26.一种用于根据面部数据和面部数据管理信息来再生图像的再生装置，所述面部数据与包含在所述图像中的面部相关并包括多个信息要素，所述信息要素以预定的记录序列被记录，所述面部数据管理信息管理所述面部数据并且其数据结构具有以所述面部数据的信息要素的记录序列连续分配的位列，并且所述面部数据管理信息包含与所述面部数据的信息要素在所述面部数据的信息要素的所述记录序列中的存在或不存在相关的面部数据结构信息，所述再生装置包括：

信息要素确认单元，用于根据包含在所述面部数据管理信息中的所述面部数据结构信息确认形成所述面部数据的信息要素的存在或不存在；

记录偏移值计算单元，用于计算与由所述信息要素确认单元确认了的形成所述面部数据的信息要素中的期望信息要素的每个面部数据的开头的记录偏移值；以及

信息要素读取单元，用于根据所计算的记录偏移值，从形成所述面部数据的信息要素中读取所述期望信息要素。

27.一种摄像装置，包括：

摄像单元，用于拍摄对象的图像；

图像输入单元，用于输入通过所述摄像单元拍摄的所述图像；

面部检测单元，用于检测包含在所输入的图像中的所述对象的面部；

面部数据生成单元，用于生成与所检测的面部相关的面部数据；

面部数据管理信息生成单元，用于生成管理所生成的面部数据的面部数据管理信息；以及

记录控制单元，用于控制所生成的面部数据和面部数据管理信息在预定记录单元上的记录，

所述面部数据包括多个信息要素，所述信息要素以预定的记录序列被记录，以及

所述面部数据管理信息包含与所述面部数据的信息要素在所述记录序列中的存在或不存在相关的面部数据结构信息，并具有含有以所述面部数据的信息要素的记录序列分配的位列的数据结构。

Images