CN115211105A - 文件处理设备、文件处理方法和程序 - Google Patents

Abstract

本技术涉及使得能够高效地回放高效图像文件格式HEIF文件的文件处理设备、文件处理方法和程序。生成其中与HEIF文件中的图像相关的相关图像被布置在mdat框的开头部分的HEIF文件。此外，读取HEIF文件的开头部分。本技术可以应用于HEIF文件的生成和回放。

Description

文件处理设备、文件处理方法和程序

技术领域

本技术涉及文件处理设备、文件处理方法和程序，并且尤其涉及例如使得能够高效地再现HEIF文件的文件处理设备、文件处理方法和程序。

背景技术

作为用于高效存储图像的文件格式，存在高效图像文件格式(HEIF)(参见非专利文献1)。

引用列表

非专利文献

非专利文件1：ISO/IEC 23008-12：2017，信息技术--异构环境中的高效编码和媒体交付(media delivery)--第12部分：图像文件格式

发明内容

本发明要解决的问题

将来，对于HEIF文件，将需要高效地再现HEIF文件，诸如高速地显示缩略图图像。

本技术是鉴于这样的情况而做出的，并且使得能够高效地再现HEIF文件。

问题的解决方案

本技术的第一文件处理设备或第一程序是一种文件处理设备，包括：文件控制单元，所述文件控制单元生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件；或者是一种程序，用于使计算机用作这样的文件处理设备。

本技术的第一文件处理方法是一种文件处理方法，包括：生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

在本技术的第一文件处理设备、第一文件处理方法和第一程序中，生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

本技术的第二文件处理设备或第二程序是一种文件处理设备，包括：文件控制单元，所述文件控制单元读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分；或者是一种程序，用于使计算机用作这样的文件处理设备。

本技术的第二文件处理方法是一种文件处理方法，包括：读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

在本技术的第二文件处理设备、第二文件处理方法和第二程序中，读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

注意，文件处理设备可以是独立设备，或者可以是包括在一个设备中的内部块。

程序可以通过记录在记录介质上或者通过传输介质进行传输来提供。

附图说明

图1是示出应用本技术的数码相机的一个实施例的配置示例的框图。

图2是示出符合联合摄影专家组(JPEG)的JPEG文件的格式的示例的图。

图3是示出ISO基础媒体文件格式的示例的图。

图4是示出符合HEIF的HEIF文件的格式的示例的图。

图5是示出图像项格式的HEIF文件的格式的示例的图。

图6是示出iprp框(box)的示例的图。

图7是示出图像序列格式的HEIF文件的格式的示例的图。

图8是示出trak框的示例的图。

图9是示出存储主图像和缩略图图像的集合文件(collection file)的示例的图。

图10是示出存储主图像的轨道(track)和主图像的缩略图图像的轨道的序列文件的示例的图。

图11是示出由文件控制单元43生成和再现HEIF文件的第一示例的图。

图12是示出由文件控制单元43生成和再现HEIF文件的第二示例的图。

图13是示出由文件控制单元43生成和再现HEIF文件的第三示例的图。

图14是示出由文件控制单元43生成和再现HEIF文件的第四示例的图。

图15是示出生成高速HEIF文件的处理的示例的流程图。

图16是示出再现高速HEIF文件的处理的示例的流程图。

图17是示出再现高速HEIF文件中存储的所有缩略图图像的处理的示例的流程图。

图18是进一步示出由文件控制单元43生成和再现HEIF文件的第四示例的图。

图19是示出由文件控制单元43生成和再现HEIF文件的第五示例的图。

图20是示出再现HEIF文件中存储的主图像、XMP和EXIF的处理的示例的流程图。

图21是示出应用本技术的计算机的一个实施例的配置示例的框图。

具体实施方式

<应用本技术的数码相机的一个实施例>

图1是示出应用本技术的数码相机的一个实施例的配置示例的框图。

数码相机10包括光学系统11、图像传感器12、信号处理单元13、介质14、接口(I/F)15和16、按钮/键17、触摸面板18、液晶面板19、取景器20、I/F 21等。

光学系统11将来自被摄体的光聚光(condense)在图像传感器12上。

图像传感器12接收来自光学系统11的光，通过光电转换来执行成像，生成作为电信号的图像数据，并且将图像数据提供给信号处理单元13。

信号处理单元13包括光学系统/图像传感器控制单元41、编码控制单元42、文件控制单元43、介质控制单元44、操作控制单元45、显示控制单元46和UI控制单元47。

光学系统/图像传感器控制单元41控制光学系统11和图像传感器12，并且将通过根据该控制执行的成像而获得的图像的(数据)提供给编码控制单元42。

编码控制单元42将来自光学系统/图像传感器控制单元41的图像提供给显示控制单元46，根据需要对图像进行编码，并且将图像提供给文件控制单元43。此外，编码控制单元42根据需要对从文件控制单元43提供的图像进行解码，并且将图像提供给显示控制单元46。

文件控制单元43生成存储从编码控制单元42提供的图像的文件，并且将该文件提供给介质控制单元44。此外，文件控制单元43再现从介质控制单元44提供的文件，即读取诸如存储在文件中的图像等数据。例如，从文件控制单元43向编码控制单元42提供从文件中读取的图像。

介质控制单元44控制与介质14以及I/F 15和16的文件交换。例如，介质控制单元44使得来自文件控制单元43的文件被记录在介质14上或从I/F 15和16被发送。此外，介质控制单元44从介质14读取文件，或者使得I/F 15和16接收文件并且将该文件提供给文件控制单元43。

操作控制单元45根据由用户对按钮/键17或触摸面板18的操作，将与操作相对应的操作信号提供给需要的块。

显示控制单元46执行显示控制等，以将从编码控制单元42提供的图像等提供给液晶面板19、取景器20和I/F 21进行显示。

UI控制单元47管理用户界面(UI)控制。

例如，介质14是诸如SD卡之类的存储介质。例如，I/F 15是诸如Wi-Fi(注册商标)或以太网(注册商标)之类的局域网(LAN)的I/F。例如，I/F 16是通用串行总线(USB)I/F。当将命令或其他信息输入到数码相机10时，按钮/键17和触摸面板18被用户操作。触摸面板18可以与液晶面板19一体形成。液晶面板19和取景器20显示从显示控制单元46提供的图像等。I/F 21是至少传送图像的I/F，诸如高清多媒体接口(HDMI)(注册商标)或显示端口(DP)。

在如上所述配置的数码相机10中，光学系统/图像传感器控制单元41根据通过由图像传感器12进行成像而获得的原始数据的图像(以下也被称为原始图像)生成例如具有与原始图像的分辨率(像素数)(大小)相同的分辨率(像素数)(大小)的YUV图像，并且将该图像与原始图像一起提供给编码控制单元42。编码控制单元42根据来自光学系统/图像传感器控制单元41的YUV图像生成HEIF文件的主图像等。例如，来自光学系统/图像传感器控制单元41的YUV图像可以直接用作HEIF文件的主图像。

编码控制单元42根据YUV的主图像生成例如具有比主图像的分辨率低的分辨率的YUV图像(以下也被称为屏幕截图(screennail)图像)，作为基于主图像的第一其他图像，以用于在液晶面板19或外部显示器上的显示；以及生成例如具有比屏幕截图图像的分辨率低的分辨率的YUV图像(以下也被称为缩略图(thumbnail)图像)，作为基于主图像的第二其他图像，以用于索引显示(列表显示)。例如，编码控制单元42经由显示控制单元46将屏幕截图图像提供给液晶面板19，以将屏幕截图图像显示为所谓的直通镜头(through-the-lens)图像。例如，作为缩略图图像，可以采用在长边上具有320像素或更小的大小的图像。主图像与作为基于主图像的第一其他图像的屏幕截图图像或作为基于主图像的第二其他图像的缩略图图像之间的大小(像素数)的比率可以是例如200倍或更小。作为基于主图像的第一其他图像的屏幕截图图像与作为基于主图像的第二其他图像的缩略图图像之间的大小的比率也可以是200倍或更小。例如，作为屏幕截图图像，可以采用具有4K或更大的分辨率的图像。此外，例如，作为屏幕截图图像，可以根据用户的选择来采用4K(QFHD)或FHD图像。此外，可以采用具有相同分辨率的图像作为主图像和屏幕截图图像。在采用具有相同分辨率的图像作为主图像和屏幕截图图像的情况下，主图像和屏幕截图图像两者可以存储在HEIF文件中，或者可以在不存储屏幕截图图像的情况下存储主图像。在将主图像存储在HEIF文件中而不存储屏幕截图图像的情况下，可以调整主图像的大小并且将其用作屏幕截图图像。

此外，编码控制单元42根据需要对与原始图像相对应的主图像、屏幕截图图像和缩略图图像(从相同的原始图像生成的主图像、屏幕截图图像和缩略图图像)进行编码，并且将其与原始图像一起提供给文件控制单元43。

例如，文件控制单元43根据需要生成存储原始图像的原始文件、存储相应的主图像、屏幕截图图像和缩略图图像(从相同的原始图像生成的主图像、屏幕截图图像和缩略图图像)的HEIF文件和/或JPEG文件，并且将所生成的文件提供给介质控制单元44。HEIF文件是符合高效图像文件格式(HEIF)的文件，并且JPEG文件是符合联合摄影专家组(JPEG)的文件。

在文件控制单元43的控制下，介质控制单元44将来自文件控制单元43的原始文件、HEIF文件或JPEG文件记录(写入)在介质14上，或者从I/F 15或16发送原始文件、HEIF文件或JPEG文件。

例如，可以根据用户的操作(指定)来选择要由文件控制单元43生成的文件的类型(例如，原始文件、HEIF文件、JPEG文件等)。此外，如稍后所述，HEIF文件包括图像项格式和图像序列格式。例如，可以根据用户的操作来选择采用图像项格式和图像序列格式中的哪一个。此外，文件控制单元43可以根据用户的操作来执行HEIF文件和JPEG文件之间的相互转换。

此外，文件控制单元43可以生成具有相同图像内容并且具有不同编解码器、图像大小(分辨率)、颜色格式和比特深度的多个文件。

在文件控制单元43生成具有相同图像内容的多个文件的情况下，编码控制单元42根据来自光学系统/图像传感器控制单元41的YUV图像生成要存储在多个文件中的每个文件中的图像流(文件流)。

编码控制单元42可以生成具有不同编解码器、图像大小(分辨率)、颜色格式和比特深度的图像流。

例如，编码控制单元42可以根据从光学系统/图像传感器控制单元41提供的YUV图像生成预定大小、预定颜色格式和预定比特深度的图像，并且生成通过利用预定编解码器(编码方法)对图像进行编码而获得的第一流。此外，编码控制单元42可以根据从光学系统/图像传感器控制单元41提供的相同的YUV图像生成具有另一大小、另一颜色格式和另一比特深度的图像，并且生成通过利用另一编解码器对图像进行编码而获得的第二流。

然后，文件控制单元43可以生成存储第一流的文件和存储第二流的文件。

<JPEG文件>

图2是示出符合联合摄影专家组(JPEG)的JPEG文件的格式的示例的图。

JPEG文件被配置为存储例如Exif(EXIF)的数据、缩略图图像、可扩展元数据平台(XMP)(注册商标)的数据、表示主图像和简化的显示图像的存储位置(位置)的MPF、主图像和简化的显示图像。例如，作为简化的显示图像，可以采用屏幕截图图像。

<ISO基础媒体文件格式>

图3是示出ISO基础媒体文件格式的示例的图。

HEIF(ISO/IEC 23008-12)是符合ISO基础媒体文件格式(ISO/IEC 14496-12)的文件格式，因此HEIF文件符合ISO基础媒体文件格式。

ISO基础媒体文件格式包括被称为框的单元作为用于存储数据的容器，并且具有被称为框结构的结构。

框包括类型(框类型)、实际数据(数据)等。类型表示框中的实际数据的类型。作为实际数据，可以采用可再现的媒体数据(诸如图像(静止图像、运动图像)、音频和字幕)、属性名称(字段名称)和属性名称(由属性名称表示的变量)的属性值(字段值)以及各种其他数据。

此外，作为实际数据，可以采用框。也就是说，框可以具有作为实际数据的框，因此可以形成层次结构。

符合ISO基础媒体文件格式的基础媒体文件可以包括ftyp框、moov框(MovieBox(电影框))、元框(MetaBox(元框))、mdat框(MediaDataBox(媒体数据框))等。ftyp框存储用于识别文件格式的识别信息。Moov框可以存储trak框等。元框可以存储iinf框、iprp框、iref框、iloc框等。mdat框可以存储媒体数据(AV数据)和其他任意数据。

HEIF符合上述ISO基础媒体文件格式。

<HEIF文件>

图4是示出符合HEIF的HEIF文件的格式的示例的图。

HEIF文件大致分为图像项格式和图像序列格式。此外，图像项格式包括稍后将描述的仅具有一个项的单个图像格式和具有多个项的图像集合格式。

图像项格式的HEIF文件包括ftyp框、元框和mdat框。

图像序列格式的HEIF文件包括ftyp框、moov框和mdat框。

注意，HEIF文件不仅可以包括元框和moov框中的一个，而且可以包括这元框和moov框两者。

ftyp框存储用于识别文件格式的识别信息，诸如文件是图像项格式的HEIF文件还是图像序列格式的HEIF文件。

元框和moov框存储由mdat框中存储的媒体数据的再现、管理等所需的元数据，诸如媒体数据的存储位置等的元数据。

mdat框存储媒体数据(AV数据)等。

在数码相机10中，例如，可以根据用户的操作来选择要生成图像项格式的HEIF文件和图像序列格式的HEIF文件中的哪一个。此外，在对图像进行编码并且将其存储在HEIF文件的mdat框中的情况下，仅允许对图像项格式进行帧内编码，并且允许对图像序列格式进行帧内编码和帧间编码。因此，例如，在优先考虑高速访问HEIF文件中存储的数据的情况下，可以选择生成图像项格式的HEIF文件，并且在优先考虑减小HEIF文件的大小(数据量)的情况下，可以选择生成图像序列格式的HEIF文件。

图5是示出图像项格式的HEIF文件的格式的示例的图。

在图像项格式的HEIF文件中，例如，ftyp框存储表示HEIF文件是图像项格式的信息(诸如mif1)(作为属性值)。

元框存储iinf框、iref框、iprp框和iloc框。

iinf框存储(表示)例如存储在mdat框中的媒体数据(AV数据)等的项的数量(的属性名称和属性值)等。项(item)是存储在图像项格式的HEIF文件的mdat框中的一个数据，并且例如，一个图像(画面)是项。在本说明书中，一个图像也被称为帧，而不管它是静止图像还是运动图像。一个帧是一个项。

iref框存储表示各项之间的关联的信息。例如，mdat框可以将对应的主图像、屏幕截图图像和缩略图图像中的每一个存储为项。在mdat框存储作为主图像的项I1、作为屏幕截图图像的项I2和作为缩略图图像的项I3的情况下，iref框存储表示项I2是作为项I1的主图像的屏幕截图图像的信息和表示项I3是作为项I1的主图像的缩略图图像的信息。

iprp框存储有关项的属性的信息。

iloc框存储有关mdat框中存储的项的存储位置的信息。

例如，图像项格式的(HEIF文件的)mdat框将图像的帧存储为项。mdat框可以存储一个或多个项。此外，mdat框可以对帧进行编码并且将其存储为项。然而，注意，将帧编码为存储在图像项格式的mdat框中的项限于帧内编码。例如，作为用于将帧编码为项的编码方法(编解码器)，可以采用HEVC等。

图6是示出图5中的iprp框的示例的图。

iprp框存储与项的属性有关的ipco框和ipma框。ipco框存储mdat框中存储的项的属性，诸如关于作为项的图像的编解码器的编解码器信息和关于作为项的图像的大小的图像大小信息。ipma框存储mdat框中存储的项到ipco框中存储的属性的索引(指针)。

图7是示出图像序列格式的HEIF文件的格式的示例的图。

在图像序列格式的HEIF文件中，例如，ftyp框存储表示HEIF文件是图像序列格式的信息，诸如msf1。

moov框存储trak框。trak框存储关于mdat框中存储的轨道(track)的信息。

轨道包括根据时间线再现的一段独立媒体数据，诸如图像或声音。例如，轨道包括形成基本流的一个或多个图像帧。对于存储在mdat框中的轨道，可以同时再现多个轨道，诸如同时记录的图像和声音的轨道。

轨道的媒体数据由被称为样本的单位构成。样本是在访问HEIF文件中的媒体数据的情况下的最小单位(访问单位)。因此，不能以比样本小的单位访问HEIF文件中的媒体数据。

例如，对于图像媒体数据，一个帧等是一个样本。此外，例如，对于声音媒体数据，在声音媒体数据的标准中定义的一个音频帧等是一个样本。

在图像序列格式的(HEIF文件的)mdat框中，轨道的媒体数据以被称为块(chunk)的单位进行布置。块是按逻辑连续地址布置的一个或多个样本的集合。

在mdat框存储作为媒体数据的多个轨道的情况下，将多个轨道交错并且以块为单位进行布置。

如上所述，图像序列格式的mdat框存储包括图像、声音等的媒体数据的一个或多个轨道。

mdat框可以对包括在轨道中的图像帧进行编码和存储。在对存储在图像序列格式的mdat框中的轨道中包括的帧进行编码时，可以采用长图片组(GOP)作为GOP，并且可以采用帧内编码和帧间编码两者。作为用于对包括在轨道中的帧进行编码的编解码器，例如可以采用HEVC等。

图8是示出trak框的示例的图。

trak框可以存储tkhd框和mdia框。tkhd框存储轨道的头部信息，诸如由trak框管理的轨道的创建日期和时间。mdia框存储minf框等。minf框存储stbl框。stbl框存储stsd框、stsc框、stsz框和stco框，这些stsd框、stsc框、stsz框和stco框存储轨道的样本，并且因此存储用于访问块的信息。stsd框存储关于轨道的编解码器的编解码器信息。stsc框存储块大小(每个块的样本数)。stsz框存储样本大小。stco框存储块偏移量，即存储在mdat框中的轨道的每个块的布置位置的偏移量。

这里，图像项格式的HEIF文件也被称为集合文件，并且图像序列格式的HEIF文件也被称为序列文件。

在数码相机10中，可以生成HEIF文件，该HEIF文件存储主图像以及需要的屏幕截图图像和缩略图图像中的一个或两者。

<集合文件>

图9是示出存储主图像和缩略图图像的集合文件的示例的图。

这里，假设帧(项)通过HEVC被编码并且被存储在集合文件的mdat框中。

ftyp框存储heic作为用于识别文件格式的识别信息，该heic表示格式是图像项格式并且编解码器是HEVC。

iinf框存储mdat框中存储的项的数量。在图9中，mdat框存储总共四个项(帧)，包括由项ID#1标识的主图像(以下也被描述为主图像项#1)、主图像项#2、由项ID#101标识的缩略图图像(以下也被描述为缩略图图像项#101)和缩略图图像项#102。因此，项的数量为四个。注意，缩略图图像项#101是主图像项#1的缩略图图像，并且缩略图图像项#102是主图像项#2的缩略图图像。

例如，iinf框还存储用于mdat框中存储的每个项的infe框。在infe框中，注册了用于标识项的项ID和项类型。在图9中，存在主图像项#1和主图像项#2以及缩略图图像项#101和缩略图图像项#102的infe框。

例如，iref框存储thmb框作为用于将mdat框中存储的项关联起来的信息。thmb框将参考源(referrer)和参考目的地(reference)彼此相关联地存储，作为用于将主图像与主图像的缩略图图像相关联的信息。在thmb框中，参考源表示主图像的项ID，并且参考目的地表示由参考源的项ID标识的主图像的缩略图图像的项ID。因此，根据与参考源相关联的参考目的地，可以识别由参考源表示的项ID所标识的主图像的缩略图图像的项ID。此外，根据与参考目的地相关联的参考源，可以识别由参考目的地表示的项ID所指定的缩略图图像的主图像的项ID。

如图6中所述，iprp框存储ipco框和ipma框。如图6中所述，ipco框存储作为存储在mdat框中的项的帧的属性，诸如关于编解码器的编解码器信息和关于大小的图像大小信息。如图6中所述，ipma框存储mdat框中存储的项到ipco框中存储的属性的索引。

如图6中所述，iloc框存储关于mdat框中的项的存储位置的信息。在图9中，iloc框存储项的数量是4个。此外，iloc框将mdat框中存储的主图像项#1和主图像项#2以及缩略图图像项#101和缩略图图像项#102中的每一个的存储位置的偏移量和大小与项ID相关联地存储。

<序列文件>

图10是示出存储主图像的轨道和主图像的缩略图图像的轨道的序列文件的示例的图。

这里，假设帧通过HEVC被编码并且被存储在序列文件的mdat框中。

ftyp框存储hevc作为用于识别文件格式的识别信息，该hevc指示格式是图像序列格式并且编解码器是HEVC。

如图7中所述，moov框存储trak框，该trak框管理mdat框中存储的每个轨道。在图10中，mdat框存储由轨道ID#1标识的主图像的轨道(以下也被描述为轨道#1)和轨道#1的主图像的缩略图图像的轨道#2。因此，moov框存储管理轨道#1的trak框和管理轨道#2的trak框。轨道#2的(从开头开始的)第n个缩略图图像的(帧)是轨道#1的第n个主图像的缩略图图像。

例如，当由数码相机10执行连拍时，在将通过连拍获得的多个帧的主图像和缩略图图像记录为一个轨道的情况下，序列文件是有用的。

管理主图像的轨道#1的trak框的tkhd框存储标识轨道#1的轨道ID#1、包括在轨道#1中的主图像的图像大小、表示在捕获主图像时数码相机10的方向的旋转信息、以及轨道#1的创建日期和时间。管理缩略图图像的轨道#2的trak框的tkhd框存储标识轨道#2的轨道ID#2、以及轨道#2的创建日期和时间。

除了图7中描述的tkhd框和mdia框之外，trak框还可以存储tref框。tref框存储用于标识与由存储tref框的trak框所管理的轨道相关联的另一轨道的轨道ID、表示轨道的内容的信息等。在图10中，将tref框设置在管理轨道#2的trak框中。于是，tref框存储表示与轨道#2有关的另一轨道是轨道#1(轨道#ID＝1)并且轨道#2中包括的数据是缩略图图像(轨道#2是缩略图图像的轨道)(类型＝thmb)的信息。

除了图8中描述的minf框之外，trak框的mdia框还可以存储hdlr框。hdlr框存储表示包括在由存储hdlr框的trak框所管理的轨道中的数据的类型的信息。管理主图像的轨道1的trak框中(存储的mdia框中)存储的hdlr框存储表示轨道1中包括的数据是图片(帧)的信息(pict)，并且管理缩略图图像的轨道2的trak框中存储的hdlr框存储表示轨道2中包括的数据是图片的信息。

minf框如图8中所述。

<HEIF文件的生成和再现>

图11是示出由文件控制单元43生成和再现HEIF文件的第一示例的图。

注意，虽然下文将作为示例描述采用图像项格式的HEIF文件作为要生成和再现的HEIF文件的情况，但是本技术也可以应用于图像序列格式的HEIF文件。注意，在将本技术应用于图像序列格式的HEIF文件的情况下，以下描述中的元(meta)框被替换为moov框。此外，除了HEIF文件之外，本技术还可以应用于其中存储例如缩略图图像等作为与存储在文件中的图像相关联的相关图像的任意文件。

图11示出了存储与一个帧的主图像相关联的图像相关数据的HEIF文件。

与主图像相关联的图像相关数据是与主图像一起存储在mdat框中的与主图像相关联的数据的集合，并且例如是主图像main(主)、屏幕截图图像screen(屏幕)、缩略图图像thum、以及作为元数据的可扩展元数据平台(XMP)和可交换图像文件格式(EXIF)的集合。包括在图像相关数据中的诸如主图像main(主)之类的组件也被称为元素数据。

在包括在图像相关数据中的元素数据当中，屏幕截图图像screen(屏幕)和缩略图图像thum具有比主图像main(主)更少的数据量、像素数和分辨率，但是为具有与主图像main(主)相同的内容的图像，并且可以被视为与主图像main(主)相关联的相关图像。

文件控制单元43生成其中主图像main(主)、屏幕截图图像screen(屏幕)、缩略图图像thum、XMP和EXIF从mdat框的开头部分开始按照主图像main(主)、XMP、屏幕截图图像screen(屏幕)、缩略图图像thum和EXIF的顺序被布置(被布置和存储)的HEIF文件，作为存储与一个帧的主图像相关联的图像相关数据的HEIF文件。

作为其中图像相关数据被如上所述地布置的HEIF文件的再现，例如，在再现缩略图图像的情况下，文件控制单元43读取并且解析(分析)HEIF文件的元(meta)框，以识别存储在mdat框中的缩略图图像thum、XMP和EXIF的位置。然后，文件控制单元43搜索HEIF文件的mdat框(例如，将期望的读取/写入位置设定为作为表示文件的读取/写入位置的变量的文件指针)，并且从搜索后的位置读取缩略图图像thum、XMP和EXIF。

如上所述，显示控制单元46显示从HEIF文件中读取的缩略图图像thum以及XMP和EXIF中的需要的元数据(诸如成像日期和时间)。

HEIF没有特别指定在mdat框中存储图像相关数据中包括的元素数据的顺序。因此，图像相关数据中包括的元素数据可以按照任意顺序被布置在mdat框中。

在本技术中，通过指定元素数据的布置，在再现时的使用情况下，诸如在显示缩略图图像、显示屏幕截图图像、执行仅传输图像相关数据中的某些类型的元素数据的部分传输等的情况下，可以高效地再现HEIF文件，并且快速地获取诸如缩略图图像之类的元素数据以执行缩略图图像的高速显示。

图12是示出由文件控制单元43生成和再现HEIF文件的第二示例的图。

类似于图11，图12示出了存储与一个帧的主图像相关联的图像相关数据的HEIF文件。

在图12中，按照XMP、EXIF、缩略图图像thum、主图像main(主)和缩略图图像screen(屏幕)的顺序来指定作为与一个帧的主图像相关联的图像相关数据的主图像main(主)、缩略图图像thum、XMP和EXIF的布置顺序。

因此，文件控制单元43生成其中主图像main(主)、屏幕截图图像screen(屏幕)、缩略图图像thum、XMP和EXIF从mdat框的开头部分开始按照XMP、EXIF、缩略图图像thum、主图像main(主)和屏幕截图图像screen(屏幕)的顺序被布置的HEIF文件，作为存储与一个帧的主图像相关联的图像相关数据的HEIF文件。

如上所述，在图12中，生成其中作为元数据的XMP和EXIF以及缩略图图像thum被布置在mdat框的开头部分的HEIF文件。

在再现HEIF文件时，作为预处理，文件控制单元43从HEIF文件的开头部分(诸如从HEIF文件的开头开始到至少超过元(meta)框的位置)读取预定数据量(例如，128K字节、256K字节等)的数据，以读取元(meta)框和元(meta)框之后的mdat框的开头部分的数据，并且将读取的数据展开(存储)在内置存储器(未示出)(诸如内置RAM)中。

在从mdat框的开头开始按照XMP、EXIF、缩略图图像thum、主图像main(主)和屏幕截图图像screen(屏幕)的顺序布置图像相关数据的情况下，由文件控制单元43通过预处理将布置在mdat框的开头部分的XMP、EXIF和缩略图图像thum与元(meta)框一起展开在内置存储器中。

因此，文件控制单元43可以解析存储器上的元数据框，并且根据解析结果来读取布置在内置存储器上的mdat框的开头部分的XMP、EXIF和缩略图图像thum，并且由此快速地获取XMP、EXIF和缩略图图像thum。结果，可以高速地显示XMP、EXIF和缩略图图像thum，并且可以高效地再现HEIF文件。

图13是示出由文件控制单元43生成和再现HEIF文件的第三示例的图。

图13示出了存储与作为多个帧的例如三个帧的主图像相关联的图像相关数据的HEIF文件。

在图13中，类似于图12的情况，按照XMP、EXIF、缩略图图像thum、主图像main(主)和屏幕截图图像screen(屏幕)的顺序来指定图像相关数据中包括的元素数据的布置顺序。

因此，在图13中，文件控制单元43生成如下HEIF文件，其中作为主图像main(主)(1)的图像相关数据的主图像main(主)(1)、屏幕截图图像screen(屏幕)(1)、缩略图图像thum(1)、XMP(1)和EXIF(1)的集合、作为主图像main(主)(2)的图像相关数据的主图像main(主)(2)、屏幕截图图像screen(屏幕)(2)、缩略图图像thum(2)、XMP(2)和EXIF(2)的集合以及作为主图像main(主)(3)的图像相关数据的主图像main(主)(3)、屏幕截图图像screen(屏幕)(3)、缩略图图像thum(3)、XMP(3)和EXIF(3)的集合各自按照XMP、EXIF、缩略图图像thum、主图像main(主)和屏幕截图图像screen(屏幕)的顺序被布置在mdat框中。

然而，注意，在图13中，主图像main(主)(1)的图像相关数据、主图像main(主)(2)的图像相关数据和主图像main(主)(3)的图像相关数据按照主图像main(主)(1)、主图像main(主)(2)和主图像main(主)(3)的图像相关数据的顺序、从mdat框的开头部分开始针对每个图像相关数据集中地存储。

这里，假设文件控制单元43在不执行图12中描述的预处理的情况下再现例如缩略图图像，作为图13的HEIF文件的再现。

在这种情况下，文件控制单元43读取并且解析HEIF文件的元(meta)框，以顺序地识别存储在mdat框中的缩略图图像thum(1)、thum(2)和thum(3)的位置。

当通过解析元(meta)框的处理来识别缩略图图像thum(m)(其中m＝1、2、3)的位置时，文件控制单元43搜索HEIF文件的mdat框，并且从搜索后的位置读取缩略图图像thum(m)。

在图13中，由于缩略图图像thum(m)与主图像main(主)(m)的图像相关数据的其他元素数据一起布置，因此某个主图像main(主)(m)的缩略图图像thum(m)和下一个主图像main(主)(m+1)的缩略图图像thum(m+1)被布置在彼此相距很远的位置。因此，在读取缩略图图像时，每次读取缩略图图像时都会进行搜索，并且从HEIF文件中读取所有缩略图图像需要时间。

接下来，假设文件控制单元43执行参考图12描述的预处理，以再现例如缩略图，作为图13的HEIF文件的再现。

在这种情况下，在再现HEIF文件时，文件控制单元43在预处理中从HEIF文件的开头读取预定数据量的数据，并且由此读取元(meta)框和元(meta)框之后的mdat框的开头部分的数据，以及在内置存储器中展开所读取的数据。

在预处理中，在内置存储器中展开元(meta)框以及例如位于元(meta)框之后的mdat框的开头部分的主图像main(主)(1)的XMP(1)、EXIF(1)和缩略图图像thum(1)。然而，注意，由于主图像main(主)(2)的XMP(2)、EXIF(2)和缩略图图像thum(2)以及主图像main(主)(3)的XMP(2)、EXIF(3)和缩略图图像thum(3)被布置在远离mdat框的开头部分的位置，因此根据预处理，它们没有在内置存储器中展开。

因此，与图12的情况类似，文件控制单元43可以从内置存储器中读取在内置存储器中展开的缩略图图像thum(1)，并且可以快速地获取缩略图图像thum(1)。

另一方面，与未执行预处理的情况类似，文件控制单元43针对未在内置存储器中展开的缩略图图像thum(2)和thum(3)需要搜索和读取HEIF文件的mdat框，并且读取缩略图图像thum(2)和thum(3)需要时间。

图14是示出由文件控制单元43生成和再现HEIF文件的第四示例的图。

类似于图13，图14示出了存储与作为多个帧的三个帧的主图像相关联的图像相关数据的HEIF文件。

在图14中，没有指定图像相关数据中的元素数据的布置顺序，并且对于HEIF文件中存储的所有图像相关数据，在mdat框的开头部分布置图像相关数据的元素数据的XMP、EXIF和缩略图图像thum。

因此，在图14中，文件控制单元43生成如下HEIF文件，其中，在作为主图像main(主)(1)的图像相关数据的主图像main(主)(1)、屏幕截图图像screen(屏幕)(1)、缩略图图像thum(1)、XMP(1)和EXIF(1)的集合、作为主图像main(主)(2)的图像相关数据的主图像main(主)(2)、屏幕截图图像screen(屏幕)(2)、缩略图图像thum(2)、XMP(2)和EXIF(2)的集合以及作为主图像main(主)(3)的主图像main(主)(3)、屏幕截图图像screen(屏幕)(3)、缩略图图像thum(3)、XMP(3)和EXIF(3)的集合当中，XMP(1)、EXIF(1)、缩略图图像thum(1)、XMP(2)、EXIF(2)、缩略图图像thum(2)、XMP(3)、EXIF(3)、缩略图图像thum(3)被布置在mdat框的开头部分。

注意，随后布置主图像main(主)(1)、屏幕截图图像screen(屏幕)(1)、主图像main(主)(2)、屏幕截图图像screen(屏幕)(2)、主图像main(主)(3)和屏幕截图图像screen(屏幕)(3)。

在如上所述地再现HEIF文件时，文件控制单元43执行图12中描述的预处理。

在预处理中，从HEIF文件的开头读取预定数据量的数据，以便将元(meta)框和元(meta)框之后的mdat框的开头部分的数据读取并且展开在文件控制单元43的内置存储器中。

结果，在内置存储器中展开元(meta)框以及例如位于元(meta)框之后的mdat框的开头部分的XMP(1)、EXIF(1)、缩略图图像thum(1)、XMP(2)、EXIF(2)、缩略图图像thum(2)、XMP(3)、EXIF(3)和缩略图图像thum(3)。

因此，文件控制单元43可以解析存储器上的元(meta)框，并且根据解析结果来读取布置在内置存储器上的mdat框的开头部分的缩略图图像thum(1)、缩略图图像thum(2)、缩略图图像thum(3)、XMP(1)、EXIF(1)、XMP(2)、EXIF(2)、XMP(3)和EXIF(3)，并且由此快速地获取HEIF文件中的缩略图图像、XMP和EXIF，而无需搜索HEIF文件。结果，可以高速地显示XMP、EXIF和缩略图图像thum，并且可以高效地再现HEIF文件。

这里，关于如图14中所示的存储在HEIF文件中的所有图像相关数据，其中在图像相关数据的元素数据当中的至少具有比主图像main(主)少的像素数(低分辨率)的图像(诸如缩略图图像thum)被布置在mdat框的开头部分的HEIF文件被称为高速HEIF文件。在高速HEIF文件中，不仅存储在高速HEIF文件中的所有缩略图图像，而且作为图像元数据的所有EXIF和XMP都可以被布置在mdat框的开头部分，如图14中所示。

图12的HEIF文件是高速HEIF文件，因为存储了与一个帧的主图像相关的图像相关数据，并且图像相关数据的元素数据中的XMP、EXIF和缩略图图像thum被布置在mdat框的开头部分。

因此，无论HEIF文件是存储与一个帧的主图像相关联的图像相关数据还是存储与多个帧的主图像相关联的图像相关数据，都可以应用高速HEIF文件。然而，注意，在HEIF文件存储与多个帧的主图像相关联的图像相关数据的情况下，搜索可能频繁地发生，并且因此，采用高速HEIF文件的效果很大。

注意，在高速HEIF文件中，主图像main(主)没有被布置在mdat框的开头部分。

此外，在高速HEIF文件中，作为具有比主图像main(主)少的像素数的图像，可以将屏幕截图图像screen(屏幕)与缩略图图像thum一起或代替缩略图图像thum布置在mdat框的开头部分。然而，注意，由于屏幕截图图像screen(屏幕)的数据量大于缩略图图像thum的数据量，在屏幕截图图像screen(屏幕)被布置在mdat框的开头部分的情况下，在预处理中读取的数据量和文件控制单元43的内置存储器所需的存储容量变大。

例如，在预处理中，可以采用预设的固定数据量作为从高速HEIF文件的开头读取的数据的数据量。

此外，例如，可以设定存储在高速HEIF文件中的图像相关数据的数量(主图像的数量)的上限，并且可以采用与上限数量相对应的数据量作为在预处理中从高速HEIF文件的开头读取的数据的数据量。例如，对于上限数量的图像相关数据，在XMP、EXIF和缩略图图像thum被布置在mdat框的开头部分的情况下，可以采用可以读取所有XMP、EXIF和缩略图图像thum的数据量作为在预处理中从高速HEIF文件的开头读取的数据的数据量。

此外，可以采用与文件控制单元43的内置存储器的容量相应的数据量、例如内置存储器可以允许的数据量作为在预处理中从高速HEIF文件的开头读取的数据量。

这里，对于高速HEIF文件，通过在预处理中读取和解析元(meta)框，可以识别布置在mdat框的开头部分的所有XMP、EXIF和缩略图图像thum的数据量。此外，通过从mdat框的开头读取所识别的数据量的数据，可以将布置在mdat框的开头部分的所有XMP、EXIF和缩略图图像thum读取并且展开在文件控制单元43的内置存储器中。

然而，注意，在这种情况下，从高速HEIF文件的开头读取分两次执行，包括读取元(meta)框和读取mdat框的开头部分。因此，在这种情况下，与简单地从高速HEIF文件的开头读取预定数据量的数据的情况相比，从高速HEIF文件读取数据的次数增加。

图15是示出生成图14中的高速HEIF文件的处理的示例的流程图。

在步骤S111中，文件控制单元43生成mdat框，其中，存储在HEIF文件中的每个主图像的XMP、EXIF和缩略图图像被布置在开头，并且主图像和屏幕截图图像被布置在其后，并且处理进行到步骤S112。

在步骤S112中，文件控制单元43生成存储关于在步骤S111中生成的mdat框的(数据的)元数据的元(meta)框，并且处理进行到步骤S112。

在步骤S113中，文件控制单元43生成其中在步骤S111中生成的mdat框被布置在步骤S112中生成的元(meta)框之后的高速HEIF文件，并且结束处理。

图16是示出再现图14的高速HEIF文件的处理的示例的流程图。

在步骤S121中，作为预处理，文件控制单元43读取高速HEIF文件的开头部分的预定数据量(例如256K字节等)的数据，并且由此读取元(meta)框和元(meta)框之后的mdat框的开头部分。此外，文件控制单元43在内置存储器中展开从高速HEIF文件中读取的元(meta)框和mdat框的开头部分，并且处理从步骤S121进行到步骤S122。

在步骤S122中，文件控制单元43例如根据用户的操作等确定是否存在对元素数据(即XMP、EXIF、缩略图图像、主图像或屏幕截图图像)的再现请求。

如果在步骤S122中确定没有再现请求，则处理进行到步骤S127。

此外，如果在步骤S122中确定存在再现请求，则处理进行到步骤S123。

在步骤S123中，文件控制单元43解析在内置存储器中展开的元(meta)框，以识别已经对其进行了再现请求的目标元素数据(以下也被称为再现请求目标)在mdat框中的位置，并且处理进行到步骤S124。

在步骤S124中，文件控制单元43根据通过解析元(meta)框识别的再现请求目标的位置，确定再现请求目标是否存在(存储)于内置存储器中。

如果在步骤S124中确定再现请求目标存在于内置存储器中，则处理进行到步骤S125。在步骤S125中，文件控制单元43从内置存储器中读取再现请求目标，并且处理进行到步骤S127。

此外，如果在步骤S124中确定再现请求目标没有存在于内置存储器中，则处理进行到步骤S126。在步骤S126中，文件控制单元43根据解析结果搜索HEIF文件的mdat框并且读取再现请求目标，并且处理进行到步骤S127。

在步骤S127中，文件控制单元43确定是否结束高速HEIF文件的再现。

如果在步骤S127中确定不结束高速HEIF文件的再现，则处理返回到步骤S122，并且此后重复类似的处理。

此外，如果在步骤S127中确定结束高速HEIF文件的再现，诸如用户操作数码相机10以便结束再现的情况，则处理结束。

图17是示出再现图14的高速HEIF文件中存储的所有缩略图图像的处理的示例的流程图。

在步骤S131中，作为预处理，文件控制单元43读取高速HEIF文件的开头部分的预定数据量的数据，并且由此读取元(meta)框和元(meta)框之后的mdat框的开头部分。此外，文件控制单元43在内置存储器中展开从高速HEIF文件中读取的元(meta)框和mdat框的开头部分，并且处理从步骤S131进行到步骤S132。

在步骤S132中，文件控制单元43解析在内置存储器中展开的元(meta)框，以识别mdat框中的存在缩略图图像的位置，并且处理进行到步骤S133。

在步骤S133中，文件控制单元43根据元(meta)框的解析结果来确定是否所有缩略图图像存在于内置存储器中。

如果在步骤S133中确定所有缩略图图像存在于内置存储器中，则处理进行到步骤S134，并且此后，再现内置存储器中存储的所有缩略图图像。

即，在步骤S134中，文件控制单元43确定内置存储器中是否仍然存在未解码的缩略图图像。

如果在步骤S134中确定内置存储器中仍然存在未解码的缩略图图像，则处理进行到步骤S135。

在步骤S135中，文件控制单元43从内置存储器中读取未解码的缩略图图像之一，并且处理进行到步骤S136。

在步骤S136中，文件控制单元43使编码控制单元42对在刚刚前一步骤S135中读取的缩略图图像进行解码，并且使显示控制单元46显示缩略图图像。然后，处理从步骤S136返回到步骤S134，并且此后，重复步骤S134到S136的处理，直到在步骤S134中确定内置存储器中没有未解码的缩略图图像。

如果在步骤S134中确定内置存储器中没有未解码的缩略图图像，则处理结束。

另一方面，如果在步骤S133中确定缩略图图像中的至少一部分没有存在于内置存储器中，则处理进行到步骤S137，并且从HEIF文件中再现所有缩略图图像。

即，在步骤S137中，文件控制单元43确定HEIF文件中是否存在未解码的缩略图图像。

如果在步骤S137中确定内置存储器中仍然存在未解码的缩略图图像，则处理进行到步骤S138。

在步骤S138中，文件控制单元43从HEIF文件中的当前位置到存在下一个缩略图图像的位置进行搜索，并且处理进行到步骤S139。注意，在最初进行的步骤S138中，从HEIF文件的开头、mdat框的开头等到存在第一缩略图图像的位置进行搜索。

在步骤S139中，文件控制单元43从HEIF文件中的搜索后的位置读取缩略图图像之一，并且处理进行到步骤S140。

在步骤S140中，文件控制单元43使编码控制单元42对在刚刚前一步骤S139中读取的缩略图图像进行解码，并且使显示控制单元46显示缩略图图像。然后，处理从步骤S140返回到步骤S137，并且此后，重复步骤S137到S140的处理，直到在步骤S137中确定HEIF文件中没有未解码的缩略图图像。

如果在步骤S140中确定HEIF文件中没有未解码的缩略图图像，则处理结束。

图18是用于进一步描述由文件控制单元43生成和再现HEIF文件的第四示例的图。

类似于图14，图18示出了存储图像相关数据的HEIF文件。然而，注意，在图14中，HEIF文件存储与三个帧的主图像相关联的图像相关数据，而在图18中，HEIF文件存储与M个帧的主图像相关联的图像相关数据，M个帧是超过三个帧的大量帧。

类似于图14生成图18的HEIF文件。

在如上所述地再现HEIF文件时，文件控制单元43执行与图14中的HEIF文件的再现类似的预处理。

在预处理中，从HEIF文件的开头读取预定数据量的数据，以便将元(meta)框和元(meta)框之后的mdat框的开头部分的数据读取并且展开在文件控制单元43的内置存储器中。

在图18中，由于HEIF文件存储与M个帧(其是大量帧)的主图像相关联的图像相关数据，因此在预处理中可能无法读取mdat框的开头部分的M个帧的主图像的所有XMP、EXIF和缩略图图像thum。

这里，假设用户等请求将M个帧的主图像当中的第N(＝<M)个主图像main(主)(N)(或屏幕截图图像screen(屏幕)(N))与主图像main(主)(N)的XMP(N)和EXIF(N)一起再现。

在这种情况下，文件控制单元43解析在预处理中在内置存储器中展开的元(meta)框，以识别HEIF文件中的主图像main(主)(N)(或屏幕截图图像screen(屏幕)(N))、XMP(N)和EXIF(N)的位置。结果，可以识别出主图像main(主)(N)(或屏幕截图图像screen(屏幕)(N))被布置为远离HEIF文件中的XMP(N)和EXIF(N)，并且主图像main(主)(N)的XMP(N)和EXIF(N)未存储在内置存储器中(在预处理中未读取)。

文件控制单元43从在预处理中完成读取的位置到主图像main(主)(N)的XMP(N)和EXIF(N)被布置的位置(开头位置)搜索HEIF文件，并且读取XMP(N)和EXIF(N)。此外，文件控制单元43从完成XMP(N)和EXIF(N)的读取的位置到主图像main(主)(N)被布置的位置搜索HEIF文件，并且读取主图像main(主)(N)。

此后，主图像main(主)(N)被解码并且与先前读取的主图像main(主)(N)的XMP(N)和EXIF(N)一起显示。

如上所述，对于HEIF文件中存储的主图像的所有图像相关数据，在XMP、EXIF和缩略图图像thum的集合被布置在mdat框的开头部分的情况下，当HEIF文件中存储的主图像main(主)的数量较大时，布置在mdat框的开头部分的XMP、EXIF和缩略图图像thum的集合的数量增加，并且在预处理中可能存在未读取布置在mdat框的开头部分的XMP、EXIF和缩略图图像thum的集合中的一部分的情况。

然后，在请求将在预处理中未读取的XMP(N)和EXIF(N)的再现与对应于XMP(N)和EXIF(N)的主图像main(主)(N)的再现一起进行的情况下，进行两次搜索以便读取XMP(N)和EXIF(N)，并且从HEIF文件中读取主图像main(主)(N)。因此，将主图像main(主)(N)与XMP(N)和EXIF(N)一起显示需要时间。

图19是示出由文件控制单元43生成和再现HEIF文件的第五示例的图。

类似于图18，图19示出了存储与M个帧的主图像相关联的图像相关数据的HEIF文件，M个帧是大量帧。

在图19中，类似于图14和图18，没有指定图像相关数据中的元素数据的布置顺序，并且对于HEIF文件中存储的所有图像相关数据，图像相关数据的元素数据中的XMP(m)、EXIF(m)和缩略图图像thum(m)被布置在mdat框的开头部分(m＝1，2，…，N，…，M)。

此外，在图19中，类似于图14和图18，对于HEIF文件中存储的所有图像相关数据，图像相关数据的元素数据中的主图像main(主)(m)和屏幕截图图像screen(屏幕)(m)被布置在mdat框的开头部分之后。“在mdat框的开头部分之后”中的mdat框的开头部分是指其中HEIF文件中存储的所有图像相关数据的XMP、EXIF和缩略图图像thum被布置的mdat框的开头部分。

然而，注意，在图19中，将布置在mdat框的开头部分之后的主图像main(主)(m)和屏幕截图图像screen(屏幕)(m)与XMP(m)和EXIF(m)一起集中地布置。

因此，在图19中，XMP(m)和EXIF(m)被冗余地布置在mdat框的开头部分和mdat框的开头部分之后。注意，也可以与XMP(m)和EXIF(m)一起冗余地布置缩略图图像thum(m)。

如上所述，在图19中，文件控制单元43生成如下HEIF文件，其中，对于与M个帧的主图像相关联的所有图像相关数据，将XMP(m)、EXIF(m)和缩略图图像thum(m)布置在mdat框的开头部分，并且以集中形式将XMP(m)、EXIF(m)、主图像main(主)(m)和屏幕截图图像screen(屏幕)(m)布置在mdat框的开头部分之后。

注意，在图19中，依次布置XMP(m)、EXIF(m)、主图像main(主)(m)和屏幕截图图像screen屏幕(m)，它们是集中地布置在mdat框的开头部分之后的主图像main(主)(m)的图像相关数据的元素数据，但是元素数据的布置顺序不限于此。

在图19的HEIF文件中，在再现XMP(N)、EXIF(N)和缩略图图像thum(N)的情况下，例如，在预处理中读取布置在mdat框的开头部分的XMP(N)、EXIF(N)和缩略图图像thum(N)，并且当在内置存储器中展开XMP(N)、EXIF(N)和缩略图图像thum(N)时，从内置存储器中读取XMP(N)、EXIF(N)和缩略图图像thum(N)。在这种情况下，可以高速地显示XMP(N)、EXIF(N)和缩略图图像thum(N)，并且可以高效地再现HEIF文件。

此外，当在预处理中未读取布置在mdat框的开头部分的XMP(N)、EXIF(N)和缩略图图像thum(N)时，从HEIF文件中读取布置在mdat框的开头部分的XMP(N)、EXIF(N)和缩略图图像thum(N)。

这里，对于HEIF文件中存储的主图像main(主)(m)的所有图像相关数据，在XMP(m)、EXIF(m)和缩略图图像thum(m)的集合被布置在mdat框的开头部分的情况下，当HEIF文件中存储的主图像main(m)的数量较大时，布置在mdat框的开头部分的XMP(m)、EXIF(m)和缩略图图像thum(m)的集合的数量增加，并且在预处理中可能存在未读取布置在mdat框的开头部分的XMP(m)、EXIF(m)和缩略图图像thum(m)的集合中的一部分的情况。

在图18的HEIF文件中，在预处理中未读取某个主图像main(主)(N)的图像相关数据中包括的XMP(N)、EXIF(N)和缩略图图像thum(N)的情况下，如参考图18所述，当将主图像main(主)(N)(或屏幕截图图像screen(屏幕)(N))与主图像main(主)(N)的XMP(N)和EXIF(N)一起再现时，为了从HEIF文件中读取XMP(N)和EXIF(N)并且读取主图像main(主)(N)，进行两次搜索。

另一方面，在图19的HEIF文件中，XMP(N)和EXIF(N)不仅被布置在mdat框的开头部分，而且以集中形式与主图像main(主)(N)等一起被布置在mdat框的开头部分之后。

因此，在图19的HEIF文件中，在读取XMP(N)、EXIF(N)和主图像(N)时，例如，读取mdat框的开头部分之后集中地布置的所有XMP(N)、EXIF(N)、主图像main(主)(N)和屏幕截图图像screen(屏幕)(N)，以便可以在一次搜索中快速地读取XMP(N)、EXIF(N)和主图像(N)。

图20是示出再现图18或图19的HEIF文件中存储的主图像(或屏幕截图图像)、XMP和EXIF的处理的示例的流程图。

在步骤S151中，作为预处理，文件控制单元43读取高速HEIF文件的开头部分的预定数据量的数据，并且由此读取元(meta)框和元(meta)框之后的mdat框的开头部分。此外，文件控制单元43在内置存储器中展开从高速HEIF文件中读取的元(meta)框和mdat框的开头部分，并且处理从步骤S151进行到步骤S152。

在步骤S152中，文件控制单元43解析在内置存储器中展开的元(meta)框，以识别mdat框中的存在期望的主图像(或屏幕截图图像)(诸如由用户请求再现的主图像)以及主图像的XMP和EXIF的位置，并且处理进行到步骤S153。

在步骤S153中，文件控制单元43根据元(meta)框的解析结果来确定期望的主图像(和屏幕截图图像)、XMP和EXIF是否被连续地(集中地)布置在HEIF文件中。

在步骤S153中，如果确定期望的主图像、XMP和EXIF被连续地布置在HEIF文件中，即，如果HEIF文件是如图19中所示的HEIF文件，并且XMP和EXIF被冗余地布置在HEIF文件的mdat框的开头部分和开头部分之后，则处理进行到步骤S154。

在步骤S154中，文件控制单元43对HEIF文件中连续地布置期望的主图像、XMP和EXIF的位置、即布置在mdat框的开头部分之后的期望的主图像、XMP和EXIF的位置(的开头)进行搜索，并且处理进行到步骤S155。

在步骤S155中，在HEIF文件中的搜索后的位置处，文件控制单元43读取集中地布置在该位置的期望的主图像(和屏幕截图图像)、XMP和EXIF，并且处理进行到步骤S156。

在步骤S156中，文件控制单元43使编码控制单元42对在刚刚前一步骤S155中读取的主图像进行解码。此外，文件控制单元43使显示控制单元46将解码后的主图像与在刚刚前一步骤S155中读取的XMP和EXIF一起显示，并且结束处理。

另一方面，如果在步骤S153中确定期望的主图像、XMP和EXIF没有被连续地布置在HEIF文件中，即，如果HEIF文件是如图18中所示的HEIF文件，并且XMP和EXIF仅被布置在HEIF文件的mdat框的开头部分，则处理进行到步骤S157。

在步骤S157中，文件控制单元43对布置在HEIF文件中的mdat框的开头部分的期望的主图像的XMP的位置(的开头)进行搜索，并且处理进行到步骤S158。

在步骤S158中，在HEIF文件中的搜索后的位置处，文件控制单元43读取在该位置布置的期望的主图像的XMP，并且处理进行到步骤S159。

在步骤S159中，文件控制单元43对布置在HEIF文件的mdat框的开头部分的期望的主图像的EXIF的位置(的开头)进行搜索，并且处理进行到步骤S160。

在步骤S160中，在HEIF文件中的查找后的位置处，文件控制单元43读取在该位置布置的期望的主图像的EXIF，并且处理进行到步骤S161。

在步骤S161中，文件控制单元43对布置在HEIF文件中的mdat框的开头部分之后的期望的主图像(或屏幕截图图像)的位置(的开头)进行搜索，并且处理进行到步骤S162。

在步骤S162中，在HEIF文件中的查找后的位置处，文件控制单元43读取在该位置布置的期望的主图像，并且处理进行到步骤S156。

在这种情况下，在步骤S156中，文件控制单元43使编码控制单元42对在刚刚前一步骤S162中读取的主图像进行解码。此外，文件控制单元43使显示控制单元46将解码后的主图像与在刚刚之前步骤S158和S160中读取的XMP和EXIF一起显示，并且结束处理。

<应用现有技术的计算机的说明>

接下来，可以通过硬件或软件来执行上述一系列处理。在通过软件来执行一系列处理的情况下，将包括在软件中的程序安装在通用计算机等上。

图21是示出其上安装有用于执行上述一系列处理的程序的计算机的一个实施例的配置示例的框图。

程序可以预先记录在作为内置在计算机中的记录介质的硬盘905或ROM 903中。

替选地，程序可以存储(记录)在由驱动器909驱动的可移动记录介质911中。这样的可移动记录介质911可以作为所谓的套装软件(package software)来提供。这里，可移动记录介质911的示例包括软盘、紧凑盘只读存储器(CD-ROM)、磁光盘(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等。

注意，程序可以如上所述从可移动记录介质911安装到计算机上，或者可以通过通信网络或广播网络下载到计算机并且安装在内置硬盘905中。也就是说，例如，程序可以通过用于数字卫星广播的人造卫星从下载站点无线传输到计算机，或者可以通过诸如局域网(LAN)或因特网之类的网络以有线方式传输到计算机。

计算机包含中央处理单元(CPU)902，并且输入/输出接口910通过总线901连接到CPU 902。

当由用户通过输入/输出接口910操作输入单元907等来输入命令时，CPU 902根据该命令执行存储在只读存储器(ROM)903中的程序。替选地，CPU 902将存储在硬盘905中的程序加载到随机存取存储器(RAM)904中并且执行该程序。

结果，CPU 902执行根据上述流程图的处理或通过上述框图的配置执行的处理。然后，CPU 902根据需要执行控制，以例如通过输入/输出接口910从输出单元906输出处理结果或从通信单元908发送处理结果，或者例如将处理结果记录在硬盘905中。

注意，输入单元907包括键盘、鼠标、麦克风等。此外，输出单元906包括液晶显示器(LCD)、扬声器等。

这里，在本说明书中，由计算机根据程序执行的处理不一定按照流程图中描述的顺序按时间序列执行。也就是说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或按对象处理)。

此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。此外，可以将程序传输到远程计算机以执行。

此外，在本说明书中，系统是指多个组件(设备、模块(部件)等)的集合，并且所有组件是否在同一壳体中并不重要。因此，容纳在单独壳体中并且通过网络连接的多个设备，以及将多个模块容纳在一个壳体中的一个设备都是系统。

注意，本技术的实施例不限于上述实施例，并且可以在不偏离本技术的范围的情况下进行各种修改。

例如，本技术可以具有云计算配置，其中一个功能由多个设备通过网络来共享和处理。

此外，上述流程图中描述的每个步骤可以由一个设备来执行，或者可以由多个设备以共享方式来执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备来执行，或者可以由多个设备以共享方式来执行。

此外，本说明书中描述的效果仅仅是说明，而不是限制性的。因此，可以获得其他效果。

注意，本技术也可以以下方式配置。

<1>

一种文件处理设备，包括：

文件控制单元，所述文件控制单元生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

<2>

根据<1>所述的文件处理设备，其中，

所述文件控制单元生成其中与多个图像相关联的多个相关图像被布置在mdat框的开头部分的HEIF文件。

<3>

根据<1>或<2>所述的文件处理设备，其中，

所述文件控制单元生成其中图像的元数据也被布置在mdat框的开头部分的HEIF文件。

<4>

根据<3>所述的文件处理设备，其中，

所述文件控制单元生成其中元数据被布置在mdat框的开头部分和mdat框的开头部分之后的HEIF文件。

<5>

根据<1>至<4>中任一项所述的文件处理设备，其中，

相关图像包括具有比所述图像的数据量少的数据量的图像。

<6>

根据<5>所述的文件处理设备，其中，

相关图像包括缩略图图像。

<7>

一种文件处理方法，包括：

生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

<8>

一种程序，所述程序使计算机用作：

文件控制单元，所述文件控制单元生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

<9>

一种文件处理设备，包括：

文件控制单元，所述文件控制单元读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

<10>

根据<9>所述的文件处理设备，其中，

所述文件控制单元读取其中与多个图像相关联的多个相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

<11>

根据<9>或<10>所述的文件处理设备，其中，

所述文件控制单元读取其中图像的元数据也被布置在mdat框的开头部分的HEIF文件的开头部分。

<12>

根据<11>所述的文件处理设备，其中，

所述文件控制单元读取其中元数据被布置在mdat框的开头部分和mdat框的开头部分之后的HEIF文件的开头部分。

<13>

根据<9>至<12>中任一项所述的文件处理设备，其中，

相关图像包括具有比所述图像的数据量少的数据量的图像。

<14>

根据<13>所述的文件处理设备，其中，

相关图像包括缩略图图像。

<15>

根据<9>至<14>中任一项所述的文件处理设备，其中，

所述文件控制单元读取HEIF文件中的存储mdat框中所存储的数据的元数据的框和该框之后的mdat框的开头部分。

<16>

根据<9>至<15>中任一项所述的文件处理设备，其中，

所述文件控制单元读取HEIF文件的开头部分的预定数据量的数据。

<17>

根据<16>所述的文件处理设备，其中，

所述文件控制单元从HEIF文件的开头读取与存储在HEIF文件中的图像的数量相对应的数据量的数据。

<18>

根据<16>所述的文件处理设备，其中，

所述文件控制单元从HEIF文件的开头读取与存储从HEIF文件的开头读取的数据的存储器的容量相对应的数据量的数据。

<19>

一种文件处理方法，包括：

读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

<20>

一种程序，所述程序使计算机用作：

文件控制单元，所述文件控制单元读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

参考标记列表

10 数码相机

11 光学系统

13 信号处理单元

14 介质

15、16 I/F

17 按钮/键

18 触摸面板

19 液晶面板

20 取景器

21 I/F

41 光学系统/图像传感器控制单元

42 编码控制单元

43 文件控制单元

44 介质控制单元

45 操作控制单元

46 显示控制单元

47 UI控制单元

901 总线

902 CPU

903 ROM

904 RAM

905 硬盘

906 输出单元

907 输入单元

908 通信单元

909 驱动器

910 输入/输出接口

911 可移动记录介质

Claims (20)

1.一种文件处理设备，包括：

文件控制单元，所述文件控制单元生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

2.根据权利要求1所述的文件处理设备，其中，

所述文件控制单元生成其中与多个图像相关联的多个相关图像被布置在mdat框的开头部分的HEIF文件。

3.根据权利要求1所述的文件处理设备，其中，

所述文件控制单元生成其中图像的元数据也被布置在mdat框的开头部分的HEIF文件。

4.根据权利要求3所述的文件处理设备，其中，

所述文件控制单元生成其中元数据被布置在mdat框的开头部分和mdat框的开头部分之后的HEIF文件。

5.根据权利要求1所述的文件处理设备，其中，

相关图像包括具有比所述图像的数据量少的数据量的图像。

6.根据权利要求5所述的文件处理设备，其中，

相关图像包括缩略图图像。

7.一种文件处理方法，包括：

生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

8.一种程序，所述程序使计算机用作：

文件控制单元，所述文件控制单元生成其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件。

9.一种文件处理设备，包括：

文件控制单元，所述文件控制单元读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

10.根据权利要求9所述的文件处理设备，其中，

所述文件控制单元读取其中与多个图像相关联的多个相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

11.根据权利要求9所述的文件处理设备，其中，

所述文件控制单元读取其中图像的元数据也被布置在mdat框的开头部分的HEIF文件的开头部分。

12.根据权利要求11所述的文件处理设备，其中，

所述文件控制单元读取其中元数据被布置在mdat框的开头部分和mdat框的开头部分之后的HEIF文件的开头部分。

13.根据权利要求9所述的文件处理设备，其中，

相关图像包括具有比所述图像的数据量少的数据量的图像。

14.根据权利要求13所述的文件处理设备，其中，

相关图像包括缩略图图像。

15.根据权利要求9所述的文件处理设备，其中，

所述文件控制单元读取HEIF文件中的存储mdat框中所存储的数据的元数据的框和该框之后的mdat框的开头部分。

16.根据权利要求9所述的文件处理设备，其中，

所述文件控制单元读取HEIF文件的开头部分的预定数据量的数据。

17.根据权利要求16所述的文件处理设备，其中，

所述文件控制单元从HEIF文件的开头读取与存储在HEIF文件中的图像的数量相对应的数据量的数据。

18.根据权利要求16所述的文件处理设备，其中，

所述文件控制单元从HEIF文件的开头读取与存储从HEIF文件的开头读取的数据的存储器的容量相对应的数据量的数据。

19.一种文件处理方法，包括：

读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

20.一种程序，所述程序使计算机用作：

文件控制单元，所述文件控制单元读取其中与高效图像文件格式HEIF文件中的图像相关联的相关图像被布置在mdat框的开头部分的HEIF文件的开头部分。

Images