CN115211104A

CN115211104A - 文件处理设备、文件处理方法和程序

Info

Publication number: CN115211104A
Application number: CN202180018881.8A
Authority: CN
Inventors: 椎名裕树
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-03-09
Filing date: 2021-02-22
Publication date: 2022-10-18
Also published as: EP4106325A1; WO2021182090A1; US20230039708A1; JPWO2021182090A1; EP4106325A4

Abstract

本技术涉及使得可以减少用户丢失的图像的文件处理设备、文件处理方法和程序。将修复数据写入到存储静止图片图像的高效图像文件格式HEIF文件，该修复数据用于修复HEIF文件。使用修复数据来修复HEIF文件。本技术适用于HEIF文件的处理。

Description

文件处理设备、文件处理方法和程序

技术领域

本技术涉及文件处理设备、文件处理方法和程序，并且尤其涉及例如能够减少用户丢失的图像数量的文件处理设备、文件处理方法和程序。

背景技术

作为用于高效存储图像的文件格式，存在高效图像文件格式(HEIF)(参见非专利文献1)。

引用列表

非专利文献

非专利文件1：ISO/IEC 23008-12：2017，信息技术--异构环境中的高效编码和媒体交付(media delivery)--第12部分：图像文件格式

发明内容

本发明要解决的问题

例如，HEIF文件可以存储多个静止图像的图像，诸如通过连续拍摄而捕获的图像。在HEIF文件存储多个图像的情况下，写入(记录)HEIF文件所需的写入时间随着图像数量的增加而增加。在写入时间长的情况下，在写入HEIF文件期间，由于由移除电池或移除插头导致的电源中断、移除介质等，很有可能生成异常HEIF文件。异常HEIF文件是不具有作为HEIF文件的格式的文件。

异常HEIF文件无法再现，并且用户丢失存储在HEIF文件中的所有图像。

本技术是鉴于这样的情况而做出的，并且旨在减少用户丢失的图像数量。

问题的解决方案

本技术的第一文件处理设备或第一程序是：一种文件处理设备，包括：文件控制单元，所述文件控制单元将修复数据写入到存储静止图像的高效图像文件格式HEIF文件中，所述修复数据用于修复所述HEIF文件；或者一种程序，所述程序用于使计算机用作这样的文件处理设备。

本技术的第一文件处理方法是：一种文件处理方法，包括：将修复数据写入到存储静止图像的高效图像文件格式HEIF文件中，所述修复数据用于修复所述HEIF文件。

在本技术的第一文件处理设备、第一文件处理方法和第一程序中，将修复数据写入到存储静止图像的高效图像文件格式HEIF文件中，该修复数据用于修复该HEIF文件。

本技术的第二文件处理设备或第二程序是：一种文件处理设备，包括：文件控制单元，所述文件控制单元使用修复数据来修复存储静止图像的高效图像文件格式HEIF文件，所述修复数据用于修复所述HEIF文件，所述修复数据被写入到所述HEIF文件中；或者一种程序，所述程序用于使计算机用作这样的文件处理设备。

本技术的第二文件处理方法是：一种文件处理方法，包括：使用修复数据来修复存储静止图像的高效图像文件格式HEIF文件，所述修复数据用于修复所述HEIF文件，所述修复数据被写入到所述HEIF文件中。

在本技术的第二文件处理设备、第二文件处理方法和第二程序中，使用修复数据来修复存储静止图像的高效图像文件格式HEIF文件，该修复数据用于修复该HEIF文件，该修复数据被写入到该HEIF文件中。

注意，文件处理设备可以是独立设备，或者可以是包括在一个设备中的内部块。

此外，程序可以通过传输介质进行传输或者记录在记录介质上来提供。

附图说明

图1是示出应用本技术的数码相机的一个实施例的配置示例的框图。

图2是示出符合联合摄影专家组(JPEG)的JPEG文件的格式的示例的图。

图3是示出ISO基础媒体文件格式的示例的图。

图4是示出符合HEIF的HEIF文件的格式的示例的图。

图5是示出图像项格式的HEIF文件的格式的示例的图。

图6是示出iprp框(box)的示例的图。

图7是示出图像序列格式的HEIF文件的格式的示例的图。

图8是示出trak框的示例的图。

图9是示出存储主图像和缩略图图像的集合文件(collection file)的示例的图。

图10是示出存储主图像的轨道(track)和主图像的缩略图图像的轨道的序列文件的示例的图。

图11是示出存储平铺图像(tile image)的HEIF文件的示例的图。

图12是示出由文件控制单元43生成的具有修复功能的HEIF文件的概要的图。

图13是示出使用修复数据来修复异常HEIF文件(具有修复功能)的概要的图。

图14是示出生成具有修复功能的HEIF文件的处理的示例的流程图。

图15是示出具有修复功能的异常HEIF文件的示例的图。

图16是示出在检测到中断部分之后的修复处理的示例的图。

图17是示出在删除中断部分的图像和该图像的修复数据之后的修复处理的示例的图。

图18是示出在生成正常元框(meta box)之后的修复处理的示例的图。

图19是示出修复处理的示例的流程图。

图20是示出修复数据的具体示例的图。

图21是示出修复数据中的网格信息(字段)grid_list(网格列表)的具体示例的图。

图22是示出在修复处理中存储至少使用修复数据生成(修复)的元数据的框的图。

图23是示出生成(修复)在修复处理中存储至少使用修复数据生成的管理元数据的框的方法的图。

图24是示出应用本技术的计算机的一个实施例的配置示例的框图。

具体实施方式

<应用本技术的数码相机的一个实施例>

数码相机10包括光学系统11、图像传感器12、信号处理单元13、介质14、接口(I/F)15和16、按钮/键17、触摸面板18、液晶面板19、取景器20、I/F 21等。

光学系统11将来自被摄体的光聚光(condense)在图像传感器12上。

图像传感器12接收来自光学系统11的光，通过光电转换来执行成像，生成作为电信号的图像数据，并且将图像数据提供给信号处理单元13。

信号处理单元13包括光学系统/图像传感器控制单元41、编码控制单元42、文件控制单元43、介质控制单元44、操作控制单元45、显示控制单元46和UI控制单元47。

光学系统/图像传感器控制单元41控制光学系统11和图像传感器12，并且将通过根据该控制执行的成像而获得的图像的(数据)提供给编码控制单元42。

编码控制单元42将来自光学系统/图像传感器控制单元41的图像提供给显示控制单元46，根据需要对图像进行编码，并且将图像提供给文件控制单元43。此外，编码控制单元42根据需要对从文件控制单元43提供的图像进行解码，并且将图像提供给显示控制单元46。

文件控制单元43生成存储从编码控制单元42提供的图像的文件，并且将该文件提供给介质控制单元44。此外，文件控制单元43再现从介质控制单元44提供的文件，即读取诸如存储在文件中的图像等数据。例如，从文件控制单元43向编码控制单元42提供从文件中读取的图像。

介质控制单元44控制与介质14以及I/F 15和16的文件交换。例如，介质控制单元44使得来自文件控制单元43的文件被记录在介质14上或从I/F 15和16被发送。此外，介质控制单元44从介质14读取文件，或者使得I/F 15和16接收文件并且将该文件提供给文件控制单元43。

操作控制单元45根据由用户对按钮/键17或触摸面板18的操作，将与操作相对应的操作信号提供给需要的块。

显示控制单元46执行显示控制等，以将从编码控制单元42提供的图像等提供给液晶面板19、取景器20和I/F 21进行显示。

UI控制单元47管理用户界面(UI)控制。

例如，介质14是诸如SD卡之类的存储介质。例如，I/F 15是诸如Wi-Fi(注册商标)或以太网(注册商标)之类的局域网(LAN)的I/F。例如，I/F 16是通用串行总线(USB)I/F。当将命令或其他信息输入到数码相机10时，按钮/键17和触摸面板18被用户操作。触摸面板18可以与液晶面板19一体形成。液晶面板19和取景器20显示从显示控制单元46提供的图像等。I/F 21是至少传送图像的I/F，诸如高清多媒体接口(HDMI)(注册商标)或显示端口(DP)。

在如上所述配置的数码相机10中，光学系统/图像传感器控制单元41根据通过由图像传感器12进行成像而获得的原始数据的图像(以下也被称为原始图像)生成例如具有与原始图像的分辨率(像素数)(大小)相同的分辨率(像素数)(大小)的YUV图像，并且将该图像与原始图像一起提供给编码控制单元42。编码控制单元42根据来自光学系统/图像传感器控制单元41的YUV图像生成HEIF文件的主图像等。例如，来自光学系统/图像传感器控制单元41的YUV图像可以直接用作HEIF文件的主图像。

编码控制单元42根据YUV的主图像生成例如具有比主图像的分辨率低的分辨率的YUV图像(以下也被称为屏幕截图(screennail)图像)，作为基于主图像的第一其他图像，以用于在液晶面板19或外部显示器上的显示；以及生成例如具有比屏幕截图图像的分辨率低的分辨率的YUV图像(以下也被称为缩略图(thumbnail)图像)，作为基于主图像的第二其他图像，以用于索引显示(列表显示)。例如，编码控制单元42经由显示控制单元46将屏幕截图图像提供给液晶面板19，以将屏幕截图图像显示为所谓的直通镜头(through-the-lens)图像。例如，作为缩略图图像，可以采用在长边上具有320像素或更小的大小的图像。主图像与作为基于主图像的第一其他图像的屏幕截图图像或作为基于主图像的第二其他图像的缩略图图像之间的大小(像素数)的比率可以是例如200倍或更小。作为基于主图像的第一其他图像的屏幕截图图像与作为基于主图像的第二其他图像的缩略图图像之间的大小的比率也可以是200倍或更小。例如，作为屏幕截图图像，可以采用具有4K或更大的分辨率的图像。此外，例如，作为屏幕截图图像，可以根据用户的选择来采用4K(QFHD)或FHD图像。此外，可以采用具有相同分辨率的图像作为主图像和屏幕截图图像。在采用具有相同分辨率的图像作为主图像和屏幕截图图像的情况下，主图像和屏幕截图图像两者可以存储在HEIF文件中，或者可以在不存储屏幕截图图像的情况下存储主图像。在将主图像存储在HEIF文件中而不存储屏幕截图图像的情况下，可以调整主图像的大小并且将其用作屏幕截图图像。

此外，编码控制单元42根据需要对与原始图像相对应的主图像、屏幕截图图像和缩略图图像(从相同的原始图像生成的主图像、屏幕截图图像和缩略图图像)进行编码，并且将其与原始图像一起提供给文件控制单元43。

例如，文件控制单元43根据需要生成存储原始图像的原始文件、存储相应的主图像、屏幕截图图像和缩略图图像(从相同的原始图像生成的主图像、屏幕截图图像和缩略图图像)的HEIF文件和/或JPEG文件，并且将所生成的文件提供给介质控制单元44。HEIF文件是符合高效图像文件格式(HEIF)的文件，并且JPEG文件是符合联合摄影专家组(JPEG)的文件。

介质控制单元44将来自文件控制单元43的原始文件、HEIF文件或JPEG文件记录在介质14上，或者从I/F 15或16发送原始文件、HEIF文件或JPEG文件。

例如，可以根据用户的操作(指定)来选择要由文件控制单元43生成的文件的类型(例如，原始文件、HEIF文件、JPEG文件等)。此外，如稍后所述，HEIF文件包括图像项格式和图像序列格式。例如，可以根据用户的操作来选择采用图像项格式和图像序列格式中的哪一个。此外，文件控制单元43可以根据用户的操作来执行HEIF文件和JPEG文件之间的相互转换。

此外，文件控制单元43可以生成具有相同图像内容并且具有不同编解码器、图像大小(分辨率)、颜色格式和比特深度的多个文件。

在文件控制单元43生成具有相同图像内容的多个文件的情况下，编码控制单元42根据来自光学系统/图像传感器控制单元41的YUV图像生成要存储在多个文件中的每个文件中的图像流(文件流)。

编码控制单元42可以生成具有不同编解码器、图像大小(分辨率)、颜色格式和比特深度的图像流。

例如，编码控制单元42可以根据从光学系统/图像传感器控制单元41提供的YUV图像生成预定大小、预定颜色格式和预定比特深度的图像，并且生成通过利用预定编解码器(编码方法)对图像进行编码而获得的第一流。此外，编码控制单元42可以根据从光学系统/图像传感器控制单元41提供的相同的YUV图像生成具有另一大小、另一颜色格式和另一比特深度的图像，并且生成通过利用另一编解码器对图像进行编码而获得的第二流。

然后，文件控制单元43可以生成存储第一流的文件和存储第二流的文件。

<JPEG文件>

JPEG文件被配置为存储例如Exif(EXIF)元数据、缩略图图像、可扩展元数据平台(XMP)(注册商标)元数据、表示主图像和简化的显示图像的存储位置(位置)的MPF、主图像和简化的显示图像。例如，作为简化的显示图像，可以采用屏幕截图图像。

<ISO基础媒体文件格式>

图3是示出ISO基础媒体文件格式的示例的图。

HEIF(ISO/IEC 23008-12)是符合ISO基础媒体文件格式(ISO/IEC 14496-12)的文件格式，因此HEIF文件符合ISO基础媒体文件格式。

ISO基础媒体文件格式包括被称为框的单元作为用于存储数据的容器，并且具有被称为框结构的结构。

框包括类型(框类型)、实际数据(数据)等。类型表示框中的实际数据的类型。作为实际数据，可以采用可再现的媒体数据(诸如图像(静止图像、运动图像)、音频和字幕)、属性名称(字段名称)和属性名称(由属性名称表示的变量)的属性值(字段值)以及各种其他数据。

此外，作为实际数据，可以采用框。也就是说，框可以具有作为实际数据的框，因此可以形成层次结构。

符合ISO基础媒体文件格式的基础媒体文件可以包括ftyp框、moov框(MovieBox(电影框))、元框(MetaBox(元框))、mdat框(MediaDataBox(媒体数据框))等。ftyp框存储用于识别文件格式的识别信息。Moov框可以存储trak框等。元框可以存储iinf框、iprp框、iref框、iloc框等。mdat框可以存储媒体数据(AV数据)和其他任意数据。

HEIF符合上述ISO基础媒体文件格式。

<HEIF文件>

图4是示出符合HEIF的HEIF文件的格式的示例的图。

HEIF文件大致分为图像项格式和图像序列格式。此外，图像项格式包括稍后将描述的仅具有一个项的单个图像格式和具有多个项的图像集合格式。

图像项格式的HEIF文件包括ftyp框、元框和mdat框。

图像序列格式的HEIF文件包括ftyp框、moov框和mdat框。

注意，HEIF文件不仅可以包括元框和moov框中的一个，而且可以包括这元框和moov框两者。

ftyp框存储用于识别文件格式的识别信息，诸如文件是图像项格式的HEIF文件还是图像序列格式的HEIF文件。

元框和moov框存储由mdat框中存储的媒体数据的再现、管理等所需的元数据，诸如媒体数据的存储位置等的元数据。

mdat框存储媒体数据(AV数据)等。

在数码相机10中，例如，可以根据用户的操作来选择要生成图像项格式的HEIF文件和图像序列格式的HEIF文件中的哪一个。此外，在对图像进行编码并且将其存储在HEIF文件的mdat框中的情况下，仅允许对图像项格式进行帧内编码，并且允许对图像序列格式进行帧内编码和帧间编码。因此，例如，在优先考虑高速访问HEIF文件中存储的数据的情况下，可以选择生成图像项格式的HEIF文件，并且在优先考虑减小HEIF文件的大小(数据量)的情况下，可以选择生成图像序列格式的HEIF文件。

图5是示出图像项格式的HEIF文件的格式的示例的图。

在图像项格式的HEIF文件中，例如，ftyp框存储表示HEIF文件是图像项格式的信息(诸如mif1)(作为属性值)。

元框存储iinf框、iref框、iprp框和iloc框。

iinf框存储(表示)作为存储在mdat框中的媒体数据(AV数据)的项的数量(的属性名称和属性值)等。项(item)是存储在图像项格式的HEIF文件的mdat框中的一个数据，并且例如，一个图像(画面)是项。在本说明书中，一个图像也被称为帧，而不管它是静止图像还是运动图像。一个帧是一个项。

iref框存储表示各项之间的关联的信息。例如，mdat框可以将对应的主图像、屏幕截图图像和缩略图图像中的每一个存储为项。在mdat框存储作为主图像的项I1、作为屏幕截图图像的项I2和作为缩略图图像的项I3的情况下，iref框存储表示项I2是作为项I1的主图像的屏幕截图图像的信息和表示项I3是作为项I1的主图像的缩略图图像的信息。

iprp框存储有关项的属性的信息。

iloc框存储有关mdat框中存储的项的存储位置的信息。

例如，图像项格式的(HEIF文件的)mdat框将图像的帧存储为项。mdat框可以存储一个或多个项。此外，mdat框可以对帧进行编码并且将其存储为项。然而，注意，将帧编码为存储在图像项格式的mdat框中的项限于帧内编码。例如，作为用于将帧编码为项的编码方法(编解码器)，可以采用HEVC等。

图6是示出图5中的iprp框的示例的图。

iprp框存储与项的属性有关的ipco框和ipma框。ipco框存储mdat框中存储的项的属性，诸如关于作为项的图像的编解码器的编解码器信息和关于作为项的图像的大小的图像大小信息。ipma框存储mdat框中存储的项到ipco框中存储的属性的索引(指针)。

图7是示出图像序列格式的HEIF文件的格式的示例的图。

在图像序列格式的HEIF文件中，例如，ftyp框存储表示HEIF文件是图像序列格式的信息，诸如msf1。

moov框存储trak框。trak框存储关于mdat框中存储的轨道(track)的信息。

轨道包括根据时间线再现的一段独立媒体数据，诸如图像或声音。例如，轨道包括形成基本流的一个或多个图像帧。对于存储在mdat框中的轨道，可以同时再现多个轨道，诸如同时记录的图像和声音的轨道。

轨道的媒体数据由被称为样本的单位构成。样本是在访问HEIF文件中的媒体数据的情况下的最小单位(访问单位)。因此，不能以比样本小的单位访问HEIF文件中的媒体数据。

例如，对于图像媒体数据，一个帧等是一个样本。此外，例如，对于声音媒体数据，在声音媒体数据的标准中定义的一个音频帧等是一个样本。

在图像序列格式的(HEIF文件的)mdat框中，轨道的媒体数据以被称为块(chunk)的单位进行布置。块是按逻辑连续地址布置的一个或多个样本的集合。

在mdat框存储作为媒体数据的多个轨道的情况下，将多个轨道交错并且以块为单位进行布置。

如上所述，图像序列格式的mdat框存储包括图像、声音等的媒体数据的一个或多个轨道。

mdat框可以对包括在轨道中的图像帧进行编码和存储。在对存储在图像序列格式的mdat框中的轨道中包括的帧进行编码时，可以采用长图片组(GOP)作为GOP，并且可以采用帧内编码和帧间编码两者。作为用于对包括在轨道中的帧进行编码的编解码器，例如可以采用HEVC等。

图8是示出trak框的示例的图。

trak框可以存储tkhd框和mdia框。tkhd框存储轨道的头部信息，诸如由trak框管理的轨道的创建日期和时间。mdia框存储minf框等。minf框存储stbl框。stbl框存储stsd框、stsc框、stsz框和stco框，这些stsd框、stsc框、stsz框和stco框存储轨道的样本，并且因此存储用于访问块的信息。stsd框存储关于轨道的编解码器的编解码器信息。stsc框存储块大小(每个块的样本数)。stsz框存储样本大小。stco框存储块偏移量，即存储在mdat框中的轨道的每个块的布置位置的偏移量。

这里，图像项格式的HEIF文件也被称为集合文件，并且图像序列格式的HEIF文件也被称为序列文件。

在数码相机10中，可以生成HEIF文件，该HEIF文件存储主图像以及需要的屏幕截图图像和缩略图图像中的一个或两者。

<集合文件>

图9是示出存储主图像和缩略图图像的集合文件的示例的图。

这里，假设帧(项)通过HEVC被编码并且被存储在集合文件的mdat框中。

ftyp框存储heic作为用于识别文件格式的识别信息，该heic表示格式是图像项格式并且编解码器是HEVC。

iinf框存储mdat框中存储的项的数量。在图9中，mdat框存储总共四个项(帧)，包括由项ID#1标识的主图像(以下也被描述为主图像项#1)、主图像项#2、由项ID#101标识的缩略图图像(以下也被描述为缩略图图像项#101)和缩略图图像项#102。因此，项的数量为四个。注意，缩略图图像项#101是主图像项#1的缩略图图像，并且缩略图图像项#102是主图像项#2的缩略图图像。

例如，iinf框还存储用于mdat框中存储的每个项的infe框。在infe框中，注册了用于标识项的项ID和项类型。在图9中，存在主图像项#1和主图像项#2以及缩略图图像项#101和缩略图图像项#102的infe框。

例如，iref框存储thmb框作为用于将mdat框中存储的项关联起来的信息。thmb框将参考源(referrer)和参考目的地(reference)彼此相关联地存储，作为用于将主图像与主图像的缩略图图像相关联的信息。在thmb框中，参考源表示主图像的项ID，并且参考目的地表示由参考源的项ID标识的主图像的缩略图图像的项ID。因此，根据与参考源相关联的参考目的地，可以识别由参考源表示的项ID所标识的主图像的缩略图图像的项ID。此外，根据与参考目的地相关联的参考源，可以识别由参考目的地表示的项ID所指定的缩略图图像的主图像的项ID。

如图6中所述，iprp框存储ipco框和ipma框。如图6中所述，ipco框存储作为存储在mdat框中的项的帧的属性，诸如关于编解码器的编解码器信息和关于大小的图像大小信息。如图6中所述，ipma框存储mdat框中存储的项到ipco框中存储的属性的索引。

如图6中所述，iloc框存储关于mdat框中的项的存储位置的信息。在图9中，iloc框存储项的数量是4个。此外，iloc框将mdat框中存储的主图像项#1和主图像项#2以及缩略图图像项#101和缩略图图像项#102中的每一个的存储位置的偏移量和大小与项ID相关联地存储。

<序列文件>

图10是示出存储主图像的轨道和主图像的缩略图图像的轨道的序列文件的示例的图。

这里，假设帧通过HEVC被编码并且被存储在序列文件的mdat框中。

ftyp框存储hevc作为用于识别文件格式的识别信息，该hevc指示格式是图像序列格式并且编解码器是HEVC。

如图7中所述，moov框存储trak框，该trak框管理mdat框中存储的每个轨道。在图10中，mdat框存储由轨道ID#1标识的主图像的轨道(以下也被描述为轨道#1)和轨道#1的主图像的缩略图图像的轨道#2。因此，moov框存储管理轨道#1的trak框和管理轨道#2的trak框。轨道#2的(从开头开始的)第n个缩略图图像的(帧)是轨道#1的第n个主图像的缩略图图像。

例如，当由数码相机10执行连拍时，在将通过连拍获得的多个帧的主图像和缩略图图像记录为一个轨道的情况下，序列文件是有用的。

管理主图像的轨道#1的trak框的tkhd框存储标识轨道#1的轨道ID#1、包括在轨道#1中的主图像的图像大小、表示在捕获主图像时数码相机10的方向的旋转信息、以及轨道#1的创建日期和时间。管理缩略图图像的轨道#2的trak框的tkhd框存储标识轨道#2的轨道ID#2、以及轨道#2的创建日期和时间。

除了图7中描述的tkhd框和mdia框之外，trak框还可以存储tref框。tref框存储用于标识与由存储tref框的trak框所管理的轨道相关联的另一轨道的轨道ID、表示轨道的内容的信息等。在图10中，将tref框设置在管理轨道#2的trak框中。于是，tref框存储表示与轨道#2有关的另一轨道是轨道#1(轨道#ID＝1)并且轨道#2中包括的数据是缩略图图像(轨道#2是缩略图图像的轨道)(类型＝thmb)的信息。

除了图8中描述的minf框之外，trak框的mdia框还可以存储hdlr框。hdlr框存储表示包括在由存储hdlr框的trak框所管理的轨道中的数据的类型的信息。管理主图像的轨道1的trak框中(存储的mdia框中)存储的hdlr框存储表示轨道1中包括的数据是图片(帧)的信息(pict)，并且管理缩略图图像的轨道2的trak框中存储的hdlr框存储表示轨道2中包括的数据是图片的信息。

minf框如图8中所述。

<存储平铺图像(tile image)的HEIF文件>

图11是示出存储平铺图像的HEIF文件的示例的图。

这里，HEIF的一个项类型是网格(grid)。项类型为网格图像(项)的网格图像是通过平铺一个或多个平铺图像而形成的。

作为平铺图像，例如，可以采用通过分割由数码相机10等捕获的图像而获得的分割图像。

此外，作为平铺图像，可以采用由数码相机10等捕获的图像本身，并且网格图像可以包括一个或多个这样的平铺图像。例如，由多个相机捕获的多个图像可以用作平铺图像，并且网格图像可以包括这样的多个平铺图像。

下文中，为了简化描述，除非另有规定，否则采用通过分割由数码相机10等捕获的图像而获得的分割图像作为平铺图像。

对于项类型为“网格”的网格图像，将形成网格图像的(一个或多个)平铺图像中的每一个作为项存储在HEIF文件中。

注意，对于网格图像，网格图像本身不存储在HEIF文件中，但是形成网格图像的平铺图像存储在HEIF文件中。然而，注意，在本说明书中，为了方便起见，存储平铺图像的HEIF文件也被称为存储包括平铺图像的网格图像的HEIF文件。

图11示出存储网格图像(形成网格图像的平铺图像)的HEIF文件的示例。

在图11的HEIF文件中，例如，将通过将由数码相机10捕获的图像(以下也被称为捕获图像)分割为3×3(水平×垂直)个图像而获得的九个图像存储为平铺图像项1至项9，并且将平铺图像项1至项9作为项存储在mdat框中。

在图11中，虽然存储在mdat框中的项是平铺图像项1至项9的九个项，但是iinf框和iloc框中的项的数量是10个。这是因为除了平铺图像项#1至项#9的九个项之外，还将包括平铺图像项#1至项#9的网格图像(重建图像)计为项。在图11中，网格图像的项ID是10，并且为了便于描述，网格图像也被称为网格图像项#10。

对于网格图像项#10，媒体数据不是存储在mdat框中，而是在元框中存储idat框。idat框存储网格图像的元数据，诸如水平方向上的平铺(tile)数量、垂直方向上的平铺数量、output_width(输出宽度)和output_height(输出高度)。

水平方向上的平铺数量和垂直方向上的平铺数量分别表示栅格图像项#10中包括的平铺图像#1到#9在水平方向和垂直方向上的数量。

这里，output_width(输出宽度)和output_height(输出高度)表示画布的水平和垂直大小(像素数)，该画布是形成网格图像的平铺图像被平铺(布置)的图像区域。假设平铺图像的水平和垂直方向上的像素数被表示为tile_width(平铺宽度)和tile_height(平铺高度)，tile_width(平铺宽度)×水平方向上的平铺数量需要为output_width(输出宽度)或更大，并且tile_height(平铺高度)×垂直方向上的平铺数量需要为output_height(输出高度)或更大。

此外，对于网格图像项#10，iloc框存储关于网格图像项#10的存储位置的信息(偏移量和大小)，并且该信息表示网格图像项#10的idat框的存储位置。

与平铺图像项#1至项#9和平铺图像项#10这10个项的存储相应地，图11的HEIF文件包括10个infe框，该平铺图像项#10包括平铺图像项#1至项#9。如参考图9所述，infe框存储(登记)标识项和项类型的项ID。网格图像项#10的infe框将表示网格项的网格存储为网格图像项#10的项类型。项类型为网格的项(本示例中为网格图像项#10)被称为网格项。

在存储网格项的HEIF文件中，iref框存储dimg框。dimg框存储将网格项与网格项中包括的平铺图像相关联的信息。例如，dimg框将平铺图像的项ID存储为参考目的地，并且将包括平铺图像的网格图像的项ID存储为参考源。在图11中，平铺图像项#1至项#9的项ID#1至#9被存储为参考目的地，并且网格图像项#10的项ID#10被存储为参考源。此外，dimg框存储参考计数器，该参考计数器表示网格图像中包括的平铺图像的数量。

对于如上所述的HEIF文件，文件控制单元43可以根据存储在网格图像项#10的infe框中的项类型网格来识别网格图像项#10是包括一个或多个平铺图像的网格项(重构图像)。此外，文件控制单元43可以根据存储在dimg框中的参考源和参考目的地来识别包括平铺图像的网格图像项#10的项ID#10以及用于形成网格图像项#10的平铺图像项#1至项#9的项ID#1至项#9。此外，文件控制单元43可以根据水平方向上的平铺数量和垂直方向上的平铺数量以及存储在idat框中的output_width(输出宽度)和output_height(输出高度)，识别网格图像#10中包括的水平方向和垂直方向上的平铺图像#1至#9的数量、以及在形成网格图像#10时布置平铺图像#1至#9的画布的水平方向和垂直方向上的大小。

通过根据从dimg框识别的项ID#1至#9的平铺图像项#1至项#9，将从idat框识别的水平方向和垂直方向上的数量的平铺图像布置在具有从idat框识别的大小的画布上，文件控制单元43可以形成从dimg框识别的项ID#10的网格图像项#10。

<具有修复功能的HEIF文件>

例如，HEIF文件可以存储作为多个静止图像(诸如通过连续拍摄而捕获的图像)的图像(主图像)。在HEIF文件存储多个图像的情况下，用于将HEIF文件写入(记录)到介质14中所需的写入时间随着图像数量的增加而增加。例如，这里提到的多个图像不是指具有相同内容的多个图像(诸如主图像和缩略图图像)，而是指分别捕获的多个图像(诸如通过连续拍摄而捕获的图像)。

在写入时间较长的情况下，由于在将HEIF文件写入到介质14中期间发生意外事件，生成异常HEIF文件的可能性很高，即不具有作为HEIF文件的格式的文件。这里，例如，在写入到介质14中期间的意外事件是由用户移除介质14、由移除电池或移除插头导致的电源中断等。

在此背景下，文件控制单元43可以生成具有修复功能的HEIF文件，该HEIF文件是具有将异常HEIF文件修复为正常HEIF文件(即具有作为HEIF文件的格式的文件)的功能的HEIF文件。

具有修复功能的HEIF文件将用于修复HEIF文件的修复数据与图像一起存储，该修复数据用来生成(修复)用于图像的再现、管理等的存储在元(meta)框中的元数据(以下也被称为管理元数据)。

在图12中，生成具有修复功能的HEIF文件，该HEIF文件存储三个图像和每个图像的修复数据，即用于生成三个图像中的每个图像的图像管理元数据的修复数据。此外，在图12中的具有修复功能的HEIF文件中，图像修复数据被布置在紧接在图像之前。即，紧接在修复数据之后，布置了管理元数据是使用修复数据来修复(生成)的图像。

在由于在将具有修复功能的HEIF文件写入到介质14中期间发生意外事件而生成具有修复功能的异常HEIF文件的情况下，文件控制单元43使用修复数据将具有修复功能的异常HEIF文件修复为(具有修复功能的)正常HEIF文件。

即，文件控制单元43使用与存储在具有修复功能的异常HEIF文件中的正常写入图像相对应的修复数据来生成管理元数据。此外，文件控制单元43生成在元(meta)框中存储管理元数据的正常HEIF文件。

因此，在将具有修复功能的HEIF文件写入到介质14中的过程中，在发生诸如移除介质14或由移除电池等导致的异常电源中断之类的意外事件的情况下，可以减少用户丢失的图像的数量。

图13是示出使用修复数据来修复(具有修复功能的)异常HEIF文件的概要的图。

图13示出了在如下情况下修复HEIF文件的示例：在写入临时数据元(meta)框之后，然后在mdat框中写入第一图像的修复数据、第一图像、第二图像的修复数据、第二图像和第三图像的修复数据，在第三图像的写入途中发生诸如移除介质14之类的意外事件。这里，临时数据元(meta)框是指固定长度(固定大小)的元(meta)框，其中，写入了在写入元(meta)框时确认的元数据(以下也被称为已确认元数据)，并且对于未确认的元数据确保了用于写入元数据的区域。这同样适用于元(meta)框以外的框。

在图13中，在第三图像的写入途中发生意外事件。因此，图13中的具有修复功能的HEIF文件是异常HEIF文件，其中，第一图像和第二图像以及第一图像和第二图像的修复数据被正常(完全)写入，而第三图像没有被完全写入，并且元(meta)框是临时数据。

在如上所述的异常HEIF文件的修复中，文件控制单元43删除(截断)已经被部分写入的第三图像。此外，文件控制单元43通过使用已经被正常写入的第一图像和第二图像的修复数据以及存储在临时数据元(meta)框中的元数据来生成正常HEIF文件所需的除已确认元数据以外的元数据，并且生成存储元数据和已确认元数据的正常元(meat)框。然后，文件控制单元43将正常元(meta)框代替临时数据元(meta)框写入到HEIF文件中，从而生成正常HEIF文件(修复异常HEIF文件)。

注意，虽然本说明书描述了采用图像项格式的HEIF文件作为具有修复功能的HEIF文件的情况，但是也可以采用图像序列格式的HEIF文件作为具有修复功能的HEIF文件。当采用图像序列格式的HEIF文件作为具有修复功能的HEIF文件时，存储mdat框中所存储的数据的元数据的元(meta)框是moov框。

<生成具有修复功能的HEIF文件>

注意，数码相机10可以对于一次成像生成作为主图像、屏幕截图图像和缩略图图像的三个图像，并且生成HEIF文件，该HEIF文件将这三个图像(主图像、屏幕截图图像和缩略图图像)以及作为这三个图像的(成像的)元数据的EXIF和XMP作为与一个主图像相关联的图像相关数据共同地存储。

然而，注意，在图14中，为了简化描述，生成将主图像以及EXIF和XMP作为与一个主图像相关联的图像相关数据共同地存储的HEIF文件。

在步骤S111中，文件控制单元43将表示成像次数的变量capnum设定为捕获要存储在一个(具有修复功能的)HEIF文件中的主图像的次数。例如，在用户仅操作一次释放按钮(未示出)以执行一次成像的情况下，将变量capnum设定为1。此外，例如，在用户执行连续拍摄的情况下，将变量capnum设定为通过连续拍摄而执行的成像次数。

此外，在步骤S111中，文件控制单元43将用于对要存储在HEIF文件中的主图像的数量进行计数的变量n设定为作为初始值的1，并且处理进行到步骤S112。

在步骤S112中，文件控制单元43将第n个主图像(通过第n次成像而生成的主图像)和成像信息存储在图像存储器(未示出)中，并且将编解码器信息存储在元(meta)存储器(未示出)中，以及处理进行到步骤S113。这里，成像信息是用于生成EXIF和XMP的与主图像(的成像)有关的信息，诸如在捕获主图像时的F值、焦距、成像日期和时间等。编解码器信息是与主图像等的编解码器有关的信息，并且例如是诸如序列参数集(SPS)、图片参数集(PPS)或视频参数集(VPS)之类的信息。编解码器信息用来生成正常元(meta)框。

在步骤S113中，文件控制单元43使编码控制单元42对第n个主图像进行编码，并且处理进行到步骤S114。

在步骤S114中，文件控制单元43生成第n个主图像的修复数据，即用于修复第n个主图像的元数据(管理元数据)的修复数据，并且处理进行到步骤S115。

在步骤S115中，文件控制单元43通过使用第n个主图像的成像信息来生成第n个主图像的EXIF和XMP，并且处理进行到步骤S116。

在步骤S116中，文件控制单元43确定变量n是否为1。

如果在步骤S116中确定变量n为1，即，如果是在第一主图像的图像相关数据被写入到介质14中之前，则处理进行到步骤S117。

在步骤S117中，文件控制单元43生成临时数据ftyp框和元(meta)框。此外，在步骤S117中，文件控制单元43控制介质控制单元44以这样的方式将临时数据ftyp框和元(meta)框写入到介质14中，以使得ftyp框和元(meta)框从HEIF文件的开头开始依次布置，并且处理进行到步骤S118。

在步骤S118中，文件控制单元43以这样的方式将第n个主图像的EXIF和XMP写入到介质14中，以使得在紧接在刚刚之前写入到HEIF文件的mdat框中的数据之后布置EXIF和XMP，并且处理进行到步骤S119。注意，第一主图像的EXIF和XMP以这样的方式被写入，以使得从在紧接在刚刚之前写入的临时数据ftyp框和元(meta)框之后的mdat框的开头开始布置EXIF和XMP。

在步骤S119中，文件控制单元43将第n个主图像的修复数据写入到介质14中，以使得修复数据被布置在紧接在刚刚之前写入到HEIF文件的mdat框中的第n个主图像的EXIF和XMP之后，并且处理进行到步骤S120。

在步骤S120中，文件控制单元43将第n个主图像写入到介质14中，以使得主图像被布置在紧接在刚刚之前写入到HEIF文件的mdat框中的第n个主图像的修复数据之后，并且处理进行到步骤S121。

在步骤S121中，文件控制单元43将变量n递增1，并且处理进行到步骤S122。

在步骤S122中，文件控制单元43确定变量n是否小于或等于(表示)成像次数的(变量)capnum。

如果在步骤S122中确定变量n小于或等于成像次数capnum，即，如果没有将通过执行成像达成像次数capnum而捕获的所有主图像都写入到介质14中，则处理返回到步骤S112。此后，重复类似的处理。

此外，如果在步骤S122中确定变量n不是小于或等于成像次数capnum，即，如果通过执行成像达成像次数capnum而捕获的所有主图像都已写入到介质14中，则处理进行到步骤S123。

在步骤S123中，文件控制单元43通过使用元(meta)存储器的存储内容，对于包括正常写入到介质14中的主图像的图像相关数据生成正常ftyp框和元(meta)框，并且处理进行到步骤S124。

在步骤S124中，文件控制单元43利用正常ftyp框和元(meta)框来重写(overwrite)写入到介质14中的临时数据ftyp框和元(meta)框。结果，文件控制单元43生成存储(包括)正常ftyp框和元(meta)框以及正常图像相关数据(的mdat框)的、具有修复功能的HEIF文件，并且结束处理。

注意，虽然图14中的HEIF文件具有按照EXIF、XMP和主图像的顺序布置的作为图像相关数据的主图像、EXIF和XMP，但是主图像、EXIF和XMP的布置顺序不限于此。

此外，尽管图14中的HEIF文件具有布置在紧接在主图像之前的主图像的修复数据(布置在紧接在主图像的修复数据之后的主图像)，但是主图像和主图像的修复数据之间的布置关系不限于此。例如，对于修复数据和作为图像相关数据的主图像、EXIF和XMP，可以首先布置修复数据，然后可以按照EXIF、XMP和主图像的顺序布置作为图像相关数据的主图像、EXIF和XMP。注意，在修复数据布置在紧接在主图像之前的情况下，如果可以检测到修复数据，则可以容易地检测到紧接在修复数据之后的主图像的开头。

如上所述，这里，为了简化描述，将主图像以及EXIF和XMP设定为与一个主图像相关联的图像相关数据。然而，注意，作为与一个主图像相关联的图像相关数据，可以采用主图像和与主图像相关联的相关图像，即具有与主图像相同的内容且具有较少数量的像素的屏幕截图图像和缩略图图像、以及作为主图像的元数据的EXIF和XMP等。在这种情况下，对于每个图像生成修复数据。即，生成主图像、屏幕截图图像和缩略图图像中的每一个的修复数据。

此外，在这种情况下，例如，作为图像相关数据和修复数据的布置顺序，可以采用EXIF、缩略图图像的修复数据、缩略图图像、主图像的修复数据、主图像、屏幕截图图像的修复数据、屏幕截图图像和XMP的顺序。此外，例如，可以采用这样的布置顺序，其中首先共同地布置主图像、屏幕截图图像和缩略图图像中的每一个的修复数据，然后布置图像相关数据。

<修复具有修复功能的HEIF文件>

图15是示出具有修复功能的异常HEIF文件的示例的图。

注意，在图15中，为了简化描述，仅将图像和图像的修复数据按照修复数据和图像的顺序布置在mdat框中，而不考虑ftyp框。这同样适用于稍后描述的图16至图19。

在图15中，写入临时数据元(meta)框，此后，将第一图像的修复数据、第一图像、第二图像的修复数据、第二图像和第三图像的修复数据依次写入到mdat框中。然后，在第三图像的修复数据之后，在将第三图像写入到mdat框中期间，发生意外事件，诸如从数码相机10中移除其中写入具有修复功能的HEIF文件的介质14，从而在第三图像的写入途中中断写入，并且生成具有修复功能的异常HEIF文件。

当其中记录了具有修复功能的异常HEIF文件的介质14被再次安装到数码相机10并且检测到具有修复功能的异常HEIF文件时，数码相机10开始修复具有修复功能的异常HEIF文件的修复处理。

在修复处理中，首先，检测写入被中断的中断部分。

在检测中断部分时，文件控制单元43从具有修复功能的异常HEIF文件的元(meta)框的开头搜索作为临时数据元(meta)框的大小的固定长度(例如，将期望的读取/写入位置设定为作为表示文件的读取/写入位置的变量的文件指针)。由于搜索后的位置是第一图像的修复数据的开头位置，因此文件控制单元43从搜索后的位置读取第一图像的修复数据。

注意，在生成具有修复功能的HEIF文件时，例如，在将EXIF布置在修复数据之前的情况下，根据EXIF的大小执行额外的搜索。在这种情况下，将EXIF的大小假设为固定长度。

此外，在生成具有修复功能的HEIF文件时，在由于在写入修复数据期间发生意外事件并且未写入正常的修复数据而无法读取修复数据的情况下，修复目标是从布置在mdat框的开头的图像到布置在紧接在无法读取的修复数据之前的图像(的管理元数据)。

在可以读取第一图像的修复数据的(开头部分)的情况下，文件控制单元43使用第一图像的修复数据来识别第一图像的修复数据的大小和后续的第一图像的大小。

修复数据在其开头部分具有表示修复数据的大小的recovery_data_size(恢复数据大小)字段和表示修复数据之后的图像的大小的image_size(图像大小)字段。文件控制单元43从第一图像的修复数据的recovery_data_size(恢复数据大小)字段和image_size(图像大小)字段识别第一图像的修复数据的大小和第一图像的大小。

文件控制单元43根据通过组合第一图像的修复数据的大小和第一图像的大小而获得的大小进行搜索。由于搜索后的位置是第二图像的修复数据的开头位置，因此文件控制单元43从搜索后的位置读取第二图像的修复数据。

与第一图像的修复数据类似，文件控制单元43使用第二图像的修复数据来识别第二图像的修复数据的大小和后续的第二图像的大小。

文件控制单元43根据通过组合第二图像的修复数据的大小和第二图像的大小而获得的大小进行搜索。由于搜索后的位置是第三图像的修复数据的开头位置，因此文件控制单元43从查找后的位置读取第三图像的修复数据。

与第一图像的修复数据类似，文件控制单元43使用第三图像的修复数据来识别第三图像的修复数据的大小和后续的第三图像的大小。

文件控制单元43根据通过组合第三图像的修复数据的大小和第三图像的大小而获得的大小进行搜索。

在具有正常修复功能的HEIF文件的情况下，搜索后的位置是第四图像的修复数据的开头位置(或具有修复功能的HEIF文件的末尾)。然而，在图15中，由于在第三图像的中途中断了写入，因此不可能搜索到第四图像的修复数据的开头位置，并且搜索失败。

文件控制单元43检测到：由于根据通过组合第三图像的修复数据的大小和第三图像的大小而获得的大小进行搜索的失败，所以第三图像(的位置)是写入被中断的中断部分。

图16是示出在检测到中断部分之后的修复处理的示例的图。

当检测到中断部分时，文件控制单元43从具有修复功能的HEIF文件的mdat框中删除中断部分的图像和该图像的修复数据。

结果，具有修复功能的HEIF文件的mdat框处于仅存储正常写入的数据的状态，在本示例中，该状态是存储在中断部分之前写入的第一图像和第二图像以及第一图像和第二图像的修复数据的状态。

注意，在中断部分不是第三图像而是例如在写入第三图像之前的第三图像的修复数据的情况下，仅删除第三图像的修复数据。

此外，例如，在采用主图像、屏幕截图图像、缩略图图像、EXIF和XMP作为与一个主图像相关联的图像相关数据并且将主图像、屏幕截图图像和缩略图图像中的每一个的修复数据与图像相关数据一起写入的情况下，当图像相关数据和修复数据中的任何一个被检测为中断部分时，可以删除包括中断部分的所有图像相关数据和修复数据。在这种情况下，例如，当缩略图图像被检测为中断部分或EXIF被检测为中断部分时，删除包括缩略图图像或EXIF的所有图像相关数据和修复数据。

此外，在图像相关数据和修复数据按照例如EXIF、缩略图图像的修复数据、缩略图图像、主图像的修复数据、主图像、屏幕截图图像的修复数据、屏幕截图图像和XMP的顺序布置的情况下，例如，当屏幕截图图像被检测为中断部分时，只有屏幕截图图像和布置在紧接在屏幕截图图像之前的屏幕截图图像的修复数据被删除，并且布置在屏幕截图图像的修复数据之前的EXIF、缩略图图像的修复数据、缩略图图像、主图像的修复数据和主图像可以原样保留。

当删除中断部分的图像和该图像的修复数据时，文件控制单元43使用删除后的具有修复功能的HEIF文件中正常写入的图像的修复数据，生成(修复)存储图像的管理元数据的正常元(meta)框。

即，文件控制单元43通过使用已经正常写入的第一图像和第二图像的修复数据以及存储在临时数据元(meta)框中的元数据来生成正常HEIF文件所需的除已确认元数据以外的管理元数据，并且通过将管理元数据和已确认元数据写入到元(meta)存储器中来生成正常元(meta)框。

当生成正常元(meta)框时，文件控制单元43搜索具有修复功能的HEIF文件的临时数据元(meta)框的开头位置，并且从搜索后的位置利用元(meta)存储器的正常元(meta)框来重写。结果，文件控制单元43生成(具有修复功能的)正常HEIF文件(修复异常HEIF文件)。

图19是示出修复处理的示例的流程图。

例如，当从介质14中记录的具有修复功能的HEIF文件中检测到具有修复功能的异常HEIF文件时，文件控制单元43开始修复处理。例如，可以通过在元(meta)框中设置表示HEIF文件是具有修复功能的HEIF文件的新字段或框来确定HEIF文件是否是具有修复功能的HEIF文件，并且可以根据该新字段或框进行该确定。

在修复处理时，在步骤S141中，文件控制单元43打开记录在介质14中的具有修复功能的异常HEIF文件(例如，生成用于访问HEIF文件的文件指针)。此外，文件控制单元43从所打开的具有修复功能的异常HEIF文件的元(meta)框的开头开始搜索作为临时数据元(meta)框的大小的固定长度，并且处理从步骤S141进行到步骤S142。

在步骤S142中，文件控制单元43从搜索后的位置、即修复数据的开头位置读取修复数据，并且处理进行到步骤S143。

这里，在修复数据中，表示修复数据的大小的recovery_data_size(恢复数据大小)字段被布置在固定位置，例如在修复数据的开头部分。在读取修复数据时，可以从recovery_data_size(恢复数据大小)字段中识别修复数据的大小。

在步骤S143中，文件控制单元43确定修复数据是否已被成功读取。

如果在步骤S143中确定修复数据的读取没有成功，即，如果由于在写入修复数据期间发生了意外事件、没有正常(完全)写入修复数据并且写入了异常修复数据而无法读取修复数据，则文件控制单元43将异常修复数据的位置检测为写入被中断的中断部分，并且处理进行到步骤S147。

此外，如果在步骤S143中确定修复数据的读取成功，则处理进行到步骤S144。

在步骤S144中，文件控制单元43将在刚刚前一步骤S142中读取的修复数据(以下也被称为最新修复数据)存储在元(meta)存储器中，并且处理进行到步骤S145。

在步骤S145中，文件控制单元43从存储在元(meta)存储器中的最新修复数据中获取recovery_data_size(恢复数据大小)字段和image_size(图像大小)字段。此外，文件控制单元43根据recovery_data_size(恢复数据大小)和image_size(图像大小)识别具有修复功能的异常HEIF文件中的最新修复数据的大小和紧接在最新修复数据之后布置的图像的大小。然后，文件控制单元43(从具有修复功能的HEIF文件的最新修复数据的开头开始)搜索通过组合最新修复数据的大小和紧接在最新修复数据之后布置的图像的大小而获得的大小，并且处理从步骤S145进行到步骤S146。

在步骤S146中，文件控制单元43确定在刚刚前一步骤S145中执行的搜索是否成功。

如果在步骤S146中确定搜索成功，即，如果通过搜索达到了紧接在最新修复数据之后布置的图像之后紧接着布置的修复数据的开头，则处理返回到步骤S142。在步骤S142中，如上所述，文件控制单元43从搜索后的位置、即修复数据的开头位置读取修复数据，并且此后，重复类似的处理。

另一方面，如果在步骤S146中确定搜索失败，即，如果在写入紧接在最新修复数据之后布置的图像期间发生意外事件，并且图像的写入被中断，则文件控制单元43将写入被中断并且在搜索中失败的图像的位置检测为中断部分，并且处理进行到步骤S147。

在步骤S147中，文件控制单元43从具有修复功能的HEIF文件中删除中断部分的图像和修复数据，并且处理进行到步骤S148。

即，在步骤S147中，如果中断部分是修复数据的位置，则删除修复数据。此外，如果中断部分是图像的位置，则删除图像和紧接在该图像之前布置的修复数据。

在步骤S148中，文件控制单元43通过使用存储在元(meta)存储器中的修复数据、即正常写入到具有修复功能的HEIF文件中的修复数据和存储在临时数据元(meta)框中的需要的管理元数据，生成正常HEIF文件所需的除已确认元数据以外的管理元数据，并且通过将管理元数据和已确认元数据写入到元(meta)存储器中，生成正常元(meta)框。

此后，处理从步骤S148进行到步骤S149，文件控制单元43搜索具有修复功能的HEIF文件的临时数据元(meta)框的开头位置，并且处理进行到步骤S150。在步骤S150中，文件控制单元43通过从搜索后的位置重写元(meta)存储器中的正常元(meta)框来修复具有修复功能的HEIF文件(生成具有正常修复功能的HEIF文件)，并且结束修复处理。

<修复数据的示例>

图20是示出修复数据的具体示例的图。

例如，如图20中所示，通过将字段recovery_data_size(恢复数据大小)、image_size(图像大小)、next_image_exist(存在下一个图像)、info_type(信息类型)、target_size_x(目标大小x)、target_size_y(目标大小y)、num_of_grid_x(网格数量x)、num_of_grid_y(网格数量y)、grid_width(网格宽度)、grid_height(网格高度)、grid_list(网格列表)、capture_gamma(捕获伽马)、colormetory(色度)和hvcc_info(hvcc信息)依次布置来配置修复数据。

recovery_data_size(恢复数据大小)字段以字节为单位表示具有recovery_data_size(恢复数据大小)字段的修复数据的大小(数据量)。

image_size(图像大小)字段以字节为单位表示紧接在具有recovery_data_size(恢复数据大小)字段的修复数据之后布置的图像的大小(数据量)。

next_image_exist(存在下一个图像)字段表示在紧接在具有recovery_data_size(恢复数据大小)字段的修复数据之后布置的图像之后是否存在下一个图像(和该图像的修复数据)。在存在下一个图像的情况下，将next_image_exist字段设定为0和1中的一个，例如1；以及在不存在下一个图像的情况下，将next_image_exist字段设定为另一个，即0。

info_type(信息类型)字段表示紧接在具有recovery_data_size(恢复数据大小)字段的修复数据之后布置的图像的图片类型(信息类型)。

target_size_x(目标大小x)字段和target_size_y(目标大小y)字段分别表示紧接在具有target_size_x(目标大小x)字段和target_size_y(目标大小y)字段的修复数据之后布置的图像的垂直和水平大小(像素数)。

在紧接在具有num_grid_x(网格数量x)字段和num_grid_y(网格数量y)字段的修复数据之后布置的图像是(形成)作为网格项的网格图像(的平铺图像)的情况下，num_grid_x(网格数量x)字段和num_grid_y(网格数量y)字段分别表示网格图像的垂直方向和水平方向上的分割数量，即，网格图像中包括的垂直方向和水平方向上的平铺图像数量。

在紧接在具有grid_width(网格宽度)字段和grid_height(网格高度)字段的修复数据之后布置的图像是网格图像的情况下，grid_width(网格宽度)字段和grid_height(网格高度)字段分别表示网格图像中包括的平铺图像的垂直和水平大小(像素数)。

grid_list(网格列表)字段表示稍后将描述的关于紧接在具有grid_list(网格列表)字段的修复数据之后布置的图像的网格信息。

capture_gamma(捕获伽马)字段表示关于紧接在具有capture_gamma(捕获伽马)字段的修复数据之后布置的图像的伽马的伽马信息。

色度字段表示关于紧接在具有色度字段的修复数据之后布置的图像的色度的色度信息。

hvcc_info(hvcc信息)字段是关于紧接在具有hvcc_info(hvcc信息)字段的修复数据之后布置的图像的hvcc信息，并且表示不包括SPS、PPS、VPS等的hvcc信息。

图21是示出作为修复数据中的网格信息的grid_list(网格列表)字段的具体示例的图。

例如，如图21中所示，通过将字段param_addr(参数地址)、param_size(参数大小)、data_addr(数据地址)、data_size(数据大小)、total_vps_size(全部vps大小)、num_vps(vps数量)、vps_id、total_sps_size(全部sps大小)、num_sps(sps数量)、sps_id、total_pps_size(全部pps大小)、num_pps(pps数量)和pps_id依次布置来配置grid_list(网格列表)字段。

param_addr(参数地址)字段和param_size(参数大小)字段分别表示作为关于图像的参数的VPS、SPS和PPS的地址和大小(数据量)。

data_addr(数据地址)字段和data_size(数据大小)字段分别表示与图像有关的基本流(Elementary Stream，ES)的地址和大小(数据量)。

total_vps_size(全部vps大小)字段、num_vps(vps数量)字段和vps_id字段分别表示VPS的大小(数据量)、数量和ID(网络抽象层(NAL)单元的ID)。

total_sps_size(全部sps大小)字段、num_sps(sps数量)字段和sps_id字段分别表示SPS的大小(数据量)、数量和ID(NAL单元的ID)。

total_pps_size字段、num_pps字段和pps_id字段分别表示PPS的大小(数据量)、数量和ID(NAL单元的ID)。

虽然VPS、SPS和PPS的数量在图像项格式的HEIF文件中是一个，但是VPS、SPS和PPS的数量在图像序列格式的HEIF文件中可以是多个。

这里，使用修复数据(的字段)来生成(修复)管理元数据也被表示为生成(修复)存储管理数据的框。

可以通过使用修复数据生成的元(meta)框中存储的框的示例包括pitm框、infe框、dimg框、thmb框、colr框、hvcc框、ipse框、idat框和iloc框。

注意，在元(meta)框中存储的框当中，iinf框、iprp框、ipco框和impa框是存储已确认元数据的框、或者存储可以根据其他框生成的管理元数据的框，并且可以在没有修复数据的情况下生成。

可以使用grid_width(网格宽度)字段和grid_height(网格高度)字段来生成(存储在)pitm框(中的管理元数据)。

可以使用num_of_grid_x(网格数量x)字段和num_of_grid_y(网格数量y)字段来生成infe框和dimg框。

可以使用target_size_x(目标大小x)字段和target_size_y(目标大小y)字段来生成thum框。

可以使用capture_gamma(捕获伽马)字段和colometory(色度)字段来生成colr框。

可以使用grid_list(网格列表)字段和hvcc_info(hvcc信息)字段来生成hvcc框。

可以使用target_size_x(目标大小x)字段和target_size_y(目标大小y)字段来生成ipse框。

可以使用num_of_grid_x(网格数量x)字段、num_of_grid_y(网格数量y)字段、grid_width(网格宽度)字段、grid_height(网格高度)字段和grid_list(网格列表)字段来生成idat框。

可以使用grid_list(网格列表)字段来生成iloc框。

注意，尽管mdat框不是元(meta)框中存储的框，但是可以使用grid_list(网格列表)字段来生成mdat框中的在删除中断部分的修复数据之后的数据的大小(数据量)、或在删除中断部分的图像和该图像的修复数据之后的数据的大小(数据量)。

注意，图23还示出了在修复处理中生成除使用修复数据生成的框以外的包括在具有修复功能的HEIF文件中的框的方法。

此外，在图23中，相关字段表示用来生成(存储在)框(中的管理元数据)的修复数据的字段。

此外，在图23中，采用主图像、屏幕截图图像、缩略图图像、EXIF和XMP作为与一个主图像相关联的图像相关数据，并且采用EXIF、缩略图图像的修复数据、缩略图图像、主图像的修复数据、主图像、屏幕截图图像的修复数据、屏幕截图图像和XMP的顺序作为mdat框中的图像相关数据和修复数据的布置顺序。

具有修复功能的HEIF文件具有ftyp框、元(meta)框和mdat框。

元(meta)框可以存储hdlr框、pitm框、iinf框、iref框、iprp框、idat框和iloc框。

iinf框可以存储infe框。

iref框可以存储dimg框、thum框和cdsc框。

iprp框可以存储ipco框和ipma框。可以存储在iprp框中的ipco框可以存储colr框、hvcc框、ispe框和irot框。

可以使用(预定的)固定值来生成ftyp框。

可以通过获取存储在元(meta)框中的每个框的大小(数据量)并且使用该大小来生成元(meta)框。

可以使用固定值来生成hdlr框。

在紧接在修复数据之后布置的图像不是网格图像的情况下，可以通过将主项的项ID设定为1并且使用主项的项ID来生成pitm框。此外，在紧接在修复数据之后布置的图像是网格图像(中包括的平铺图像)的情况下，可以通过如下方式来生成pitm框：使用修复数据的num_grid_x(网格数量x)字段和num_grid_y(网格数量y)字段、根据表达式num_of_grid_x×num_of_grid_y+1来获得主项的项ID，并且使用主项的项ID。

可以通过如下方式来生成iinf框：获取iprp中存储的每个框的大小(数据量)和infe框的数量(总数量)，并且使用该大小和该数量。注意，iinf框存储mdat框中存储的项的数量，并且对于图像相关数据，如下地计算项的数量。例如，在采用主图像、EXIF和XMP作为与一个主图像相关联的图像相关数据的情况下，一个图像相关数据的项的数量是三个，即主图像、EXIF和XMP。此外，例如，在采用主图像、屏幕截图图像、缩略图图像、EXIF和XMP作为与一个主图像相关联的图像相关数据的情况下，一个图像相关数据的项的数量是五个，即主图像、屏幕截图图像、缩略图图像、EXIF和XMP。例如，在采用主图像、屏幕截图图像、缩略图图像、EXIF和XMP作为与一个主图像相关联的图像相关数据，并且mdat框存储两个主图像的图像相关数据的情况下，iinf框中存储的项的数量为10(＝5×2)个。

可以通过如下方式来生成infe框：使用修复数据的num_of_grid_x(网格数量x)字段和num_of_grid_y(网格数量y)字段来获得网格图像中包括的平铺图像数量(网格组件数量)num_of_grid_x×num_of_grid_y，并且使用通过将以下数量与平铺图像数量num_of_x×num_of_grid_y相加而获得的加法值：作为与一个主图像相关联的图像相关数据的主图像、屏幕截图图像、缩略图图像、EXIF和XMP当中除主图像以外的组件的数量，即四个，其是表示屏幕截图图像(SCN)、缩略图图像(thumb)、EXIF和XMP的数量。

可以通过获取iref中存储的每个框的大小(数据量)并且使用该大小来生成iref框。

可以通过如下方式来生成dimg框：使用修复数据的num_of_grid_x(网格数量x)字段和num_of_grid_y(网格数量y)字段来获得网格图像中包括的平铺图像数量(网格组件数量)num_of_grid_x×num_of_grid_y，并且使用该数量num_of_grid_x×num_of_grid_y。

可以通过如下方式来生成thmb框：对于屏幕截图图像(SCN)和缩略图图像(thumb)中的每一个，使用修复数据的target_size_x(目标大小x)字段和taget_size_y(目标大小y)字段来获得其中target_size_x(目标大小x)和taget_size_y(目标大小y)是屏幕截图图像或缩略图图像的大小(像素数)的项(图像)的项ID作为屏幕截图图像或缩略图图像的项ID，并且使用该项ID。

这里，由于确定了图像相关数据和修复数据的布置顺序，因此可以通过如下方式来生成cdsc框：基于图像相关数据中的具有缩略图图像的大小(像素数)的项(图像)的项ID来获得EXIF和XMP的项ID，并且使用EXIF和XMP的项ID。

可以通过获取iprp框中存储的每个框的大小并且使用该大小来生成iprp框。

可以通过获取ipco框中存储的每个框的大小并且使用该大小来生成ipco框。

可以使用修复数据的capture_gamma(捕获伽马)字段和colormetory(色度)字段来生成colr框。

可以使用修复数据的hvcc_info(hvcc信息)字段和grid_list(网格列表)字段来生成hvcc框。

可以使用修复数据的target_size_x(目标大小x)字段和taget_size_y(目标大小y)字段来生成ispe框。

可以使用固定值来生成irot框。

可以通过以下方式来生成ipma框：例如，以预定顺序固定每个项的infe框的顺序，使得每个项的infe框可以与ipco中的每个属性相关联，并且使用infe框和与infe框相关联的ipco框中的每个属性。

这里，通过固定每个项的infe框的顺序，infe框可以与ipco中的对应于infe框的项的属性相关联。

例如，假设按照作为项ID为1的项的主图像、作为项ID为2的项的屏幕截图图像、作为项ID为3的项的缩略图图像、EXIF和XMP(的infe框)的顺序来固定infe框的顺序。

此外，假设ipco框将对于主图像、屏幕截图图像和缩略图图像共同的信息、主图像的编解码器信息、主图像的图像大小信息、屏幕截图图像的编解码器信息、屏幕截图图像的图像大小信息、缩略图图像的编解码器信息、以及缩略图图像的图像大小信息作为属性依次存储。

在这种情况下，项ID为1的主图像的属性是ipco框中的第一属性、第二属性和第三属性。项ID为2的屏幕截图图像的属性是ipco框中的第一属性、第四属性和第五属性。项ID为3的缩略图图像的属性是ipco框中的第一属性、第六属性和第七属性。

因此，infe框可以与对应于infe框的项的属性相关联。

然后，可以使用infe框和与infe框关联的属性(与infe框相对应的项的属性)来生成ipma框，该ipma框存储有到ipco框中的每个项的属性的索引。

注意，HEIF标准规范描述了：

·在infe框中描述了项的类型和ID，

·编解码器信息(hvcc)和图像大小(ipse)信息位于ipco框中，并且

·在ipma框中指定了与ID相关联的属性。

可以使用修复数据的grid_list(网格列表)字段、grid_width(网格宽度)字段、grid_height(网格高度)字段、num_of_grid_x(网格数量x)字段和num_of_grid_y(网格数量y)字段来生成idat框。

可以使用修复数据的grid_list(网格列表)字段来生成iloc框。

注意，如图22中所述，可以使用grid_list(网格列表)字段来生成mdat框中(实际使用)的数据的大小。

<应用现有技术的计算机的说明>

接下来，可以通过硬件或软件来执行上述一系列处理。在通过软件来执行一系列处理的情况下，将包括在软件中的程序安装在通用计算机等上。

图24是示出其上安装有用于执行上述一系列处理的程序的计算机的一个实施例的配置示例的框图。

程序可以预先记录在作为内置在计算机中的记录介质的硬盘905或ROM 903中。

替选地，程序可以存储(记录)在由驱动器909驱动的可移动记录介质911中。这样的可移动记录介质911可以作为所谓的套装软件(package software)来提供。这里，可移动记录介质911的示例包括软盘、紧凑盘只读存储器(CD-ROM)、磁光盘(MO)盘、数字多功能盘(DVD)、磁盘、半导体存储器等。

注意，程序可以如上所述从可移动记录介质911安装到计算机上，或者可以通过通信网络或广播网络下载到计算机并且安装在内置硬盘905中。也就是说，例如，程序可以通过用于数字卫星广播的人造卫星从下载站点无线传输到计算机，或者可以通过诸如局域网(LAN)或因特网之类的网络以有线方式传输到计算机。

计算机包含中央处理单元(CPU)902，并且输入/输出接口910通过总线901连接到CPU 902。

当由用户通过输入/输出接口910操作输入单元907等来输入命令时，CPU 902根据该命令执行存储在只读存储器(ROM)903中的程序。替选地，CPU 902将存储在硬盘905中的程序加载到随机存取存储器(RAM)904中并且执行该程序。

结果，CPU 902执行根据上述流程图的处理或通过上述框图的配置执行的处理。然后，CPU 902根据需要执行控制，以例如通过输入/输出接口910从输出单元906输出处理结果或从通信单元908发送处理结果，或者例如将处理结果记录在硬盘905中。

注意，输入单元907包括键盘、鼠标、麦克风等。此外，输出单元906包括液晶显示器(LCD)、扬声器等。

这里，在本说明书中，由计算机根据程序执行的处理不一定按照流程图中描述的顺序按时间序列执行。也就是说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或按对象处理)。

此外，程序可以由一个计算机(处理器)处理，或者可以由多个计算机以分布式方式处理。此外，可以将程序传输到远程计算机以执行。

此外，在本说明书中，系统是指多个组件(设备、模块(部件)等)的集合，并且所有组件是否在同一壳体中并不重要。因此，容纳在单独壳体中并且通过网络连接的多个设备，以及将多个模块容纳在一个壳体中的一个设备都是系统。

注意，本技术的实施例不限于上述实施例，并且可以在不偏离本技术的范围的情况下进行各种修改。

例如，本技术可以具有云计算配置，其中一个功能由多个设备通过网络来共享和处理。

此外，上述流程图中描述的每个步骤可以由一个设备来执行，或者可以由多个设备以共享方式来执行。

此外，在一个步骤中包括多个处理的情况下，一个步骤中包括的多个处理可以由一个设备来执行，或者可以由多个设备以共享方式来执行。

此外，本说明书中描述的效果仅仅是说明，而不是限制性的。因此，可以获得其他效果。

注意，本技术也可以以下方式配置。

<1>

一种文件处理设备，包括：

文件控制单元，所述文件控制单元将修复数据写入到存储静止图像的高效图像文件格式HEIF文件中，所述修复数据用于修复所述HEIF文件。

<2>

根据<1>所述的文件处理设备，其中，

所述修复数据包括在所述HEIF文件中用于修复用于管理图像的管理元数据的数据。

<3>

根据<2>所述的文件处理设备，其中，

所述文件控制单元将用于修复图像的管理元数据的修复数据布置在紧接在该图像之前。

<4>

根据<3>所述的文件处理设备，其中，

所述修复数据包括所述修复数据的大小和紧接在所述修复数据之后布置的图像的大小。

<5>

根据<2>至<4>中任一项所述的文件处理设备，其中，

所述修复数据包括用于修复存储在所述HEIF文件的元框中的pitm框、infe框、dimg框、thmb框、colr框、hvcc框、ipse框、idat框和iloc框中所存储的管理元数据的数据。

<6>

根据<1>至<5>中任一项所述的文件处理设备，其中，

所述HEIF文件存储图像和与该图像相关联的相关图像，以及

所述文件控制单元写入图像的修复数据和相关图像的修复数据。

<7>

根据<6>所述的文件处理设备，其中，

相关图像包括具有比所述图像的像素数少的像素数的图像。

<8>

根据<1>至<7>中任一项所述的文件处理设备，其中，

所述HEIF文件存储图像和图像的元数据。

<9>

一种文件处理方法，包括：

将修复数据写入到存储静止图像的高效图像文件格式HEIF文件中，所述修复数据用于修复所述HEIF文件。

<10>

一种程序，所述程序用于使计算机用作：

文件控制单元，所述文件控制单元将修复数据写入到存储静止图像的高效图像文件格式HEIF文件，所述修复数据用于修复所述HEIF文件。

<11>

一种文件处理设备，包括：

文件控制单元，所述文件控制单元使用修复数据来修复存储静止图像的高效图像文件格式HEIF文件，所述修复数据用于修复所述HEIF文件，所述修复数据被写入到所述HEIF文件中。

<12>

根据<11>所述的文件处理设备，其中，

所述修复数据包括在所述HEIF文件中用于修复用于管理图像的管理元数据的数据，以及

所述文件控制单元通过使用所述修复数据来生成管理元数据。

<13>

根据<12>所述的文件处理设备，其中，

所述文件控制单元从所述HEIF文件中删除写入被中断的中断部分的图像，并且使用所述修复数据来生成存储在所述中断部分之前写入的图像的HEIF文件。

<14>

根据<13>所述的文件处理设备，其中，

用于修复图像的管理元数据的修复数据被布置在紧接在该图像之前，

所述修复数据包括所述修复数据的大小和紧接在所述修复数据之后布置的图像的大小，以及

在从所述修复数据的开头开始搜索通过组合所述修复数据的大小和紧接在所述修复数据之后布置的图像的大小而获得的大小失败的情况下，所述文件控制单元将图像检测为所述中断部分。

<15>

根据<13>或<14>所述的文件处理设备，其中，

所述HEIF文件存储图像和与该图像相关联的相关图像，以及

在图像和相关图像中的任何一个被检测为所述中断部分的情况下，所述文件控制单元删除图像和相关图像。

<16>

根据<15>所述的文件处理设备，其中，

相关图像包括具有比所述图像的像素数少的像素数的图像。

<17>

根据<13>至<16>中任一项所述的文件处理设备，其中，

所述HEIF文件存储图像和该图像的元数据，以及

在图像和元数据中的任何一个被检测为所述中断部分的情况下，所述文件控制单元删除图像和元数据。

<18>

根据<12>至<17>中任一项所述的文件处理设备，其中，

所述文件控制单元使用所述修复数据来修复存储在所述HEIF文件的元框中的pitm框、infe框、dimg框、thmb框、colr框、hvcc框、ipse框、idat框和iloc框中所存储的管理元数据。

<19>

一种文件处理方法，包括：

使用修复数据来修复存储静止图像的高效图像文件格式HEIF文件，所述修复数据用于修复所述HEIF文件，所述修复数据被写入到所述HEIF文件中。

<20>

一种程序，所述程序使计算机用作：

参考标记列表

10 数码相机

11 光学系统

13 信号处理单元

14 介质

15、16 I/F

17按钮/键

18 触摸面板

19 液晶面板

20 取景器

21 I/F

41 光学系统/图像传感器控制单元

42 编码控制单元

43 文件控制单元

44 介质控制单元

45 操作控制单元

46 显示控制单元

47 UI控制单元

901 总线

902 CPU

903 ROM

904 RAM

905 硬盘

906 输出单元

907 输入单元

908 通信单元

909 驱动器

910 输入/输出接口

911 可移动记录介质

Claims

1.一种文件处理设备，包括：

2.根据权利要求1所述的文件处理设备，其中，

3.根据权利要求2所述的文件处理设备，其中，

4.根据权利要求3所述的文件处理设备，其中，

5.根据权利要求2所述的文件处理设备，其中，

6.根据权利要求1所述的文件处理设备，其中，

所述HEIF文件存储图像和与该图像相关联的相关图像，以及

7.根据权利要求6所述的文件处理设备，其中，

相关图像包括具有比所述图像的像素数少的像素数的图像。

8.根据权利要求1所述的文件处理设备，其中，

所述HEIF文件存储图像和图像的元数据。

9.一种文件处理方法，包括：

10.一种程序，所述程序用于使计算机用作：

11.一种文件处理设备，包括：

12.根据权利要求11所述的文件处理设备，其中，

13.根据权利要求12所述的文件处理设备，其中，

14.根据权利要求13所述的文件处理设备，其中，

15.根据权利要求13所述的文件处理设备，其中，

所述HEIF文件存储图像和与该图像相关联的相关图像，以及

16.根据权利要求15所述的文件处理设备，其中，

相关图像包括具有比所述图像的像素数少的像素数的图像。

17.根据权利要求13所述的文件处理设备，其中，

所述HEIF文件存储图像和该图像的元数据，以及

18.根据权利要求12所述的文件处理设备，其中，

19.一种文件处理方法，包括：

20.一种程序，所述程序使计算机用作：