CN114072847A - 图像文件创建设备、图像文件创建方法和程序 - Google Patents

图像文件创建设备、图像文件创建方法和程序 Download PDF

Info

Publication number
CN114072847A
CN114072847A CN202080049066.3A CN202080049066A CN114072847A CN 114072847 A CN114072847 A CN 114072847A CN 202080049066 A CN202080049066 A CN 202080049066A CN 114072847 A CN114072847 A CN 114072847A
Authority
CN
China
Prior art keywords
image
information
images
metadata
image file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080049066.3A
Other languages
English (en)
Inventor
深田昌敬
今尾英司
弗兰克·德诺奥
弗雷德里克·梅兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020000990A external-priority patent/JP7457506B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN114072847A publication Critical patent/CN114072847A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8451—Structuring of content, e.g. decomposing content into time segments using Advanced Video Coding [AVC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种图像文件创建设备，用于根据包括图像数据区域和元数据区域的结构的预定图像文件格式来创建图像文件，该图像数据区域用于存储图像，该元数据区域用于存储作为与图像有关的信息的元数据，该图像文件创建设备用于：从图像数据区域中所存储的图像中，决定要连续显示的多个图像；以及创建针对多个图像中的各图像的识别信息以及图像数据区域中的存储有与识别信息相对应的图像的位置的信息，将所创建的信息存储在元数据区域中，并且还将用于指示多个图像的显示顺序的信息和用于指示多个图像中的各图像的显示时间的信息存储在元数据区域中。

Description

图像文件创建设备、图像文件创建方法和程序
技术领域
本发明涉及用于将一个或多于一个图像数据存储在图像文件中的技术。
背景技术
在MPEG(运动图像专家组)中，进行用于将一个静止图像、多个静止图像或者图像序列(一连串静止图像等)存储在一个文件中的标准化。该标准被称为HEIF(高效率图像文件格式)，并且允许图像和图像序列的替换、编辑和显示。HEIF是基于在ISOBMFF(ISO基媒体文件格式)中定义的工具所扩展的存储格式。HEIF已在ISO/IEC23008-12(第12部分)中用“图像文件格式”的名称进行了标准化。HEIF定义了包括元数据的模型结构，并且定义了将图像与元数据相关联的方法以及采用特定格式的元数据的结构。专利文献1描述了用于将派生图像存储在符合HEIF的图像文件中的技术。
另一方面，近年来，诸如照相机或智能电话等的具有图像生成功能的图像生成设备具有各种功能，并且不仅可以生成拍摄日期/时间、图像大小和图像质量，而且可以生成诸如拍摄时的信息以及拍摄图像数据的元数据等的各种信息。例如，用于识别拍摄时的被摄体或场景的信息、以及各种拍摄设置信息等是连同图像数据一起生成的。与图像数据有关的该信息可被作为元数据连同图像数据一起存储在HEIF文件中。还提供了具有在自动地顺次切换多个图像的同时显示这些图像的功能的应用。在许多应用中，该功能被称为幻灯片放映(slide show)。在HEIF中，还可以通过存储多个图像数据来创建意图在幻灯片放映中显示这些图像数据的图像文件。
现有技术文献
专利文献
专利文献1：美国专利申请公开2016-371265号说明书
发明内容
发明要解决的问题
在HEIF规范中，在存储时间上连续的静止图像(例如，通过照相机的连拍(burstshooting)所获得的连续照片等)的情况下，可以将这些图像存储为图像序列。在包括图像序列的HEIF文件中，与运动图像类似，需要将时间上连续的静止图像在HEIF文件中定义为视频轨，使得用于显示图像的应用可以进行连续显示处理。因此，存储用于通过指派显示时间(时间段)来顺次地自动显示任意图像的幻灯片放映的设置的HEIF文件的创建处理可能是复杂的。
本发明是考虑到上述问题而作出的，并且提供用于高效地进行将连续显示多个图像所需的信息存储在图像文件中的处理的技术。
用于解决问题的方案
作为用于解决上述问题的手段，根据本发明的图像文件创建设备具有以下的配置。也就是说，提供一种图像文件创建设备，用于根据包括图像数据区域和元数据区域的结构的预定图像文件格式来创建图像文件，所述图像数据区域用于存储图像，所述元数据区域用于存储作为与所述图像有关的信息的元数据，所述图像文件创建设备包括：决定部件，用于从所述图像数据区域中所存储的图像中，决定要连续显示的多个图像；以及元数据处理部件，用于创建针对所述多个图像中的各图像的识别信息以及所述图像数据区域中的存储有与所述识别信息相对应的图像的位置的信息，将所创建的信息存储在所述元数据区域中，并且还将用于指示所述多个图像的显示顺序的信息和用于指示所述多个图像中的各图像的显示时间的信息存储在所述元数据区域中。
发明的效果
可以高效地进行将连续显示多个图像所需的信息存储在图像文件中的处理。
通过以下结合附图所进行的说明，本发明的其它特征和优点将变得明显。注意，在整个附图中，相同的附图标记表示相同或相似的组件。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。
图1是示出图像文件创建设备的配置的框图；
图2是图像文件创建处理的流程图；
图3是根据第一实施例的幻灯片放映的元数据创建处理的流程图；
图4是示出根据第一实施例的派生图像的描述信息的数据格式的示例的图；
图5是示出根据第一实施例的派生图像的描述信息的数据格式的另一示例的图；
图6是示出根据第一实施例所创建的HEIF文件的结构的图；
图7是示出根据第一实施例所输出的HEIF文件的示例的图；
图8是根据第二实施例的幻灯片放映的元数据创建处理的流程图；
图9是示出SlideshowEntityToGroupBox(幻灯片放映实体到组框)的数据格式的示例的图；
图10是示出ImageDurationProperty(图像持续时间性质)的数据格式的图；
图11是示出ImageLocationProperty(图像位置性质)的数据格式的图；
图12是示出TransitionEffectProperty(过渡效果性质)的数据格式的示例的图；
图13是示出SlideShowProperty(幻灯片放映性质)的数据格式的图；
图14是示出根据第二实施例所创建的HEIF文件的结构的图；
图15是示出根据第二实施例所输出的HEIF文件的示例的图；
图16是示出符合HEIF标准的PrimaryItemBox(主项框)的数据格式的图；
图17是示出PrimaryItemBox的数据格式的示例的图；
图18是示出PrimaryItemBox的数据格式的另一示例的图；
图19是示出根据第三实施例所输出的HEIF文件的示例的图；
图20是图像文件的幻灯片放映再现处理的流程图；
图21是示出SlideshowEntityToGroupBox的数据格式的另一示例的图；
图22是示出ImageOverlay(图像覆盖)派生图像的描述信息的数据格式的示例的图；
图23是示出SlideShowTimingProperty(幻灯片放映定时性质)的数据格式的图；
图24是示出TransitionEffectProperty的数据格式的另一示例的图；
图25是示出ImageScalingProperty(图像缩放性质)的数据格式的图；
图26是示出ImageScalingProperty的数据格式的另一示例的图；
图27是示出ImageSpatialExtentProperty(图像空间范围性质)的数据格式的图；
图28是示出TransitionEffectProperty的数据格式的另一示例的图；
图29是示出WipeTransitionEffectProperty(划变过渡效果性质)的数据格式的示例的图；
图30是示出ZoomTransitionEffectProperty(缩放过渡效果性质)的数据格式的示例的图；以及
图31是示出FadeInTransitionEffectProperty(淡入过渡效果性质)的数据格式的示例的图。
具体实施方式
以下将参考附图来详细说明实施例。注意，以下实施例并不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但没有限制成需要所有这些特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，向相同或类似的结构赋予相同的附图标记，并且省略了其冗余说明。
<第一实施例>
[硬件配置]
图1示出图像文件创建设备100的配置的示例。在图像文件创建设备100中，CPU102、作为执行系统程序时的临时存储装置的RAM 103以及作为存储该系统程序的非易失性存储装置的ROM 104连接到系统总线101。该系统程序或应用程序从ROM 104被加载到RAM103，并且由CPU 102执行。此外，编码/解码单元105、元数据处理单元106、显示单元107、用户接口单元108和通信控制单元109连接到系统总线101。系统总线101在这些块之间传送数据。RAM 103包括输出缓冲器，并且用作图像文件创建处理所用的数据缓冲器或者用作图像文件中所存储的数据的输出目的地。
编码/解码单元105是符合H.265(HEVC)、H.264(AVC)、AV1或JPEG等的运动图像或静止图像的视频编解码器，并且执行静止图像或运动图像的数据的编码和解码处理。元数据处理单元106获取由编码/解码单元105进行编码后的数据(编码数据)，并且生成符合预定文件格式(例如，HEIF)的图像文件。更具体地，元数据处理单元106执行静止图像或运动图像文件中所存储的元数据的分析处理，以生成与静止或运动图像有关的信息并获取与编码数据有关的参数信息。然后，元数据处理单元106执行用于将该信息作为元数据连同编码数据一起存储在文件中的处理。此外，元数据处理单元106通过分析文件中所存储的元数据来执行静止或运动图像的再现时的元数据处理。
显示单元107旨在用作用于显示图像文件创建设备100的应用的画面，并且例如是液晶显示装置。显示单元107可以包括屏幕触摸传感器，以使得用户能够通过GUI(图形用户界面)操作应用。显示单元107可以再现用于确认所生成的文件的文件。用户接口单元108是用于接受对图像文件创建设备100的用户操作(输入)的接口，并且例如由诸如按钮或开关等的物理操作接口构成。
通信控制单元109是用于通过进行向网络的连接来发送/接收传输帧的网络接口。通信控制单元109例如与有线LAN的
Figure BDA0003455120790000051
(以太网)PHY和MAC(传输介质控制处理)相对应。可选地，如果图像文件创建设备100可连接到无线LAN，则通信控制单元109包括用于执行符合IEEE802.11a/b/g/n/ac/ax等的无线LAN控制的控制器、RF电路以及天线。
[图像文件创建处理]
接着，将参考图2、图6和图7来说明图像文件创建设备100的图像文件创建处理的过程。图2是图像文件创建处理的流程图。更具体地，图2示出用于创建根据HEIF文件格式来存储一个或多于一个静止图像的文件的处理的过程。图2所示的流程图的各步骤指示通过利用CPU 102的软件、编码/解码单元105和元数据处理单元106其中之一所执行的处理。注意，在以下的说明中，描述“CPU 102”指示CPU 102所执行的软件处理。图6示出作为根据本实施例的图像文件创建设备100所创建的HEIF文件的示例的HEIF文件600的结构。HEIF文件600包括元数据存储区域602(MetaBox(元框)(meta))(元数据区域)和编码数据存储区域611(MediaDataBox(媒体数据框)(mdat))(图像数据区域)。图7是示出根据本实施例所输出的HEIF文件的示例的图。图7示出根据HEIF文件格式存储一个或多于一个静止图像以及构成幻灯片放映的派生图像的示例。
图像文件创建处理从步骤S201开始。在步骤S202中，CPU 102从RAM 103或ROM 104中所存储的图像数据中获取(选择)要存储在HEIF文件中的图像数据。该获取处理可以基于针对图像文件创建设备100预先设置的信息、或者经由用户接口单元108的用户操作等来进行。图像数据可以是存储一个静止图像的HEIF文件或者JPEG等的另一静止图像文件。可选地，只要图像数据是静止图像数据，就无需将该图像数据作为文件进行存储。接着，在步骤S203中，CPU 102判断是否需要对步骤S202中获取到的图像数据进行解码(也就是说，图像数据是否是HEIF文件)。如果不需要对所获取到的图像数据进行解码(所获取到的图像数据是HEIF文件)(步骤S203中为“否”)，则处理进入步骤S207；否则(如果所获取到的图像数据是除HEIF文件以外的文件)(步骤S203中为“是”)，处理进入步骤S204。
步骤S204至S206中的处理由编码/解码单元105执行。在步骤S204中，编码/解码单元105对所获取到的图像数据进行解码。接着，在步骤S205中，编码/解码单元105分析解码后的图像数据以获取图像属性信息。图像属性信息例如包括图像的宽度和高度、颜色分量的数量以及位长度。在步骤S206中，编码/解码单元105对解码后的图像数据执行HEVC编码。接着，在步骤S207中，元数据处理单元106获取对步骤S206中生成的编码数据进行解码所需的参数集。更具体地，该参数集是视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)等。然而，如果处理直接从步骤S203进入步骤S207，则在步骤S202中获取到的图像数据是HEIF文件，因此元数据处理单元106从HEIF文件提取HEVC参数集并获取该HEVC参数集。在步骤S208中，编码/解码单元105将编码数据传送到RAM 103的输出缓冲器并保存该编码数据。该编码数据是编码数据存储区域611中所存储的编码数据其中之一。注意，在以下的说明中，步骤S208中保存的(在HEIF文件中存储的)图像数据/编码数据将被统称为图像数据。
步骤S209是创建与HEIF文件中所存储的图像数据有关的元数据的处理，并且由元数据处理单元106执行。步骤S209中创建的元数据包括图像项信息和图像属性信息。图像项信息是图6的区域606(ItemInfoBox(项信息框)(iinf))中所存储的条目数据。iinf中的条目数据设置用于在文件中识别图像数据的项ID(识别信息)和指示HEVC编码图像的项类型。另一方面，图像属性信息是图6的区域608(ItemPropertiesBox(项性质框)(iprp))中所存储的数据。步骤S209中创建的图像属性信息包括图6的区域609(ItemPropertyContainerBox(项性质容器框)(ipco))中所存储的条目数据以及图6的区域610(ItemPropertyAssociationBox(项性质关联框)(ipma))中所存储的条目数据。在ipco中，存储诸如指示步骤S207中所获取到的HEVC参数集的条目数据以及指示所选择图像的宽度和高度的条目数据等的属性信息。在ipma中，创建指示项ID和ipco中的条目数据之间的关联的条目数据。将步骤S209中创建的图像属性信息的数据作为图6的元数据存储区域602(MetaDataBox(元数据框)(meta))中所存储的元数据的一部分保存在RAM 103的输出缓冲器中。
当处理在步骤S209之后进入步骤S210时，CPU 102确认是否将另一图像数据存储在正在创建的HEIF文件中。如果存在要存储的另一图像，则处理返回到步骤S202；否则，处理进入步骤S211。如果处理从步骤S210返回到步骤S202，则CPU 102获取(选择)另一图像数据，并且执行上述的步骤S203至S209中的处理。
在步骤S211中，CPU 102判断是否将幻灯片放映(图像的连续显示处理)的设置存储在正在创建的HEIF文件中。该判断处理可以基于针对图像文件创建设备100预先设置的信息、或者经由用户接口单元108的用户操作等来进行。如果将幻灯片放映的设置存储在HEIF文件中(步骤S211中为“是”)，则执行步骤S212中的幻灯片放映的元数据创建处理。注意，后面将说明步骤S212的处理。
在步骤S213中，元数据处理单元106从HEIF文件中所存储的图像中决定代表图像，并且创建主图像项信息的元数据(将主图像项信息设置在元数据中)。该代表图像决定处理可以基于针对图像文件创建设备100预先设置的信息、或者经由用户接口单元108的用户操作等来进行。将步骤S213中创建的元数据存储在图6的区域604(PrimaryItemBox(pitm))中。图16示出HEIF标准中的PrimaryItemBox的数据格式。如图16所示，pitm的数据格式仅仅指定代表图像的项ID。将步骤S213中创建的元数据保存在RAM 103的输出缓冲器中。
步骤S214中的最后处理由元数据处理单元106执行。在步骤S214中，元数据处理单元106创建要存储在图6的区域601(FileTypeBox(文件类型框)(ftyp))和区域603(HandlerBox(处理程序框)(hdlr))中的数据。注意，如图7所示，hdlr中指定的MetaDataBox(meta)的处理程序类型可以是“pict”。然后，元数据处理单元106将所创建的ftyp和hdlr的元数据、存储在RAM 103中保存的元数据存储区域602(MetaBox(meta))中的元数据、以及存储在编码数据存储区域611(MediaDataBox(mdat))中的编码数据组合。元数据处理单元106在RAM 103上形成图6所示的结构的数据，并且将该数据作为HEIF文件完成，由此输出该数据。之后，处理进入步骤S215，由此结束处理序列(S215)。CPU 102可以将所创建的HEIF文件的数据从RAM 103写入并保存到ROM 104中。
注意，如果跳过步骤S212中的幻灯片放映的元数据创建处理(步骤S211中为“否”)，则可以不生成图6的区域607(ItemReferenceBox(项参考框)(iref))，并且该区域607可以不包括在HEIF文件的元数据中。然而，如果例如所存储的图像数据包括如拍摄图像及其缩略图图像那样的彼此相关的图像数据，则元数据处理单元106在步骤S209的处理中创建指示图像数据之间的关联的iref的条目数据。因此，最终创建的HEIF文件的元数据可以包括iref。
将参考图7来说明根据上述序列在HEIF文件的内部结构中存储的值(数据)的示例。在由描述701指示的PrimaryItemBox(pitm)(与区域604相对应)中，存储1作为item_ID。由描述702指示的ItemInfoBox(iinf)(与区域606相对应)指示表示通过item_ID识别的各图像项的种类的信息。item_ID为1的图像项是“slid”，并且指示构成幻灯片放映的派生图像。item_ID为2或更大的各图像项是“hvc1”，并且指示HEVC编码图像。由描述703指示的ItemLocationBox(项位置框)(iloc)(与区域605相对应)指示各图像数据位流在文件中的存储位置。item_ID为1的图像项指示construction_method为1，其表示在由描述707指示的ItemDataBox(项数据框)(idat)(与区域616相对应)中存在数据。关于其它图像，可以指定由描述708指示的MediaDataBox(与编码数据存储区域611相对应)中的存在数据的位置。由描述704指示的ItemReferenceBox(iref)(与区域607相对应)是指示图像项之间的参考关系的区域。在该示例中，reference_type是“dimg”，其指示构成幻灯片放映的派生图像、也就是说用于参考要在幻灯片放映中显示的多个图像的派生图像。此外，描述704指示从作为派生图像项的item_ID 1参考item_ID为2或更大的各图像项。在由描述705指示的ItemPropertiesBox(iprp)(与区域608相对应)中的ItemPropertyContainerBox(ipco)(与区域609相对应)中，存储表示图像的属性信息的ItemProperty(项性质)。hvcC指示HEVC编码参数，并且ispe指示表示图像的大小的属性信息。描述706指示表示各图像项和属性信息之间的关联的ItemPropertyAssociationBox(ipma)(与区域610相对应)。各个图像项顺次与ipco中的属性信息相关联。
[幻灯片放映的元数据创建处理]
接着，将参考图3、图4、图5和图6来说明图2的步骤S212中的幻灯片放映的元数据创建处理。在本实施例中，将构成幻灯片放映的图像作为派生图像存储在HEIF文件中。图3示出根据本实施例的元数据创建处理的流程图。该处理从步骤S301开始。首先，在步骤S302和S303中，CPU 102从HEIF文件中所存储的图像数据中选择要在幻灯片放映中显示的一个或多于一个图像数据，并且决定显示顺序。接着，CPU 102决定各所选择的图像的显示时间(时间段)。显示时间(时间段)可以对于所有图像是恒定的或者针对各图像是不同的。不需要在文件创建时指定值，并且可以在再现时决定任意值。步骤S302和S303中的选择和决定处理可以基于针对图像文件创建设备100预先设置的信息、或者经由用户接口单元108的用户操作等来进行。
步骤S304至S307中的后续处理由元数据处理单元106执行。在步骤S304中，元数据处理单元106创建图像项信息以设置构成幻灯片放映的派生图像的项ID。也就是说，与上述的图2的步骤S209类似，元数据处理单元106创建要存储在图6的区域606(ItemInfoBox(iinf))中的条目数据。在该示例中，元数据处理单元106将不与HEIF文件中所存储的图像数据的项ID重复的ID指定为条目数据的项ID，并且将指示构成幻灯片放映的派生图像的“slid”指定为项类型(参见图7的描述702)。
在步骤S305中，元数据处理单元106创建用于指定要在幻灯片放映中显示的图像的图像参考信息。该图像参考信息被创建为要存储在图6的区域607(ItemReferenceBox(iref))中的条目数据。该条目数据被指派表示派生图像的“dimg”的类型，并且派生图像的项ID所参考的图像数据的项ID是以列表格式指定的。作为参考目的地的图像数据的项ID是按步骤S302中所决定的显示顺序以列表格式指定的。
在步骤S306中，元数据处理单元106设置构成幻灯片放映的派生图像的描述信息。该描述信息是图6的区域616(ItemDataBox(idat))中所存储的数据。图4示出幻灯片放映的派生图像的描述信息的数据格式的示例。描述信息(ImageSlideshow(图像幻灯片放映))指定要在幻灯片放映中显示的各图像的显示时间(时间段)。在图4所示的示例中，如果显示时间(时间段)针对图像是恒定的(也就是说，flags&1为1)，则如描述401所示，指定仅一个duration(持续时间)参数。可选地，如果flags&1为0，则如描述402所示，在用于针对各个图像数据指定显示时间(时间段)的duration参数的列表中按显示顺序指定duration参数。duration参数具有指示显示相应图像项的时间的数值。作为被设置为显示时间(时间段)的时间的单位，假定为sec(秒)或msec(毫秒)。然而，本发明不限于此，并且使用可以指定时间的任何单位。可选地，可以使用由再现装置(也就是说，显示单元107)用于决定显示时间(时间段)的相对时间参数。此外，图4所示的数据格式例如可以包括诸如time_unit等的用于指定单位的参数。用于指定单位的参数可被配置为根据version(版本)或flags(标志)的值是有效的。参数的指定可以指定duration参数的时间单位。如果例如在duration参数中指定10，则当在time_unit中指定指示sec的值时设置10sec，并且当在time_unit中指定指示msec的值时设置10msec。可以使用能够唯一地识别μsec、min或其它时间单位的其它方法。注意，如果在文件创建时没有指定显示时间(时间段)，则可以存储通过指定诸如0等的值来指示在文件再现时指定任意时间(时间段)的信息。
在步骤S307中，元数据处理单元106设置构成幻灯片放映的派生图像的图像属性信息。该图像属性信息的示例是指示显示有幻灯片放映的画面的宽度/高度的信息。如果被指定用于幻灯片放映的各图像的大小不同于派生图像的大小，则可以将在幻灯片放映中显示的图像放大或缩小并进行显示，或者可以仅显示落在画面的大小内的部分图像。如果画面的大小较大，则可以描述用于指定空白部分的显示的属性信息。然而，派生图像的图像属性信息并不总是必需的，并且不需要设置。
构成幻灯片放映的派生图像的描述信息的格式可以是图5所示的格式。图5示出幻灯片放映的派生图像的描述信息的数据格式的另一示例。图5所示的描述信息(ImageSlideshowWithinCnvas(画布内图像幻灯片放映))具有可以指定显示幻灯片放映时的画布(在显示单元107上显示幻灯片放映时的图像区域(布置有输入图像的重建图像的图像区域))的数据格式。由描述501指示的canvas_fill_value参数表示在输入图像的像素不在特定像素位置的情况下使用的各通道的像素值。该像素值被指定为RGBA值(R、G、B和A各自与等于0、1、2或3的循环计数器j相对应)。RGB值在IEC61996-2-1中定义的sRGB颜色空间中。A值是范围为从0(完全透明)到65535(完全不透明)的线性不透明度值。由描述502指示的output_width参数和output_height参数分别指定布置有输入图像的重建图像的宽度和高度。如果flags&1为0，则output_width参数和output_height参数具有各自均由16位表示的值。另一方面，如果flags&1为1，则output_width参数和output_height参数具有各自均由32位表示的值。由描述503指示的reference_count参数是从由from_item_ID字段标识项的类型“dimg”的ItemTypeReferenceBox(项类型参考框)(图7所示的描述704)获取到的。由描述503指示的horizontal_offset参数和vertical_offset参数指定从画布的左上角起的布置有输入图像的偏移。具有负偏移值的像素位置未包括在重建图像中。等于或大于output_width参数的水平像素位置未包括在重建图像中。等于或大于output_height参数的垂直像素位置未包括在重建图像中。如果flags&2为1，则与图1所示的描述401类似，指定共同的duration参数。如果flags&2为0，则如描述504所示，在用于针对各个图像数据单独指定显示时间(时间段)的duration参数的列表中按显示顺序指定duration参数。duration参数具有指示显示相应图像项的时间的数值。作为被设置为显示时间(时间段)的时间的单位，假定为sec或msec。然而，本发明不限于此，并且使用可以指定时间的任何单位。可选地，可以使用由再现装置用于决定显示时间(时间段)的相对时间参数。此外，与图4类似，数据格式可以包括诸如time_unit等的用于指定单位的参数。用于指定单位的参数可被配置为根据version或flags的值是有效的。参数的指定可以指定duration参数的时间单位。作为可指定的值，能够唯一地识别min、sec、msec、μsec或其它时间单位的方法是可行的。注意，如果在文件创建时没有指定显示时间(时间段)，则可以存储通过指定诸如0等的值来指示在文件再现时指定任意时间(时间段)的信息。
如果在步骤S307中设置了图像属性信息，则与上述的步骤S209类似，元数据处理单元106创建要存储在图6的区域609(ItemPropertyContainerBox(ipco))中的条目数据。此外，元数据处理单元106创建要存储在图6的区域610(ItemPropertyAssociationBox(ipma))中的条目数据。然后，处理进入步骤S308，由此结束处理序列。
注意，将在步骤S304至S307的处理中创建的元数据作为图6的区域602(MetaDataBox(meta))中所存储的元数据的一部分写入RAM 103的输出缓冲器中的要存储各数据的位置处。此外，可以将在步骤S213中设置的派生图像的项ID指定为在上述步骤S213的处理中的代表图像的项ID。
[幻灯片放映的再现处理]
接着，将参考图20来说明以图像文件格式存储的幻灯片放映的再现处理。图20是图像文件的幻灯片放映再现处理的流程图。更具体地，图20示出再现根据HEIF文件格式将一个或多于一个静止图像存储为幻灯片放映的文件的处理的过程。图20所示的流程图的各步骤指示通过利用CPU 102的软件、编码/解码单元105和元数据处理单元106其中之一所执行的处理。注意，在以下的说明中，描述“CPU 102”指示CPU 102所执行的软件处理。
图像文件再现中的幻灯片放映再现处理从步骤S2001开始。然后，在步骤S2002中，CPU 102从RAM 103或ROM 104中所存储的HEIF文件中获取元数据存储区域602(MetaBox(meta)中所存储的元数据。接着，在步骤S2003中，CPU 102分析步骤S2002中获取到的元数据，并且在步骤S2004中，作为分析的结果，判断与幻灯片放映有关的元数据是否存储在该元数据中。如果与幻灯片放映有关的元数据存储在该元数据中(步骤S2004中为“是”)，则处理进入步骤S2005；否则(步骤S2004中为“否”)，处理进入步骤S2010。如果处理进入步骤S2010，则图像文件创建设备100执行除幻灯片放映以外的HEIF文件的再现处理。
在步骤S2005中，元数据处理单元106获取与幻灯片放映显示相关联的图像项的元数据。更具体地，元数据处理单元106获取从构成幻灯片放映的派生图像参考的各图像项的项信息、图像的属性信息和图像文件中的位置信息。在步骤S2006中，编码/解码单元105按幻灯片放映显示顺序获取图像数据。各图像数据是通过基于元数据中所存储的图像文件中的位置信息指定编码数据存储区域611(MediaDataBox(mdat))中的位置而获取到的。编码/解码单元105在步骤S2007中对要显示的图像数据进行解码，并且在步骤S2008中将解码后的图像数据暂时保存在缓冲器中。随后，在步骤S2009中，CPU 102根据在元数据中描述的显示时间(时间段)和属性信息来在显示单元107上显示图像。注意，如果存储了诸如0等的指示在文件再现时指定任意时间(时间段)的信息，则通过再现装置的处理来决定显示时间(时间段)。通过重复执行步骤S2005至S2009的处理，将HEIF文件中所存储的图像顺次显示在显示单元107上。注意，尽管在本实施例中未示出，但CPU 102可以控制显示单元107，以在作为幻灯片放映所存储的所有图像的显示结束之后，从第一个图像起重复显示图像或者结束幻灯片放映显示。
根据本实施例，通过将HEIF文件中所存储的多个图像形成并存储为派生图像，可以存储构成利用派生图像的幻灯片放映的图像。因此，将存储多个静止图像的集合的HEIF文件作为意图用于幻灯片放映显示的文件进行保存的处理变得容易。此外，即使处理不同大小的图像，也可以通过在派生图像的描述信息中定义画布的信息来防止每次显示各图像时显示大小改变的事件。可以通过将图像显示时的画布位置信息作为参数保持在派生图像的描述信息中来指定显示位置。也可以通过将派生图像项适应为主图像项来切换在幻灯片放映中要优先显示的图像。注意，本实施例说明了将用于使用派生图像实现幻灯片放映的元数据存储在HEIF文件中的配置。可以采用不同的配置，只要使用派生图像形成幻灯片放映即可。
<第二实施例>
根据第二实施例的图像文件创建设备具有与第一实施例中参考图1所述的配置相同的配置。图2所示的图像文件创建处理的序列和图20所示的图像文件的幻灯片放映再现处理类似地适用于本实施例。然而，图2中的幻灯片放映的元数据创建处理(S212)不同于第一实施例。因此，本实施例将主要参考图8、图9、图10、图11、图12、图13、图14、图15、图21、图22、图23、图24、图25、图26、图27、图28、图29、图30和图31来说明步骤S212中的处理。
图8是示出根据本实施例的幻灯片放映的元数据创建处理的过程的流程图。图14示出作为根据本实施例的图像文件创建设备100所创建的HEIF文件的示例的HEIF文件1400的结构。HEIF文件1400包括元数据存储区域1402(MetaBox(meta))和编码数据存储区域1411(MediaDataBox(mdat))。
参考图8，幻灯片放映的元数据创建处理从步骤S801开始。首先，在步骤S802和S803中，与图3的步骤S302和S303类似，CPU 102选择要在幻灯片放映中显示的图像，决定显示顺序，并且决定各所选择的图像的显示时间(时间段)。作为被设置为显示时间(时间段)的时间的单位，假定为sec或msec。然而，本发明不限于此，并且使用可以指定时间的任何单位。可选地，可以使用由再现装置用于决定显示时间(时间段)的相对时间参数。在无需在文件创建时指定显示时间(时间段)的情况下，可以在文件再现时指定任意时间(时间段)。
接着，在步骤S804中，元数据处理单元106设置幻灯片放映的显示图像的组。更具体地，元数据处理单元106创建用于对要在幻灯片放映中显示的图像进行分组的信息(组信息)。该组信息是要存储在图14的区域1416(GroupsListBox(组列表框)(grpl))中的元数据。在HEIF中，将诸如图像数据等的项的组信息存储在grpl中。该组信息被指派作为组识别信息的组ID和组类型，并且是在HEIF文件中识别的。在本实施例中，在步骤S804中，元数据处理单元106创建幻灯片放映组信息(SlideshowEntityToGroupBox)作为组信息。图9示出SlideshowEntityToGroupBox的数据格式。元数据处理单元106创建图9所示的数据格式的数据，并将该数据存储在grpl中(参见图14的区域1417)。SlideshowEntityToGroupBox是用于识别意图用于在大画布中进行多个图像的集合的幻灯片放映显示的实体的组的框。SlideshowEntityToGroupBox的组类型是“slid”，并且指示幻灯片放映所使用的项的组。由于图9所示的数据格式是通过扩展EntityToGroupBox(实体到组框)所获得的，因此附加地指定用于存储组ID的group_id和指示该组中所包括的项的数量的num_entries_in_group。作为项ID，按显示顺序来指定要在幻灯片放映中显示的所选择的各图像的项ID。
注意，由于SlideshowEntityToGroupBox是通过扩展EntityToGroupBox所获得的，因此轨也可被作为组来存储，但本实施例仅以图像项为对象，并且禁止轨的存储和除图像以外的项的存储。然而，在另一形式中，可以采用包括轨的结构。如果例如包括轨ID，则轨ID的数量可被限制为1，并且可以在轨中指定与各样本的显示时间(时间段)有关的参数。假定可以通过样本组针对各样本指定(后面要说明的)切换(过渡)效果。类似地，在其它形式中，轨ID的数量被限制为1，并且在轨中指定各样本的显示时间段。然后，提供如下的方法，该方法可以使用标准化作为“MPEG-B Part 16Derived visual tracks in the ISO baseMedia file format”处于进行中的派生轨来指定(后面要说明的)画布和切换(过渡)效果。
作为另一方法，考虑不对SlideshowEntityToGroupBox中所存储的实体施加限制的方法。可选地，考虑可以存储图像项ID和轨ID其中之一的方法。在这种情况下，例如，存在针对显示时间(时间段)指定共同的显示时间(时间段)的方法以及基于轨来指定轨并且基于图像属性信息来指定项的方法。
参考图9，描述901和902与第一实施例中描述的图5的描述501和502相同，因此不进行说明。描述903的一部分是可选的，并且是在设置幻灯片放映的默认显示时间(时间段)时指定的。如果指定了默认显示时间(时间段)，则该显示时间(时间段)是在default_entity_duration参数中指定的。default_entity-duration-present是0x000002的值。如果flags&default_entity-duration-present为1，则指定作为默认显示时间(时间段)的default_entity_duration参数。如果flags&default_entity-duration-present为0，则针对各图像数据单独指定显示时间(时间段)，因此使用图像属性来指定显示时间(时间段)。default_entity_duration参数具有指示显示相应图像项的时间(时间段)的数值。作为被设置为显示时间(时间段)的时间的单位，假定为sec或msec。然而，本发明不限于此，并且使用可以指定时间的任何单位。可选地，可以使用由再现装置用于决定显示时间(时间段)的相对时间参数。此外，数据格式可以包括诸如time_unit等的用于指定单位的参数。用于指定单位的参数可被配置为根据version或flags的值是有效的。参数的指定可以指定default_entity_duration参数的时间单位。作为可指定的值，能够唯一地识别min、sec、msec、μsec或其它时间单位的方法是可行的。注意，如果在文件创建时没有指定显示时间(时间段)，则可以指定通过指定诸如0等的值来指示在文件再现时指定任意时间(时间段)的信息。
注意，即使flags&default_entity-duration-present为1并且指定了dafault_entity_duration参数，当在图像属性信息中指定显示时间(时间段)时，优先图像属性信息的显示时间(时间段)。本实施例采用决定是否通过flags来可选地指定默认显示时间(时间段)的方法。然而，代替可选地设置默认显示时间，可以设置default_entity_duration参数。在这种情况下，例如，在SlideshowEntityToGroupBox中指定的default_entity_duration参数可被用作默认值，并且可被作为在没有针对图像项单独指定属性信息的情况下所使用的显示时间(时间段)进行处理。此外，即使附加地设置了标志、并且使用指示共同地用于所有图像项的值的标志来在属性信息中指定显示时间(时间段)，也可以使用共同的显示时间(时间段)。
作为SlideshowEntityToGroupBox的数据格式，可以使用图21所示的结构。在这种情况下，元数据处理单元106创建图9所示的数据格式的数据，并将该数据存储在grpl中(参见图14的区域1417)。SlideshowEntityToGroupBox是用于识别意图用于多个图像的集合的幻灯片放映显示的实体的组的框。SlideshowEntityToGroupBox的组类型是“slid”，并且指示幻灯片放映所使用的项的组。由于图21所示的数据格式是通过扩展EntityToGroupBox所获得的，因此附加地指定用于存储组ID的group_id和指示组中所包括的项的数量的num_entries_in_group。作为项ID，按显示顺序来指定要在幻灯片放映中显示的所选择的各图像的项ID。在图21所示的结构中，SlideshowEntityToGroupBox用于识别要在幻灯片放映中显示的图像的组以及显示顺序。在图21所示的结构中，不存在SlideshowEntityToGroupBox所用的特殊参数。在这种情况下，使用(后面要说明的)ItemPropertiesBox(iprp)内的ItemPropertyContainerBox(ipco)和ItemPropertyAssociationBox(ipma)中所存储的条目数据(组ID)来指定各参数。注意，即使在图9所示的结构中，也可以关联针对组所指定的性质。假定SlidshowEntityToGroupBox中所存储的实体存储了可以显示的编码图像项和派生图像项的项ID。作为派生图像，例如，指定已定义的标识(iden)、网格(grid)图像或覆盖(iovl)图像，由此使得可以将派生图像作为高级幻灯片放映显示在画布上。可选地，可以存储其它组ID。例如，考虑在相同的定时显示被分组为拍摄组的图像。例如，考虑将针对HDR(高动态范围)渲染所拍摄的图像或者为了作为全景照片进行显示所拍摄的图像作为组进行存储，并且将该组的ID指定为SlideshowEntityToGroup的实体。这使得能够显示高级幻灯片放映。
另一方面，可以采用通过限制为特定item_type的图像来存储数据的结构。例如，在图21所示的EntityToGroupBox的结构中，不保持画布的信息。因此，考虑使用被定义为派生图像的覆盖图像。如果需要画布，则在可以存储的实体的item_type中指定指示覆盖的iovl。然后，考虑EntityToGroupBox中所存储的所有项都是覆盖派生图像。在这种情况下，期望针对SlideshowEntityToGroup中所存储的所有覆盖派生图像设置相同的output_width和output_height参数。此外，也考虑在指定编码图像时仅指定编码图像。在这种情况下，共同的ispe图像性质期望地与各图像相关联。另一方面，在未设置该限制的情况下，用于指定幻灯片放映显示的整体大小的性质可以与EntityToGroupBox中的组ID相关联。这假定ispe性质的扩展结构的性质。也就是说，ispe性质可以应用于实体组。可选地，在SlideshowEntityToGroupBox中的第一个实体中指定的图像的大小可被用作幻灯片放映显示的整体大小。另外，SlideshowEntityToGroupBox中所存储的实体的图像大小可被限制为相同。如果指定了大小与显示大小或限制不同的图像，则该图像可被放大/缩小或裁剪以落在显示大小内，然后显示该图像，并且如果图像小，则可以通过附加地指定默认画布信息或者预先定义特定画布来显示其余区域。然而，可被配置为针对所显示的各图像切换幻灯片放映显示的整体大小。
图25所示的ImageScalingProperty具有包括描述2501的ratio(比率)参数的数据格式，并且是用于缩放(放大/缩小)图像的显示大小的变换项性质。该性质使得能够在维持宽高比的同时放大/缩小图像大小。描述2501的ratio参数是8位整数，并且表示作为2的倍数的比率16、8、4、2、1/2、1/4、1/8或1/16。高4位指示放大所用的操作。如果最高有效位是1，则这指示比率16，如果从最高有效位起的第二位是1，则这指示比率8，如果从最高有效位起的第三位是1，则这指示比率4，并且如果从最高有效位起的第四位是1，则这指示比率2。低4位指示缩小所用的操作。如果最低有效位是1，则这指示比率1/16，如果从最低有效位起的第二位是1，则这指示比率1/8，如果从最低有效位起的第三位是1，则是这指示比率1/4，并且如果从最低有效位起的第四位是1，则这指示比率1/2。注意，本实施例采用以上结构作为ImageScalingProperty的数据格式。然而，可以允许更详细的指定。该性质可以通过clap性质的变形来表示。也就是说，可以单独指定分子和分母。此外，代替指定比率，可以指定目标大小以进行放大/缩小。在这种情况下，例如，可以通过在维持宽高比的同时指定宽度和高度其中之一来进行放大/缩小。另一方面，可以通过在无需维持宽高比的情况下指定宽度和高度这两者来进行放大/缩小。如果不维持宽高比，则可以采用用于指定纵向倍率和横向倍率的方法。可以组合定义这些指定方法，并且可以使用flags等来切换指定方法以使得能够进行任意指定。
图26所示的ImageScalingProperty具有包括描述2601的target_width参数和描述2602的target_height参数的数据格式，并且是用于通过指定图像的显示目标大小来进行放大/缩小的变换项性质。该性质使得能够通过以像素为单位直接指定宽度和高度来进行放大/缩小。描述2601的target_width参数以像素为单位指定大小改变之后的图像的宽度。描述2602的target_height参数以像素为单位指定大小改变之后的图像的高度。注意，通过指定大小中的仅一个并将诸如0等的值指定为另一大小以便不指定大小改变之后的大小中的一个，可以在维持宽高比的同时进行放大/缩小。可以采用大小中的仅一个或两个根据version或flags的值是有效的数据格式。
ImageScalingProperty可以通过扩展已定义的ImageSpatialExtentsProperty(图像空间范围性质)来定义。例如，考虑在不改变已定义的数据结构的情况下改变ImageSpatialExtentsProperty的含义的方法。在这种情况下，进行扩展以将作为描述项性质的ImageSpatialExtentsProperty指定为变换性质。如果将ImageSpatialExtentsProperty作为变换性质进行处理，则通过将该性质与作为被定义为派生图像的标识(iden)派生图像项所定义的图像项相关联，可以通过意图描述性质或变换性质来识别该性质是否与该图像项相关联。更具体地，如果与iden派生图像项相关联的ImageSpatialExtentsProperty不同于与作为派生源的图像项相关联的ImageSpatialExtentsProperty，则解释为需要应用图像大小的放大/缩小操作。在这种情况下，作为image_width参数，以像素为单位指定大小改变之后的图像的宽度。类似地，作为image_height参数，以像素为单位指定大小改变之后的图像的高度。注意，施加了在未定义派生图像项的情况下不能直接改变图像大小的限制。
另一方面，图27所示的ImageSpatialExtentsProperty是具有数据结构的改变的扩展。这是包括描述2701的image_width参数、描述2702的image_height参数、描述2703的target_width参数和描述2704的target_height参数的数据格式。该数据格式是用于通过指定编码图像数据的重建大小和显示目标大小来描述图像大小信息以及放大/缩小的描述项性质和变换项性质。在ImageSpatialExtentsProperty中，描述了关联图像项的宽度和高度。所有图像项都与该类型的一个项性质相关联。描述2701的image_width参数和描述2702的image_height参数以像素为单位指示转换之前的关联图像项的重建图像的原始大小。如果flags&1为1，则将重建图像从由image_width参数和image_height参数所指定的像素大小调整为由target_width参数和target_height参数所指定的像素大小。image_width参数以像素为单位指定大小改变之前的重建图像的宽度。image_height参数以像素为单位指定大小改变之前的重建图像的高度。target_width参数以像素为单位指定大小改变之后的重建图像的宽度。target_height参数以像素为单位指定大小改变之后的重建图像的高度。图27的扩展使得即使ImageSpatialExtentsProperty未被定义为iden派生图像项，也可以直接将放大/缩小所用的项性质与图像项相关联。另一方面，通过将ImageSpatialExtentsProperty定义为iden派生图像项，项性质可以与图像项相关联。
元数据处理单元106将步骤S804中创建的组信息的元数据保存在RAM 103的输出缓冲器中。
步骤S805和S806中的后续处理也由元数据处理单元106执行。在步骤S805中，元数据处理单元106判断幻灯片放映的图像的显示时间(时间段)的一部分是否相同并且可被指定为默认值。如果可以指定默认值(步骤S805中为“是”)，则处理进入步骤S806；否则(步骤S805中为“否”)，处理进入步骤S807。在步骤S806中，元数据处理单元106将默认显示时间(时间段)的参数设置在步骤S804中所设置的组中。更具体地，元数据处理单元106将默认显示时间(时间段)设置在所创建的组信息(SlideshowEntityToGroupBox)的数据的default_entity_duration参数(参见图9中的描述903)中。可选地，在图21所示的EntityToGroupBox的结构的情况下，在(后面要说明的)SlideShowTimingProperty中的slide_show_timing参数中设置值，并且该值作为图像组属性与图像组相关联。在步骤S807中，元数据处理单元106设置用于指定各图像的显示时间(时间段)的图像属性信息以单独设置幻灯片放映的各图像的显示时间(时间段)。注意，如果设置了默认显示时间(时间段)，则不需要针对设置了默认显示时间(时间段)的图像将显示时间(时间段)指定为各图像属性信息。如以上在第一实施例中所述，该图像属性信息是图14的区域1408(ItemPropertiesBox(iprp))中所存储的元数据。步骤S807中创建的图像属性信息包括图14的区域1409(ItemPropetyContainerBox(ipco))中所存储的条目数据和图14的区域1410(ItemPropertyAssociationBox(ipma))中所存储的条目数据。元数据处理单元106创建指示显示时间(时间段)的数据作为要存储在ipco中的条目数据。注意，如果在文件创建时没有指定显示时间(时间段)，则可以不存储用于指定显示时间的性质，或者该性质可以仅不与没有指定显示时间的图像相关联。可选地，可以存储通过指定诸如0等的值来指示在文件再现时指定任意时间(时间段)的信息以关联性质。
注意，可以采用如下结构，该结构禁止针对各图像项指定幻灯片放映显示的时间(时间段)并且可以仅针对组指定一个时间(时间段)。在这种情况下，不需要步骤S805和S807中的处理，并且仅进行步骤S806中的处理。在这种情况下，对于区域1410(ItemPropertyAssociationBox(ipma))中所存储的条目数据，可以直接指定作为SlideshowEntityToGroup(幻灯片放映实体到组)的组识别信息的组ID。在这种情况下，指示组的ID需要在统一的ID空间中，其中在该空间中，可以使该ID相对于其它项ID或轨ID被唯一地识别。另一方面，如果针对各项指定了相同的显示时间(时间段)，则可以将相同的性质应用于组中所存储的所有项。
图10示出作为用于指定幻灯片放映中的图像显示时间(时间段)的属性信息的ImageDurationProperty的数据格式。图10所示的ImageDurationProperty具有包括描述1001的image_duration参数的数据格式，其中在该参数中设置了显示时间(时间段)。作为被设置为显示时间(时间段)的时间的单位，假定为sec或msec。然而，本发明不限于此，并且使用可以指定时间的任何单位。可选地，可以使用由再现装置用于决定显示时间(时间段)的相对时间参数。假定作为相对参数，例如可以指定被指定为默认显示时间(时间段)的值的百分比或倍数。数据格式可以包括诸如time_unit等的用于指定单位的参数。用于指定单位的该参数可被配置为根据version或flags的值是有效的。参数的指定可以指定image_duration参数的时间单位。作为可指定的值，能够唯一识别min、sec、msec、μsec或其它时间单位的方法是可行的。如果显示时间(时间段)针对各显示图像而不同，则在ipco中存储数量与显示图像的数量相等的不同参数值的ImageDurationProperty数据。然后，为了指定各显示图像的显示时间(时间段)，创建并存储用于将显示图像的项ID与所创建的ImageProperty的条目数据相关联的ipma的条目数据。此外，当显示各图像时，创建与指示画布中的显示各图像的位置的显示位置有关的数据。针对与ImageDurationProperty相关联的显示图像，将显示时间(时间段)指定为优先于SlideshowEntityToGroupBox的default_entity_duration参数。在图21所示的SlideshowEntityToGroupBox的情况下，将显示时间(时间段)指定为优先于与组相关联的默认显示时间。注意，如果在文件创建时没有指定显示时间(时间段)，则可以不存储用于指定显示时间的性质，或者该性质可以仅不与没有指定显示时间的图像相关联。可选地，可以关联用于存储通过指定诸如0等的值来指示在文件再现时指定任意时间(时间段)的信息的性质。
图23示出用于指定幻灯片放映中的默认图像显示时间(时间段)的SlideShowTimingProperty的数据格式。图23所示的SlideShowTimingProperty具有包括描述2301的slide_show_timing参数的数据格式，其中在该参数中设置了默认显示时间(时间段)。作为被设置为显示时间(时间段)的时间的单位，假定为sec或msec。然而，本发明不限于此，并且使用可以指定时间的任何单位。可选地，可以使用由再现装置用于决定显示时间(时间段)的相对时间参数。数据格式可以包括诸如time_unit等的用于指定单位的参数。用于指定单位的参数可被配置为根据version或flags的值是有效的。参数的指定可以指定default_entity_duration参数的时间单位。作为可指定的值，能够唯一识别min、sec、msec、μsec或其它时间单位的方法是可行的。该性质在指定图21所示的SlideshowEntityToGroupBox中的默认图像显示时间(时间段)时是优选的。该项性质用于指定EntityToGroupBox中的两个连续图像项之间的持续时间。该项性质是仅与实体组相关联的性质。假定该性质与SlideshowEntityToGroupBox相关联，但本发明不限于此。也就是说，该性质可用于其它类型的EntityToGroupBox。注意，本实施例指定在slide_show_timing参数中指定的显示时间(时间段)。换句话说，可以解释为通过将SlideshowEntityToGroupBox中所存储的项ID的各个顺序索引乘以参数的值而获得的定时指示了在自幻灯片放映开始起的经过时间之后显示项ID的图像的定时。注意，如果在文件创建时没有指定显示时间(时间段)，则可以不存储用于指定显示时间的性质，或者该性质可以仅不与没有指定显示时间的组或图像相关联。可选地，可以关联用于存储通过指定诸如0等的值来指示在文件再现时指定任意时间(时间段)的信息的性质。
注意，在本实施例中，用于针对各项单独指定显示时间(时间段)的ImageDurationProperty和用于针对组指定默认显示时间(时间段)的SlideShowTimingProperty具有不同的框结构，但也可以具有共同的框结构。在这种情况下，如果性质与项相关联，则这指示个体显示时间(时间段)，并且如果性质与组相关联，则这指示整个组的默认显示时间(时间段)。在这种情况下，优先使用针对各项单独指定的显示时间(时间段)。另一方面，如上所述，该性质可被配置为禁止针对各项的指定并且仅应用于组。这可以简化幻灯片放映显示所用的处理。另外，这可以明确与将图像作为轨进行存储的情况的差异。
图11示出用于指定图像的配置信息的属性信息ImageLocationProperty的数据格式。图11所示的ImageLocationProperty包括alignment_position参数1101，该alignment_position参数1101表示在由imlo标识的框中version为1的情况下相对于画布的相对位置。该alignment_position参数是由指定相对于画布的相对位置的值决定的。如果alignment_position参数为0，则显示图像被显示成画布的左上与画布对齐。也就是说，通过将显示图像的左上与画布的左上对齐来显示该显示图像。此时，如果显示图像较小，则显示由在SlideshowEntityToGroupBox中指定的canvas_fill_value参数所决定的颜色。如果显示图像较大，则仅显示落在画布内的范围的图像部分。在本实施例中，以这种方式显示图像，但可以使用放大/缩小图像的显示方法。类似地，如果alignment_position参数为1，则通过将图像的中上与画布的中上对齐来显示图像。如果alignment_position参数为2，则通过将图像的右上与画布的右上对齐来显示图像。如果alignment_position参数为3，则通过将图像的左中与画布的左中对齐来显示图像。如果alignment_position参数为4，则通过将图像的正中与画布的正中对齐来显示图像。如果alignment_position参数为5，则通过将图像的右中与画布的右中对齐来显示图像。如果alignment_position参数为6，则通过将图像的左下与画布的左下对齐来显示图像。如果alignment_position参数为7，则通过将图像的中下与画布的中下对齐来显示图像。如果alignment_position参数为8，则通过将图像的右下与画布的右下对齐来显示图像。注意，alignment_position参数的9或更大的值是保留值。注意，在本实施例中，alignment_position参数由数值表示，但可以通过指派位来表示。如果例如所有位都为0，则显示图像被显示成画布的左上与画布对齐。如果仅第一位为1，则通过将图像的中上与画布的中上对齐来显示图像。如果仅第二位为2，则通过将图像的右上与画布的右上对齐来显示图像。可以进行这样的定义。在这种情况下，假定禁止将多个位设置为1。
如果version不为1，则由以画布的左上为基准的horizontal_offset参数和vertical_offset参数的偏移值来指定位置(描述1102)。注意，如果针对各偏移值指定0，则该设置相当于在version为1的情况下指定图像的左上。不包括具有负偏移值的像素位置。注意，不应指定超过在SlideshowEntityToGroupBox中指定的output_width参数的水平方向上的像素位置。类似地，不应指定超过在SlideshowEntityToGroupBox中指定的output_height参数的垂直方向上的像素位置。在本实施例中，ImageLocationProperty用于指定在幻灯片放映显示时相对于画布的显示位置，但可用于其它应用。例如，图像通常以指定的图像大小显示，使得当在监视器(任意画面)上进行全屏显示时，图像显示在监视器的中央。然而，如果指定了图像属性信息，则ImageLocationProperty可用于指定监视器画面中的显示有图像的位置。此外，在本实施例中，添加用于指定显示位置的图像属性信息。然而，如上所述，可以指定用于进行指定以放大/缩小图像并显示该图像的图像属性信息。
ImageLocationProperty是为了决定画布上的图像位置而使用项性质形成的。另一方面，可以使用图22所示的ImageOverlay派生图像。在ISO/IEC23008-12(第12部分)中定义的ImageOverlay派生图像的当前结构中，可以通过指示像素位置来对齐图像，但如图11的ImageLocationProperty所示，不能通过指示相对于画布的相对位置的已定义值来进行对齐。为了应对该问题，通过用图22所示的结构进行替换，上述相对对齐变得可能。item_type值为“iovl”的项通过在大画布中按指定层顺序覆盖一个或多于一个输入图像来定义派生图像项。在ItemReferenceBox中的类型为dimg的派生图像项的SingleItemTypeReferenceBox(单个项类型参考框)中，以首先显示底部输入图像并且最后显示顶部输入图像的层顺序来显示输入图像的列表。如果version为0，则该位置由来自画布的左上角的像素位置表示。如已经定义的，图22中的horizontal_offset参数和vertical_offset参数(描述2202)存储来自左上角的像素偏移信息。如果version为1，则定义了指示相对于画布的预定义相对位置的信息。图22的alignment_position参数(描述2201)与图11所示的ImageLocationProperty中的alignment_position参数相同。通过将ImageOverlay的项ID存储为SlideshowEntityToGroup的实体，即使在图21所示的SlideshowEntityToGroup的情况下也可以指定画布。
接着，元数据处理单元106创建用于指定幻灯片放映显示时的图像切换(过渡)效果的图像属性信息，作为其它图像属性信息的指定。图12示出用于指定幻灯片放映中的切换(过渡)效果的属性信息TransitionEffectProperty的数据格式。图24所示的TransitionEffectProperty的数据格式是通过使得能够在图12所示的数据格式中指定version所获得的。在图24所示的格式的情况下，当version为1时，可以指定(后面要说明的)transition_duration参数。如果version为0，则将预定义的默认值用于transition_duration参数。在另一形式中，可以形成无transition_duration参数的项性质。该性质定义在EntityToGroupBox中的两个连续项的显示操作之间应用的切换(过渡)效果。该性质可以与项或实体组相关联。如果相同的图像存储在一个或不同的幻灯片放映组中、并且应用不同的切换(过渡)效果，则考虑使用被定义为派生图像的标识(iden)派生图像项的方法。还考虑用于将不同的item_id值指派给相同的图像数据的方法。在这种情况下，可以通过进行如下的指定来针对相同的图像数据指定不同的item_id值：在itemInformationBox(项信息框)(iinf)中指定的item_id值不同的两个或多于两个图像项在ItemLocationBox(iloc)中具有相同的偏移和大小。此外，考虑了可以通过扩展ItemPropertyAssociationBox以新定义框来进行指定的结构。这些指定方法不仅可用于幻灯片放映中的项性质的指定，而且还可用于其它项性质的指定。图12或图24所示的TransitionEffectProperty是由用于指定切换(过渡)效果的transition_effect参数(描述1201或2401)和指示切换(过渡)效果的时间(时间段)的transition_duration参数(描述1202或2402)构成的。transition_effect参数是用于通过指定值来指定图像显示时的效果的参数。例如，如果针对transition_effect参数指定0，则进行剪切(cut)切换(过渡)效果。如果transition_effect参数为1，则进行淡入淡出(fade)切换(过渡)效果。如果transition_effect参数为2，则进行划变(wipe)切换(过渡)效果。如果transition_effect参数是3，则进行分割(split)切换(过渡)效果。这样，指定用于识别预先决定的效果的值。此外，如果transition_effect参数为4，则进行化入(dissolve-in)切换(过渡)效果。如果transition_effect参数为5，则进行缩放(zoom)切换(过渡)效果。这样，指定用于识别预先决定的效果的值。其它值可以是未定义的，并且可以添加定义以识别预先决定的效果。transision_duration参数用于指定进行由transition_effect参数所指定的切换(过渡)效果的时间(时间段)。作为被设置为切换(过渡)效果的时间的时间的单位，假定为sec或msec。然而，本发明不限于此，并且使用可以指定时间的任何单位。可选地，可以使用由再现装置用于决定显示时间(时间段)的相对时间参数。作为相对时间参数，例如，可以指定针对各项所指定的显示时间(时间段)的指定百分比或倍数的时间(时间段)。
数据格式可以包括用于指定诸如time_unit等的单位的参数。用于指定单位的参数可被配置为根据version或flags的值是有效的。参数的指定可以指定default_entity_duration参数的时间单位。作为可指定的值，能够唯一地识别min、sec、msec、μsec或其它时间单位的方法是可行的。可被配置为通过参数切换任意时间单位或者百分比或倍数的指定。假定由参数指定的时间被指定为未包括在图9的duration参数(描述903)、图10的image_duration参数(描述1001)和图23的slide_show_timing(描述2301)的时间中的时间。然而，本发明不限于此。
在这种情况下，幻灯片放映显示时的总体显示所需的时间是针对单个项或组所指定的显示时间(时间段)以及进行针对单个项或组所指定的性质的切换(过渡)效果所需的时间的合计。例如，如果图23所示的SlideShowTimingProperty仅应用于组、并且TransitionEffectProperty仅应用于组，则时间是通过将如下的两个值相加所获得的时间(时间段)：通过将SlideShowTimingProperty的slide_show_timing参数的值乘以组中包括的项的数量所获得的值；以及通过将transition_duration值的值乘以组中包括的项的数量所获得的值。
可选地，如果时间包括在这些时间中，则总体显示所用的时间是针对单个项或组所指定的显示时间(时间段)的合计。此时，应指定比各显示时间(时间段)短的时间(时间段)。然而，如果指定更大的值，则不需要进行切换(过渡)效果，或者可以根据图像显示来进行切换(过渡)效果。可选地，在图像显示的效果期间，可以进行对下一图像的切换效果。另一方面，如果将指定百分比的时间(时间段)指定为相对时间参数，则无需考虑与各图像的显示时间(时间段)的大小关系。注意，在本实施例中，数据格式由两个参数构成，但各参数可被定义为不同的图像属性信息。此外，本实施例假定：指定在显示应用了图像属性信息的图像项时的效果，但可以附加地指定在结束图像的显示时的效果。此时，可以单独指定结束图像的显示时的效果和显示下一图像时的效果，或者可以指定这些效果中的仅一个效果作为限制。此外，如果性质的transition_duration参数包括在各图像项的显示时间(时间段)中，则考虑了transition_duration参数仅包括在两个连续图像的显示时间(时间段)中的第一个图像的显示时间(时间段)中的情况。还可以在两个连续图像的各个显示时间(时间段)中对称地包括transition_duration参数的值的50％。可选地，可以在数据格式中定义诸如cross_item_effect_ratio参数等的参数，并且该参数可用于指定要包括的第一个图像和第二个图像各自的百分比或时间。在这种情况下，如果所指定的值采用百分比，则需要指定等于或小于100％的值。所指定的百分比的时间包括在第一个图像的显示时间(时间段)中，并且100(指定百分比)的时间(时间段)包括在第二个图像的显示时间(时间段)中。注意，如果定义了cross_item_effect_ratio参数，则该参数可被配置为根据version或flags等的指定而是有效的。如果没有指定值，则可以在各图像的显示时间(时间段)中包括诸如50％等的预先指定的百分比的时间作为默认值。
可以在各切换(过渡)效果中在项性质中定义参数，由此指定切换(过渡)效果的操作。图28所示的TransitionEffectProperty是可以在项性质中指定切换(过渡)效果的操作的性质。TransitionEffectProperty由用于指定切换(过渡)效果的transition_effect参数(描述2801)和指示切换(过渡)方向的transition_direction参数(描述2802)构成。与图12或图24类似，该性质定义了在EntityToGroupBox中的两个连续项的显示操作之间应用的切换(过渡)效果。该性质可以与项或实体组相关联，并且可以通过与图12或图24相同的方法针对一个图像指定不同的切换(过渡)效果。如果(flags&1)等于1，则根据由transition_effect参数(描述2801)指定的切换(过渡)效果所应用的推荐切换(过渡)方向由transition_direction参数(描述2802)指定。如果(flags&1)不等于1，则不应用该参数。注意，该参数可被定义为不论切换(过渡)方向如何都根据切换(过渡)效果所应用的可指定的任意参数。
transition_effect参数(描述2801)是用于通过指定值来指定图像显示时的效果的参数。例如，如果针对transition_effect参数指定0，则进行剪切切换(过渡)效果。在这种情况下，即使指定了transition_direction参数(描述2802)，也会忽略该参数。如果transition_effect参数为1，则进行淡入淡出或淡入切换(过渡)效果。如果transition_effect参数为2，则进行叠化(dissolve)切换(过渡)效果。在这些情况下，类似地忽略transition_direction参数的值。如果transition_effect参数为3，则进行划变切换(过渡)效果，并且仅将各自由transition_direction参数所指定的(后面要说明的)值6至13识别为有效值。如果transition_effect参数为4，则进行分割切换(过渡)效果，并且仅将各自由transition_direction参数所指定的(后面要说明的)值2至5识别为有效值。如果transition_effect参数为5，则进行缩放切换(过渡)效果，并且仅将各自由transition_direction参数所指定的(后面要说明的)值0至1识别为有效值。如果transition_effect参数为6，则进行推送(push)切换(过渡)效果，并且仅将各自由transition_direction参数所指定的(后面要说明的)值6至13识别为有效值。这样，指定用于指定预先决定的效果的值。其它值可以是未定义的，并且可以添加定义以识别预先决定的效果。描述2802的transition_direction参数是指示要应用的切换(过渡)方向的参数，并且指定以下值其中之一。也就是说，定义如下：在0的情况下为in，在1的情况下为out，在2的情况下为horizontal-in，在3的情况下为horizontal-out，在4的情况下为vertical-in，在5的情况下为vertical-out，在6的情况下为from-left，在7的情况下为from-right，在8的情况下为from-top，在9的情况下为from-bottom，在10的情况下为from-left-top，在11的情况下为from-right-top，在12的情况下为from-left-bottom，并且在13的情况下为from-right-bottom。其它值是未定义的。如果transition_direction值超出针对transition_effect参数所允许的范围，则忽略该值。
通过transition_effect参数和transition_direction参数的组合来指定切换(过渡)效果。例如，如果针对transition_effect参数指定3的划变效果，则可以针对transition_direction参数指定值6至13其中之一。如果所指定的值为6，则指定从左起的划变操作。另外，对于划变效果，可以指定从右、上、下、左上、右上、左下或右下起的操作。这同样适用于其余的切换(过渡)效果。可以在项性质中定义和指定用于根据各切换(过渡)效果指定详细操作的参数。
在本实施例中，使用transition_effect参数(描述1201、2401或2801)来指定切换(过渡)效果的类型。然而，针对各切换(过渡)效果，可以使用4CC将各切换(过渡)效果的项性质表示为其它项性质。图29、图30和图31各自示出示例。图29所示的WipeTransitionEffectProperty是指示在实体组的两个连续项的显示操作之间应用的划变切换(过渡)效果的性质。描述通过从第一个图像划变到第二个图像来输出下一图像的效果。该项性质与两个连续项中的第一个项相关联。对于描述2901的transition_direction参数，指定以下值其中之一。作为切换(过渡)方向，应用以下：在0的情况下为from-left，在1的情况下为from-right，在2的情况下为from-top，在3的情况下为from-bottom，在4的情况下为from-left-top，在5的情况下为from-right-top，在6的情况下为from-left-bottom，或者在7的情况下为from-right-bottom。其它值是未定义的。注意，可以使用flags等来切换是否使参数有效。
图30所示的ZoomTransitionEffectProperty是指示在实体组的两个连续项的显示操作之间应用的缩放切换(过渡)效果的性质。描述通过从第一个图像放大或缩小到第二个图像来输出下一图像的效果。该项性质与两个连续项中的第一个项相关联。描述3001的transition_direction参数指定以下值其中之一。作为切换(过渡)方向，应用以下：在1的情况下为in，或者在2的情况下为out。其它值是未定义的。注意，可以使用flags等来切换是否使参数有效。
图31所示的FadeInTransitionEffectProperty是指示在实体组的两个连续项的显示操作之间应用的淡入切换(过渡)效果的性质。描述了通过从第一个图像淡入到第二个图像来输出下一图像的效果。该项性质与两个连续项中的第一个项相关联。由于在该性质中不存在可指定的切换(转换)方向，因此不保持参数。
另外，考虑了可以定义用于进行叠化(从第一个图像向第二个图像的平滑逐步过渡)切换(过渡)效果的DissolveTransitionEffectItemProperty(叠化过渡效果项性质)。可以类似地针对各个其余切换(过渡)效果来定义不同的项性质。可以将cutTransitionEffectItemProperty(剪切过渡效果项性质)定义为剪切(从第一个图像到第二个图像的瞬时过渡)效果，可以将splitTransitionEffectItemProperty(分割过渡效果项性质)定义为分割(通过垂直或水平分割图像向第二个图像的过渡)效果，并且将pushTransitionEffectITemProperty(推送过渡效果项性质)定义为推送(通过用第二个图像推送第一图像的过渡)效果。如果针对这些效果中的各效果存在可指定的transition_direction参数，则将相应参数定义为可指定的值。
在transition_effect参数(描述1201、2401或2801)中，还可以针对作为未定义值的保留值的切换(过渡)效果来定义新的项性质。可以针对图像项或组来单独指定该性质。另一方面，如果定义了单独的项性质，则需要将意图进行切换(过渡)效果中的最多一个的项性质与项相关联。也就是说，定义了仅可以关联切换(过渡)效果中的最多一个的项性质的限制。另一方面，可以应用多个切换(过渡)效果，并且可以表示通过混合这些切换(过渡)效果所获得的切换(过渡)效果。此外，可以由用户使用uuid等来定义切换(过渡)效果。如果使用uuid定义切换(过渡)效果，则需要在文件生成侧和文件再现侧支持该切换(过渡)效果。
注意，图12、图24或图28所示的TransitionEffectProperty是在其它的描述项性质和变换项性质之后关联的。
可以将图10的ImageDurationProperty或图23的SlideShowTimingProperty以及图12或图24的TransitionEffectProperty总结为一个图像属性信息。图13示出作为通过总结图10的ImageDurationProperty和图12的TransitionEffectProperty所获得的图像属性信息的SlideShowProperty的数据格式。在图13所示的结构的情况下，可以共同指定与幻灯片放映有关的图像属性信息。类似地，可以通过组合指示显示时间(时间段)的图像属性信息和指示切换(过渡)效果的图像属性信息来获得一个图像属性信息。这些图像属性信息可以应用于图像组。
将步骤S807中创建的图像属性信息的元数据保存在RAM 203的输出缓冲器中。然后，在步骤S806或S807的处理之后，处理进入步骤S808，由此结束幻灯片放映的元数据处理序列。
图15是示出根据本实施例所输出的HEIF文件的示例的图。在由图15中的描述1501指示的PrimaryItemBox(pitm)中，存储1作为item_ID。注意，可以扩展PrimaryItemBox，以将用以识别上述的SlideshowEntityToGroup的组ID指定为在该框中指定的ID。在这种情况下，将作为(后面要说明的)group_id的1001指定为ID。由描述1502指示的ItemInfoBox使得能够通过item_ID识别各图像项，并且指示通过item_ID所识别的图像项的类型。item_ID为1的图像项是“hvc1”，其指示HEVC编码图像。类似地，存储直到item_ID为48的图像项为止的所有图像项作为HEVC编码图像。由描述1503指示的ItemLocationBox指示各图像数据位流在文件中的存储位置。可以指定MediaDataBox中的各图像的数据存在的位置。描述1504指示ItemProperiesBox中的ItemPropertyContainerBox，并且存储指示图像的属性信息的ItemProperty。“hvcC”指示HEVC编码参数。“ispe”是指示图像的大小的属性信息。“dura”是上述的ImageDurationPropertyBox(图像持续时间性质框)。“imlo”是ImageLocationPropertyBox(图像位置性质框)。“teff”是TransitionEffectPropertyBox(过渡效果性质框)。ItemPropertyAssociationBox1505指示各图像项和属性信息之间的关联。各图像项顺次与“ipco”中的属性信息相关联。例如，共同的ispe与item_ID 1和item_ID2相关联，这指示共同的图像大小。另一方面，将不同的“ispe”应用于item_ID 3，这指示不同的图像大小。此外，由于dura不与item_ID 1相关联，因此应用默认显示持续时间。将不同的显示时间段应用于item_ID 2和item_ID 3。描述1507指示SlideshowEntityToGroupBox。指定1001作为group_id，指定48作为组的条目数量，指定不透明黑色作为画布填充值，并且指定宽度4032和高度3024作为画布的大小。按幻灯片放映显示顺序在entity_id中指定1和2至48作为各个图像的项ID。这样存储了幻灯片放映显示所用的信息。
如上所述，如果进行本实施例中所述的幻灯片放映的元数据创建处理，则所创建的HEIF图像文件具有图14所示的内部结构。注意，在第一实施例中，描述了幻灯片放映的派生图像。因此，图6的区域606(ItemInfoBox(iinf))存储具有派生图像的项ID的条目。然而，在本实施例中，显然，图14的区域1406(iinf)不包括指示幻灯片放映的派生图像的条目。在第一实施例中，创建幻灯片放映的派生图像的图像属性信息和项参考信息，并且作为条目数据分别存储在图6的区域607(ItemReferenceBox(iref))和区域608(ItemProptiesBox(iprp))中。然而，在本实施例中，显然，在图14的区域1407(iref)和区域1408(iprp)中不包括与幻灯片放映的派生图像有关的条目。
在本实施例中，使用用于在上述结构中对要在幻灯片放映中显示的图像进行分组并且将幻灯片放映显示时的各图像的属性信息应用于各图像的方法。然而，可以使用用于将图像进行分组并将关联属性作为组的参数或性质进行保持的任何方法。
根据本实施例，通过对幻灯片放映显示所用的图像进行分组，可以容易地识别并存储HEIF文件中所存储的多个图像中的意图用于幻灯片放映显示的图像。通过存储与画布有关的信息作为组的参数，可以统一并处理幻灯片放映显示时的大小。通过保持与显示时间(时间段)有关的信息作为组的参数、组的属性信息或各图像的属性信息，可以任意指定幻灯片放映显示的时间。通过保持图像显示时的画布位置信息作为图像属性信息或分组派生图像的参数，可以指定显示位置。此外，通过使得可以将幻灯片放映显示时的图像切换(过渡)效果指定为图像属性信息，可以进行更灵活的幻灯片放映。通过指定被定义为派生图像、网格(grid)图像或覆盖(iovl)图像的标识(iden)作为SlideshowEntityToGroupBox中所存储的图像，可以将派生图像显示为幻灯片放映。还可以使用不同的组ID将SlideshowEntityToGroupBox的多个框存储在一个文件中，并且将多个幻灯片放映表示存储在一个文件中。
[第三实施例]
根据第三实施例的图像文件创建设备具有与在第一实施例中参考图1所述的配置相同的配置。图2所示的图像文件创建处理的序列和图20所示的幻灯片放映再现序列可以类似地应用于本实施例。然而，在本实施例中，图2中的幻灯片放映的元数据创建处理(S212)和设置主图像项信息的处理(S213)不同于第一实施例。因此，本实施例将主要参考图16、图17、图18和图19来说明步骤S212和S213中的处理。
图16是示出HEIF标准中的PrimaryItemBox(pitm)的数据格式的图。在本实施例中，使用通过扩展图16所示的pitm的规格所获得的数据格式。图17示出通过扩展pitm的规格所获得的PrimaryItemBox的数据格式的示例。该扩展意图使得可以指定一个或多于一个图像项作为主图像项信息。在步骤S212的处理中，元数据处理单元106选择要在幻灯片放映中显示的图像，并且按显示顺序创建项ID的列表。然后，创建用于指定要在幻灯片放映中显示的一个或多于一个项ID作为一个或多于一个主图像项的项ID列表。在步骤S213中，元数据处理单元106基于在步骤S212中创建的项ID的列表将图像项ID按列表的顺序存储在图17的描述1701或1702的一部分中，并且将所存储的项ID的数量设置在item_count参数中。这样针对要创建的HEIF文件指定一个或多于一个图像作为一个或多于一个主图像项。在本实施例中，在步骤S212中，元数据处理单元106创建用于指定幻灯片放映的各图像的显示时间(时间段)以单独设置各图像的显示时间(时间段)的图像属性信息。设置图像属性信息的该处理与在上述第二实施例中所述的图8的步骤S807中的处理相同，并且元数据处理单元106创建ItemPropertiesBox(iprp)的元数据并将该元数据保存在RAM 203中。作为另一方法，当前在HEIF标准中可以指定PrimaryItemBox的仅一个框，但可以使用用于使得能够指定PrimaryItemBox的多个框并将这些框按幻灯片放映中的显示顺序存储的方法。
图18示出通过扩展pitm的规格所获得的PrimaryItemBox的数据格式的另一示例。在图18所示的数据格式中，可以在PrimaryItemBox中指定第二实施例中所述的SlideshowEntityToGroupBox的group_id(描述1801)。
图19示出根据本实施例所输出的HEIF文件的示例。图19示出可以指定group_id的文件的示例。参考图19，在由描述1901指示的PrimaryItemBox(pitm)中指定在SlideshowEntityToGroupBox(描述1507)中指定的group_id 1001。图19中的描述1902至1907与在第二实施例中所述的图15中的描述1502至1507相同。
如上所述，根据本实施例，通过在扩展后的PrimaryItemBox中指定幻灯片放映显示所用的图像，可以容易地识别并存储HEIF文件中所存储的多个图像中的意图用于幻灯片放映显示的图像。通过使得可以在PrimaryItemBox中指定通过在EntityToGroupBox中进行分组所获得的组ID，可以将多个图像作为最高优先级图像组进行处理。通过保持与显示时间(时间段)有关的信息作为组的参数或各图像的属性信息，可以任意指定幻灯片放映显示的时间。通过保持图像显示时的画布位置信息作为图像属性信息，可以指定显示位置。此外，通过使得可以指定幻灯片放映显示时的图像切换(过渡)效果作为图像属性信息，可以进行更灵活的幻灯片放映显示。注意，在本实施例中，通过扩展PrimaryItemBox来启用意图用于幻灯片放映的文件存储。然而，可以使用任何不同的扩展方法，只要可以存储幻灯片放映即可。
各实施例说明了图像文件创建处理以及图像文件中所存储的幻灯片放映的元数据创建处理的实施例。如图6或图14所示，各实施例中创建的HEIF图像文件具有ftyp、meta和mdat(图6的元数据存储区域602(MetaBox(meta))和编码数据存储区域611(MediaDataBox(mdat)))布置在最上层的结构。然而，图像文件创建设备所创建的HEIF文件不限于该内部结构。例如，可以进行上述实施例中的任一实施例，由此使得可以还存储运动图像数据并通过MovieBox(动画框)(moov)的元数据创建HEIF文件。
在HEIF中，包括作为时间上连续的静止图像的图像序列的HEIF文件需要将连续静止图像在自身中定义为视频轨，使得用于显示图像的应用可以进行连续显示处理。作为文件结构，除meta之外，还可以需要moov的元数据。在上述各个实施例中，创建将多个图像数据的幻灯片放映的信息包括在meta中的HEIF文件。也就是说，在包括幻灯片放映(其中用户选择多个任意图像并决定任意顺序和显示时间(时间段))的设置的图像文件的创建中，与存储图像序列的HEIF文件的生成相比，可以更高效地创建HEIF文件。
此外，在上述各个实施例中，例示了HEIF作为文件格式。然而，一个文件可以存储多个图像文件并且可以保持与图像文件有关的元数据的这种文件可以应用于其它格式。
(其它实施例)
本发明可以通过以下处理来实现：将用于实现上述实施例的一个或多于一个功能的程序经由网络或存储介质供给至系统或设备，并且使得该系统或设备的计算机中的一个或多于一个处理器读出并执行该程序。本发明还可以通过用于实现一个或多于一个功能的电路(例如，ASIC)来实现。
在上述各个实施例的说明中，说明了创建图像文件的处理(图2等)和再现所创建的图像文件的处理(图20等)由同一设备(即，图像文件创建设备100)执行的示例，但这些处理可以由不同的设备执行。也就是说，通过有线或无线通信接收到了图像文件创建设备100所创建的图像文件的图像文件再现设备可以分析所接收到的图像文件并执行图20的处理，由此再现图像文件。
本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，添加所附权利要求书。
本申请要求2019年7月1日提交的日本专利申请2019-123136、2019年9月30日提交的日本专利申请2019-180721和2020年1月7日提交的日本专利申请2020-000990的优先权，这些申请在此通过引用而被并入本文。

Claims (15)

1.一种图像文件创建设备，用于根据包括图像数据区域和元数据区域的结构的预定图像文件格式来创建图像文件，所述图像数据区域用于存储图像，所述元数据区域用于存储作为与所述图像有关的信息的元数据，其特征在于，所述图像文件创建设备包括：
决定部件，用于从所述图像数据区域中所存储的图像中，决定要连续显示的多个图像；以及
元数据处理部件，用于创建针对所述多个图像中的各图像的识别信息以及所述图像数据区域中的存储有与所述识别信息相对应的图像的位置的信息，将所创建的信息存储在所述元数据区域中，并且还将用于指示所述多个图像的显示顺序的信息和用于指示所述多个图像中的各图像的显示时间的信息存储在所述元数据区域中。
2.根据权利要求1所述的图像文件创建设备，其特征在于，所述元数据处理部件设置参考所述多个图像的派生图像，创建用于指示所述多个图像的显示顺序的信息作为所述派生图像的描述信息，并且将所创建的信息存储在所述元数据区域中。
3.根据权利要求2所述的图像文件创建设备，其特征在于，所述元数据处理部件创建用于将所述识别信息与同所述识别信息相对应的图像的属性信息相关联的信息作为所述派生图像的属性信息，并且将所创建的信息存储在所述元数据区域中。
4.根据权利要求1所述的图像文件创建设备，其特征在于，所述元数据处理部件创建用于对所述多个图像进行分组的信息，并且将用于进行分组的该信息存储在所述元数据区域中，用于进行分组的该信息包括用于指示所述多个图像的显示顺序的信息和用于指示所述多个图像中的各图像的显示时间的信息。
5.根据权利要求1所述的图像文件创建设备，其特征在于，所述元数据处理部件：
创建用于对所述多个图像进行分组的信息，并且将用于进行分组的该信息存储在所述元数据区域中，用于进行分组的该信息包括用于指示所述多个图像的显示顺序的信息，以及
创建用于将所述识别信息与同所述识别信息相对应的图像的属性信息相关联的信息作为该图像的属性信息，并且将所创建的信息存储在所述元数据区域中，所创建的该信息包括用于指示所述多个图像中的各图像的显示时间的信息。
6.根据权利要求1所述的图像文件创建设备，其特征在于，所述元数据处理部件：
创建用于对所述多个图像进行分组的信息，并且将用于进行分组的该信息存储在所述元数据区域中，用于进行分组的该信息包括用于指示所述多个图像的显示顺序的信息，以及
创建用于将通过分组所获得的所述多个图像的组的识别信息与同该组的识别信息相对应的该组的属性信息相关联的信息，作为该组的属性信息，并且将所创建的信息存储在所述元数据区域中，所创建的该信息包括用于指示所述多个图像中的各图像的显示时间的信息。
7.根据权利要求1至6中任一项所述的图像文件创建设备，其特征在于，所述图像文件格式是高效率图像文件格式即HEIF。
8.根据权利要求7所述的图像文件创建设备，其特征在于，所述元数据处理部件在所述元数据区域中的指定主图像项的区域即PrimaryItemBox中，指定用于指定所述多个图像的信息。
9.根据权利要求8所述的图像文件创建设备，其特征在于，用于指定所述多个图像的信息是用于识别所述多个图像的组的组识别信息。
10.根据权利要求1至9中任一项所述的图像文件创建设备，其特征在于，所述元数据处理部件将与在显示所述多个图像的情况下的图像区域有关的信息存储在所述元数据区域中。
11.根据权利要求1至10中任一项所述的图像文件创建设备，其特征在于，所述元数据处理部件将在显示所述多个图像的情况下的图像切换时的效果的信息存储在所述元数据区域中。
12.根据权利要求1至11中任一项所述的图像文件创建设备，其特征在于，所述元数据处理部件将在显示所述多个图像的情况下的各图像的显示位置的信息存储在所述元数据区域中。
13.根据权利要求1至12中任一项所述的图像文件创建设备，其特征在于，还包括设置部件，所述设置部件用于基于用户操作来设置用于指示所述多个图像的显示顺序的信息和用于指示所述多个图像中的各图像的显示时间的信息。
14.一种图像文件创建方法，用于根据包括图像数据区域和元数据区域的结构的预定图像文件格式来创建图像文件，所述图像数据区域用于存储图像，所述元数据区域用于存储作为与所述图像有关的信息的元数据，其特征在于，所述图像文件创建方法包括：
从所述图像数据区域中所存储的图像中，决定要连续显示的多个图像；以及
创建针对所述多个图像中的各图像的识别信息以及所述图像数据区域中的存储有与所述识别信息相对应的图像的位置的信息，将所创建的信息存储在所述元数据区域中，并且还将用于指示所述多个图像的显示顺序的信息和用于指示所述多个图像中的各图像的显示时间的信息存储在所述元数据区域中。
15.一种程序，用于使得计算机用作根据权利要求1至13中任一项所述的图像文件创建设备。
CN202080049066.3A 2019-07-01 2020-06-10 图像文件创建设备、图像文件创建方法和程序 Pending CN114072847A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2019-123136 2019-07-01
JP2019123136 2019-07-01
JP2019180721 2019-09-30
JP2019-180721 2019-09-30
JP2020000990A JP7457506B2 (ja) 2019-07-01 2020-01-07 画像ファイル生成装置、画像ファイル生成方法、画像ファイル再生装置、画像ファイル再生方法、及びプログラム
JP2020-000990 2020-01-07
PCT/JP2020/022819 WO2021002165A1 (ja) 2019-07-01 2020-06-10 画像ファイル作成装置、画像ファイル作成方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN114072847A true CN114072847A (zh) 2022-02-18

Family

ID=74100660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080049066.3A Pending CN114072847A (zh) 2019-07-01 2020-06-10 图像文件创建设备、图像文件创建方法和程序

Country Status (5)

Country Link
US (1) US20220121704A1 (zh)
EP (1) EP3992916A4 (zh)
KR (1) KR20220027982A (zh)
CN (1) CN114072847A (zh)
WO (1) WO2021002165A1 (zh)

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3815458B2 (ja) * 2002-12-18 2006-08-30 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR100860510B1 (ko) * 2007-04-23 2008-09-26 엠엠비 주식회사 모바일 장치에서 시각 효과가 삽입된 슬라이드 쇼의 생성방법
US8396906B2 (en) * 2007-10-10 2013-03-12 Electronics And Telecommunications Research Institute Metadata structure for storing and playing stereoscopic data, and method for storing stereoscopic content file using this metadata
KR20090088772A (ko) * 2008-02-15 2009-08-20 삼성전자주식회사 슬라이드 쇼를 위한 영상파일을 생성 및 재생하기 위한시스템 및 방법
CA2668306A1 (en) * 2009-06-08 2010-12-08 Stephen R. Germann Method and system for applying metadata to data sets of file objects
JP5814513B2 (ja) * 2010-03-29 2015-11-17 オリンパス株式会社 画像通信システム
KR102104498B1 (ko) * 2013-11-22 2020-04-24 삼성전자주식회사 슬라이드 쇼를 제공하는 시스템 및 방법
WO2016118519A1 (en) * 2015-01-19 2016-07-28 Berman Matthew System and methods for facile, instant, and minimally disruptive playback of media files
US10291561B2 (en) * 2015-02-09 2019-05-14 Nokia Technologies Oy Apparatus, a method and a computer program for image coding and decoding
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
EP3107011B1 (en) 2015-06-16 2018-12-12 Nokia Technologies Oy Method, apparatus, and computer program product for storage of dynamically derived images in an image container file
GB2539461B (en) * 2015-06-16 2020-01-08 Canon Kk Image data encapsulation
JP7077625B2 (ja) 2018-01-16 2022-05-31 凸版印刷株式会社 印刷装置及び印刷方法
JP6476365B1 (ja) 2018-04-09 2019-02-27 洋子 遠藤 立体玩具
JP7072776B2 (ja) 2018-06-28 2022-05-23 ベルテクス株式会社 分離装置
CN113302944B (zh) * 2018-12-28 2023-10-27 索尼集团公司 信息处理装置和信息处理方法

Also Published As

Publication number Publication date
WO2021002165A1 (ja) 2021-01-07
EP3992916A4 (en) 2023-06-21
US20220121704A1 (en) 2022-04-21
EP3992916A1 (en) 2022-05-04
KR20220027982A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
JP6980884B2 (ja) 画像符号化装置、画像符号化方法及びプログラム
CN108810622B (zh) 视频帧的提取方法、装置、计算机可读介质及电子设备
JP2017225152A (ja) メディアファイルの生成装置、生成方法、及びプログラム
JP2003087785A (ja) 動画像符号化データの形式変換方法及び装置
JP7457506B2 (ja) 画像ファイル生成装置、画像ファイル生成方法、画像ファイル再生装置、画像ファイル再生方法、及びプログラム
KR20140146592A (ko) 컬러 그레이딩 미리 보기 방법 및 장치
JP2013211776A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム
KR20160103012A (ko) 비디오 컨텐츠를 렌더링할 때 초고선명 해상도로의 업스케일링을 최적화하는 방법, 장치, 및 컴퓨터 프로그램 제품
EP3992916A1 (en) Image file creation device, image file creation method, and program
US20210382931A1 (en) Information processing apparatus, control method of information processing apparatus, and non-transitory computer-readable storage medium
CN113037947B (zh) 一种连续动态图像中空间信息的编码方法
JP5484132B2 (ja) 映像処理装置及びその制御方法
KR20220108063A (ko) 데이터 처리 장치, 데이터 처리 방법, 및 프로그램
KR100487374B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
JP2006325082A (ja) 動画データ編集装置および方法
KR100487330B1 (ko) 디지털 비디오의 썸네일 영상 생성 장치
EP4221191A1 (en) Media file generation device, media file playback device, media file generation method, media file playback method, program, and recording medium
US20230140152A1 (en) Image processing apparatus, image capturing apparatus, control method, and storage medium
JP7321991B2 (ja) メディアファイルの生成装置、メディアファイルの再生装置、メディアファイルの生成方法、メディアファイルの再生方法、プログラム、記憶媒体
JP2022109138A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021193777A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP3188237B2 (ja) 画像符号化装置及び画像復号装置
JP2024044783A (ja) 画像処理装置、画像処理方法
Chan et al. New application of MV-and 3D-HEVC for multi-intensity illuminated infrared video coding
KR101426083B1 (ko) 디지털 기기에서 썸네일 이미지를 제공하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination