CN105794193B - 摄像设备及其控制方法 - Google Patents

Abstract

为了能够简单地记录RAW图像数据，并快速地输出与所记录的RAW图像数据相对应的图像。首先，设备可以将操作模式变换至静止图像拍摄模式、静止图像播放模式、运动图像拍摄模式或者运动图像播放模式。对所拍摄的图像进行简易显像并将其记录在记录介质中，生成并记录RAW文件。然后，在各个模式中处理负荷小的情况下，设备变换至空闲状态，并在尚未进行高图像质量显像的情况下，使用所记录的RAW文件来进行高图像质量显像处理，以替换进行了简易显像的图像文件。

Description

摄像设备及其控制方法

技术领域

本发明涉及适用于使图像适当化的显像处理的图像处理设备、图像处理 方法和程序。

背景技术

在现有摄像设备中，对由图像传感器生成的原始图像信息(RAW图像数 据)进行去拜耳(de-Bayer)处理(去马赛克(de-mosaic)处理)，将该信息转换成包 括亮度和色差的信号，并且进行针对各信号的诸如噪声消除、光学应变校正 和使图像适当化等的显像处理。通常，对经过显像处理的亮度信号和色差信 号进行压缩和编码，并将图像数据记录在记录介质中。

另一方面，存在能够记录RAW图像数据的摄像设备。RAW图像数据包 括记录所需的大量数据，但是其具有可以使原始图像的校正或者劣化最小化 以及在拍摄之后可以编辑的优点，因此被专家所优选。作为示例公开的用于 记录RAW图像数据的摄像设备的结构如下：将显像参数与RAW图像数据记 录在一起，并通过在播放中使用显像参数来进行RAW图像数据的显像和播 放。

引用文献列表

专利文献

PTL1：日本特开2011-244423

发明内容

技术问题

在近年的摄像设备中，图像传感器正在改进，并且单个图像中的像素数量显著增加。另外，在连拍拍摄中每秒可以拍摄到的图像数量也趋于增加。 结果，用于诸如RAW图像数据的去拜耳处理、噪声消除和光学应变校正等的 显像处理的处理负荷也协同增大。因此，为了与拍摄并行地实时进行所有的 显像处理，需要庞大的电路和功耗。另外，在由于显像处理而限制了电路所 占用的空间量以及功耗的情况下，存在不能实现高拍摄性能的情况。

另一方面，在诸如PTL 1中等的采用在不进行显像的情况下对RAW图像 数据进行记录的结构时，拍摄时显像所用的处理负荷减少。然而，由于RAW 图像数据是以未显像状态记录的，所以在要显示图像时必须进行显像处理。 因此，难以快速显示或者打印出图像。另外，由于RAW图像数据是特殊的数 据，因此一些装置不能对RAW图像数据进行播放或显像。因此，传统的记录 RAW图像数据的方案可能会牺牲用户友好性。

如上所述，可以记录RAW图像数据的传统摄像设备可以实现高拍摄性 能，但是不能快速地和容易地输出根据RAW图像数据的图像。

本发明是鉴于上述问题而做出的，其目的在于能够简单地记录RAW图像 数据并快速地输出根据所记录的RAW图像数据的图像。

解决问题的技术方案

根据本发明的一个方面，一种摄像设备，包括：摄像单元；记录单元， 用于将所述摄像单元所生成的没有进行显像处理的RAW图像数据记录在记 录介质中；第一显像单元，用于对所述记录介质中所记录的RAW图像数据进 行显像处理以生成第一显像图像；判断单元，用于判断所述摄像设备的操作 模式；以及设置单元，用于根据所述判断单元所判断出的所述摄像设备的操 作模式的种类，来设置所述记录介质中所记录的多个RAW图像的显像顺序的 优先级。

发明的有益效果

根据本发明，可以容易地记录RAW图像数据，并且可以快速地输出与所 记录的RAW图像数据有关的图像。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明 显。

附图说明

图1是示出根据本发明实施例的摄像设备的结构示例的框图。

图2是示出配置在图像传感器单元中的滤色器的示例的图。

图3是示出各操作模式的转换的状态转换图。

图4是示出在本发明实施例的静止图像拍摄模式中的处理过程的示例的 流程图。

图5A和5B是示出静止图像文件及其RAW文件的结构示例的图。

图6是示出在本发明实施例的空闲状态中的追踪显像处理过程的示例的 流程图。

图7是示出用于选择要作为拍摄期间的追踪显像的对象的RAW图像数据 的处理过程的示例的流程图。

图8是示出用于选择要作为播放期间的追踪显像的对象的RAW图像数据 的处理过程的示例的流程图。

图9是示出用于选择要作为空闲期间的追踪显像的对象的RAW图像数据 的处理过程的示例的流程图。

图10示出表示在本发明实施例的静止图像播放模式中的处理过程的示 例的流程图。

图11A、11B和11C是示出在静止图像播放模式中的图像的显示示例的 图。

图12示出表示在本发明实施例的运动图像拍摄模式中的处理过程的示 例的流程图。

图13A和13B是示出运动图像文件及其RAW文件的结构示例的图。

图14示出表示在本发明实施例的运动图像播放模式中的处理过程的示 例的流程图。

具体实施方式

下面将参考附图来详细说明本发明的实施例。图1是示出根据本实施例 的摄像设备100的结构示例的框图。除了将通过拍摄被摄体而获取到的图像 数据记录在记录介质中的功能之外，图1中示出的摄像设备100还具有播放来 自记录介质的图像数据、对该图像数据进行显像处理并显示该图像数据的功 能以及向外部设备和服务器(云)发送图像数据/从外部设备和服务器(云)接收 图像数据的功能。

在图1中，控制单元161包括CPU和用于存储通过CPU执行的控制程序的 存储器，并控制摄像设备100的所有处理。操作单元162包括由用户所使用以 向摄像设备100提供指示的诸如按键、按钮和触摸面板等的输入装置。通过 控制单元161来检测来自操作单元162的操作信号，并通过控制单元161来控 制摄像设备100以进行根据用户输入的操作。显示单元123包括用于在摄像设 备100中显示所拍摄或播放的图像、菜单画面以及各种类型的信息的液晶显 示器(LCD)。

在通过操作单元162指示开始拍摄操作的情况下，经由摄像光学单元101 输入要作为摄像对象的被摄体的光学图像，并在图像传感器单元102上进行 成像。在拍摄中，照相机控制单元104基于由评价值计算单元105获取的光圈、 聚焦和照相机抖动的评价值计算结果以及由识别单元131提取的被摄体信息 来控制摄像光学单元101和图像传感器单元102的操作。

图像传感器单元102将穿过针对各个像素配置的红(R)、绿(G)和蓝(B)的 滤色器的光转换成电信号。图2是配置在图像传感器单元102中的滤色器的示 例，并且示出了由摄像设备100处理后的图像的像素配置。如在图2中所示， 针对各像素以马赛克方式来配置红(R)201、绿(G)202和蓝(B)203像素，并且 这些像素具有规则配置了针对2×2的四个像素的一个红色像素、一个蓝色像 素和两个绿色像素作为一个组的结构。通常将这种像素配置叫做拜耳阵列。

通过传感器信号处理单元103对由图像传感器单元102转换出的电信号 进行像素的修复处理。修复处理包括如下处理：针对图像传感器单元102中 的缺失像素或者具有低可靠性的像素的值，使用周边像素值进行对修复对象 的像素的插值，并且进行预定偏移值的相减。在本实施例中，将RAW图像数 据作为从传感器信号处理单元103输出的图像数据而进行输出。

在显像部110中对从传感器信号处理单元103输出的RAW图像数据进行 显像处理。显像部110包括作为用于执行多个不同图像处理的显像处理单元 的简易显像单元111和高图像质量显像单元112。另外，设置了用于选择这些 输出的切换单元121以及用于选择要在高图像质量显像单元112中进行处理 的RAW图像数据的显像图像选择单元171。简易显像单元111和高图像质量显 像单元112分别对RAW图像数据应用去拜耳处理(去马赛克处理)，将其转换 成包括亮度和色差的信号，消除包括在各信号中的噪声并校正光学应变。如 上所述，执行诸如使图像适当化等的所谓的显像处理。

特别地，高图像质量显像单元112利用比简易显像单元111高的精度来执 行各个处理，因此，可以获取比简易显像单元111高的质量的显像图像，但 是处理负荷也相应较大。因此，本实施例的高图像质量显像单元112不专门 与拍摄并行进行实时显像，而是用于能够在拍摄之后花时间执行分布式处 理。通过不在拍摄时而是之后花时间来执行这种高图像质量显像处理，可以 抑制功耗的一时的增大以及电路规模。

另一方面，尽管简易显像单元111的图像质量比高图像质量显像单元112 的图像质量低，但是简易显像单元111被配置为使得与显像有关的处理量小 并且可以在拍摄期间执行高速显像处理。由于简易显像单元111的处理负荷 小，因此，在与拍摄操作并行地实时显像中使用简易显像单元111。如上所 述，在简易显像单元111中，以拍摄的顺序来对RAW图像数据进行显像处理， 但是由于在拍摄之后执行高图像质量显像单元112中的显像处理，因此，无 需以拍摄的顺序来执行显像处理。

显像图像选择单元171基于由控制单元161提供的与用户通过操作单元 162指示的操作内容和正执行的操作模式有关的信息，来选择要在高图像质 量显像单元112中处理的RAW图像数据。类似地，根据与用户通过操作单元 162指示的操作内容和正执行的操作模式相对应的控制，由控制单元161来使 切换单元121进行切换。

在本实施例中，示出了在显像部110中独立地存在简易显像单元111和高 图像质量显像单元112的结构，但是，一个显像单元可以切换操作模式，并 排他地执行简易显像和高图像质量显像的处理。

在显示处理单元122中对由显像部110进行了显像处理的图像数据进行 预定的显示处理，然后通过显示单元123来显示图像。可以将进行了显像处 理的图像数据通过图像输出端子124输出至与外部装置相连接的显示装置。 例如，图像输出端子124包括诸如HDMI或者SDI等的通用接口。还将由显像 部110进行了显像处理的图像数据供给至评价值计算单元105，并且评价值计 算单元105根据该图像数据来计算诸如聚焦状态和曝光状态等的评价值。

还将由显像部110进行了显像处理的图像数据供给至识别单元131。识别 单元131具有检测和识别图像中被摄体信息的功能。例如，在图像上示出的 画面内存在面部的情况下，检测出面部，输出表示面部的位置的信息，并基 于面部等的特征信息进行特定人物的认证。

还将由显像部110进行了显像处理的图像数据供给至静止图像压缩单元 141和运动图像压缩单元142。这时，在要将图像数据压缩成静止图像数据的 情况下，使用静止图像压缩单元141，而在要将图像数据压缩成运动图像数 据的情况下，使用运动图像压缩单元142。静止图像压缩单元141和运动图像 压缩单元142将要作为对象的各个图像数据进行高效编码(压缩编码)以生成 信息量被压缩的图像数据，并将其转换成图像文件(静止图像文件或者运动 图像文件)。在要压缩静止图像数据的情况下，使用JPEG方法等，而在要压 缩运动图像数据的情况下，可以使用MPEG-2方法、H.264方法或者H.265方 法等。

RAW压缩单元113通过使用诸如小波变换或者差分编码等的技术来对从 传感器信号处理单元103输出的RAW图像数据进行高效编码，将其转换成压 缩状态的RAW文件并将其存储在缓冲单元115。可以在缓冲单元115中保持 RAW文件，也可以再次将RAW文件读出，但是，在将RAW文件存储在缓冲 单元115之后，其可能被移动并记录在其它记录介质中，并且从缓冲单元115 中删除。

通过记录播放单元151将RAW文件、上述的静止图像文件和运动图像文 件记录在记录介质152中。记录介质152是内置的大容量存储器、硬盘或者可 拆卸存储卡。记录播放单元151可以从记录介质152中读出静止图像文件、运 动图像文件和RAW文件。

另外，记录播放单元151可以经由通信单元153将各种文件写入外部存储 器和服务器中，或者从外部存储器和服务器中读取各种文件。通信单元153 具有能够通过使用通信端子154经由无线通信或者有线通信来访问因特网或 者外部装置的结构。

在开始播放操作的情况下，记录播放单元151从记录介质152或者经由通 信单元153获取并播放期望文件。在要播放的文件是RAW文件的情况下，记 录播放单元151将所获取的RAW文件存储在缓冲单元115中。在要播放的文件 是静止图像文件的情况下，记录播放单元151将所获取的静止图像文件供给 到静止图像扩展单元143中。在要播放的文件是运动图像文件的情况下，记 录播放单元151将所获取的运动图像文件供给到运动图像扩展单元144。

RAW扩展单元114读取存储在缓冲单元115中的RAW文件，并将压缩状 态的RAW文件进行解码和扩展。将由RAW扩展单元114扩展后的RAW文件供 给至显像部110中的简易显像单元111或者高图像质量显像单元112。静止图 像扩展单元143将所输入的静止图像文件进行解码和扩展，并将其作为静止 图像数据的播放图像供给至显示处理单元122。运动图像扩展单元144将所输 入的运动图像文件进行解码和扩展，并将其作为运动图像数据的播放图像供 给至显示处理单元122。

接着，将使用图3来详细说明本实施例的摄像设备100的操作模式。图3 是示出摄像设备100中的各操作模式的转换的状态转换图。根据来自操作单 元162的指示或者控制单元161的判断来执行这种操作模式的转换，根据操作 手动地进行转换，或者自动地进行转换。如在图3中所示，在经由空闲状态 300对静止图像拍摄模式301、静止图像播放模式302、运动图像拍摄模式303 或者运动图像播放模式304这四个模式进行适当地切换的情况下，摄像设备 100进行操作。

首先，将说明在摄像设备100的静止图像拍摄模式301中的操作。图4示 出表示在本发明实施例的静止图像拍摄模式中的处理过程的示例的流程图。 图4中示出的流程图示出通过控制单元161控制各处理块来执行的处理过程。 在将存储在控制单元161的存储器(ROM)中的程序展开至存储器(RAM)、并 通过CPU执行的情况下，实现该处理过程。

在图4的步骤S400中开始静止图像拍摄模式的处理的情况下，在S401中， 控制单元161判断摄像设备100的处理负荷是否低，并且是否应该进行向空闲 状态的转换。这时，假设在处理负荷低的情况下，以与负荷状态相对应的频 率进行向空闲状态的转换。作为该判断的结果，在应该进行向空闲状态的转 换的情况下，进行向空闲状态的转换(S413)，否则，例程进入S402。例如， 在高速连拍拍摄期间，处理负荷高，不进行向S413的转换而例程总是进入 S402。另一方面，在进行一般的单拍拍摄的情况下，在第一个拍摄和第二个 拍摄之间例如以半频进行向S413的转换。将在后面详细说明该空闲状态。

在接下来的S402中，照相机控制单元104控制摄像光学单元101和图像传 感器单元102的操作，以使得在适当的条件下进行拍摄。例如，根据用户在 变焦或者调焦方面的指示，移动包括在摄像光学单元101中的透镜，或者根 据多个拍摄像素的指示来设置图像传感器单元102的读出区域。还根据从后 面要说明的评价值计算单元105和识别单元131提供的评价值信息以及被摄 体信息，来控制特定被摄体的焦点调节或者追踪。

随后，在S403中，传感器信号处理单元103对由图像传感器单元102转换 后的电信号进行修复像素所用的信号处理。通过该处理，生成RAW图像数据。 在S404中，简易显像单元111对RAW图像数据进行显像处理。这时，控制单 元161对显像部110中的切换单元121进行切换，并选择要在简易显像单元111 中进行显像处理的图像数据的输出。

这里，将说明由简易显像单元111执行的显像处理(简易显像)。通过将显 像之后的图像尺寸限制在2百万像素以下，或者通过将噪声消除或光学应变 校正保持在受限的处理，或者省略噪声消除或者光学应变校正，简易显像单 元111实现了显像的高速处理或者简易处理。在简易显像单元111在减少图像 尺寸之后执行处理或者部分限制显像处理的功能的情况下，摄像设备100可 以以小电路规模和较低功耗来实现例如具有2百万像素的每秒60帧的性能的 拍摄。

将在简易显像单元111中进行了显像处理的图像数据供给到评价值计算 单元105。接着，在S405中，评价值计算单元105根据包括在图像数据中的亮 度值和对比度值来计算诸如聚焦状态和曝光状态等的评价值。评价值计算单 元105可以在显像处理之前获取RAW图像数据，并根据RAW图像数据同样地 计算评价值。

还将在简易显像单元111中进行了显像处理的图像数据供给到识别单元 131。在S406中，识别单元131从进行了显像处理的图像数据中检测诸如面部 等的被摄体，并识别被摄体信息。例如，基于图像中存在面部、面部的位置 或者特定人物的认证，生成了结果作为信息。

还将在简易显像单元111中进行了显像处理的图像数据供给到显示处理 单元122。在S407中，显示处理单元122根据所获取的图像数据来形成显示图 像，将该图像输出至显示单元123或者外部显示设备，并显示该图像。将在 显示单元123上显示的图像用于对用户的实时取景显示(直通拍摄图像显示)， 以在静止图像拍摄模式中适当地针对被摄体设置框。

可以从显示处理单元122经由图像输出端子124来使得显示图像通过诸 如外部电视机等的其它显示装置来显示。通过使用由评价值计算单元105计 算的评价值以及由识别单元131生成的被摄体信息，显示处理单元122还可以 同时显示标记等。例如，可以在显示图像上的焦点的聚焦区域显示标记，或 者可以在识别出的面部的位置处显示框。

接着，在S408中，控制单元161判断是否通过用户的操作从操作单元162 输入了拍摄指示。作为该判断的结果，在输入了拍摄指示的情况下，例程进 入S409。另一方面，在作为S408中的判断结果而未输入拍摄指示的情况下， 例程返回至S401，并且重复用于拍摄和实时取景显示的准备操作。

接着，响应于S408中的拍摄指示，在S409中，静止图像压缩单元141获 取在简易显像单元111中进行了显像处理的图像数据。然后，静止图像压缩 单元141对所获取的图像数据进行高效编码处理(静止图像压缩)，并生成静止 图像文件。静止图像压缩单元141通过使用诸如JPEG等的已知静止图像压缩 技术来执行压缩处理。在S410中，记录播放单元151将静止图像文件记录在 记录介质152中。

响应于S408中的拍摄指示，在S411中，RAW压缩单元113从传感器信号 处理单元103获取与所拍摄的静止图像相对应的RAW图像数据，对RAW图像 数据进行高效编码(RAW压缩)并将其转换成RAW文件。然后，将RAW文件 存储在缓冲单元115中。

假设通过诸如小波变换和差分编码等的已知技术来对由RAW压缩单元 113执行的高效编码进行处理，但是可以是可逆编码或者不可逆编码。可选 地，可以省略通过RAW压缩单元113进行的RAW压缩，并且可以将RAW图像 数据仍然以未压缩状态存储在缓冲单元115中。在本实施例中，不管RAW压 缩是否存在，在不极大损坏从传感器信号处理单元103供给的RAW图像数据 的情况下，生成可以恢复为高图像质量文件的RAW文件。

接着，在S412中，记录播放单元151将存储在缓冲单元115中的RAW文件 记录在记录介质152中，然后例程进入S401。在S410和S412中，记录播放单 元151可以经由通信单元153将静止图像文件或者RAW文件从通信端子154发 送至外部存储器，并将其记录在外部存储器中。

这里，将说明根据本实施例的静止图像文件和RAW文件的结构。图5A 和5B是示出静止图像文件500和RAW文件510的结构示例的图。通过记录播 放单元151将图5A中示出的静止图像文件500例如记录在记录介质152的预定 记录区域中。静止图像文件500包括头部501、元数据部502和压缩数据部503。 头部501包括表示该文件是以静止图像文件500的格式的识别码。压缩数据部 503包括进行了高效编码的静止图像的压缩数据。

元数据部502包括与该静止图像文件500一起生成的RAW文件510的文件 名的信息504。还包括表示通过简易显像单元111对该静止图像文件500进行 简易显像的显像状态的信息505。元数据部502包括由评价值计算单元105计 算出的评价值、由识别单元131检测出的被摄体信息、以及包括摄像光学单 元101和图像传感器单元102的拍摄时的信息的拍摄元数据506。拍摄时的信 息例如包括镜头类型识别信息和传感器类型识别信息。元数据部502还可以 包括记录有同时生成的RAW文件510的记录介质的识别码以及所记录的文件 夹的路径信息。

另一方面，通过记录播放单元151来将图5B中示出的RAW文件510例如 记录在记录介质152的预定记录区域中。RAW文件510包括头部511、元数据 部512和压缩数据部513。头部511包括表示该文件是以RAW文件510的格式的 识别码。压缩数据部513包括进行了高效编码的静止图像的RAW图像数据。 未压缩静止图像的RAW图像数据可以包括在压缩数据部513中。

元数据部512包括与该RAW文件510一起生成的静止图像文件500的文件 名的信息514。还包括表示通过简易显像单元111对该静止图像文件500进行 简易显像的显像状态的信息515。元数据部512还包括由评价值计算单元105 所计算出的评价值、由识别单元131所检测出的被摄体信息、以及包括摄像 光学单元101和图像传感器单元102的拍摄时的信息的拍摄元数据516。拍摄 时的信息例如包括镜头类型识别信息、传感器类型识别信息、诸如连拍拍摄 或者包围曝光拍摄(bracketing)等的拍摄类型信息、生成RAW文件510的时间 信息。元数据部512还可以包括记录有同时生成的静止图像文件500的记录介 质的识别码以及记录文件夹的路径信息。可选地，可以将同时生成的静止图 像文件500本身进行元数据化，并存储在元数据部512中。

根据本实施例的静止图像的各种文件的上述构造仅为示例，并且结构可 以符合诸如DCF和EXIF等的标准。

如上所述，在根据本实施例的摄像设备100中，简易显像单元111对直到 进行了静止图像拍摄模式中的拍摄指示为止的实时取景显示中的图像以及 响应于该拍摄指示所生成的静止图像数据进行显像处理。简易显像单元111 将显像之后的图像尺寸限制在2百万像素以下，或者将噪声消除或者光学应 变校正保持在受限的处理，或者省略噪声消除或光学应变校正。结果，可以 利用小电路规模和较低功耗来实现例如具有2百万像素的每秒60帧的性能的 显像处理。

另一方面，根据本实施例的摄像设备100如上所述响应于静止图像的拍 摄指示来生成RAW文件。RAW文件是未极大损坏从传感器信号处理单元103 供给的图像数据的图像质量的高图像质量文件，并且该文件的生成不需要显 像处理。因此，尽管图像中的像素数量和连拍拍摄的速度增大，但是可以利 用小规模电路和较低功耗来记录RAW文件。

随后，将通过使用图6的流程图来说明作为从图4的S401改变的步骤的 S413。图6是示出本实施例的空闲状态中的追踪显像处理过程的示例的流程 图。图6中示出的流程图示出通过控制单元161控制各处理块所执行的处理过 程。在将存储在控制单元161的存储器(ROM)中的程序展开至存储器(RAM)、 并通过CPU执行的情况下，实现该处理过程。

在图6中，在S600中开始空闲状态中的处理的情况下，在S601中，控制 单元161判断是否要通过由用户操作的设置来执行追踪显像。后面将说明该 追踪显像的细节。在作为该判断的结果而不执行追踪显像的情况下，例程进 入S602，而在要执行追踪显像的情况下，进行向S613的转换。

在接下来的S602至S612中，控制单元161根据来自用户的当前模式设置 来判断要进行向图3中示出的静止图像拍摄模式301、静止图像播放模式302、 运动图像拍摄模式303和运动图像播放模式304中哪一个模式的转换。

首先，在S602中，控制单元161将拍摄中标志设置为1，将播放中标志设 置为0。在S603中，判断是否设置了静止图像拍摄模式。在作为该判断的结 果而设置了静止图像拍摄模式的情况下，例程进入S609，并进行向图4中示 出的静止图像拍摄模式的转换。另一方面，在作为S603中的判断的结果而未 设置静止图像拍摄模式的情况下，在S604中判断是否设置了运动图像拍摄模 式。在作为该判断的结果而设置了运动图像拍摄模式的情况下，例程进入 S610，并进行向将在后面说明的运动图像拍摄模式的转换。

另一方面，在作为S604中的判断的结果而未设置运动图像拍摄模式的情 况下，在S605中，控制单元161将拍摄中标志设置为0，并且将播放中标志设 置为1。然后，在S606中，判断是否设置了静止图像播放模式。在作为该判 断的结果而设置了静止图像播放模式的情况下，例程进入S611，并进行向将 在后面说明的静止图像播放模式的转换。另一方面，在作为S606中的判断的 结果而未设置静止图像播放模式的情况下，在S607中，判断是否设置了运动 图像播放模式。在作为该判断的结果而设置了运动图像播放模式的情况下， 例程进入S612，并进行向将在后面说明的运动图像播放模式的转换。

另一方面，在作为S607中的判断的结果而未设置运动图像播放模式的情 况下，在S608中，控制单元161将拍摄中标志设置为0，并且将播放中标志设 置为0。然后，例程返回到S601。

这里，追踪显像是如下的处理：在完成拍摄操作之后，通过使用记录在 缓冲单元115或者记录介质152中的RAW文件作为源来再次执行高图像质量 显像处理，以生成高图像质量显示图像或者高图像质量静止图像文件。要作 为根据本实施例的追踪显像的对象的RAW文件可以用于静止图像和运动图 像这两者，但是，作为示例以下将说明静止图像。

如上所述，在简易显像单元111中对拍摄时生成的静止图像文件进行了 显像，因此该静止图像文件的像素数量可能是2百万像素以下，或者省略了 部分显像处理，并且图像质量是受限的。对于简易检查所拍摄的内容而言这 种图像质量可以是足够的，但是对于检查图像的细节或者对于打印所用的应 用可能是不够的。

另一方面，与静止图像一起生成的RAW文件是未极大损坏从传感器信号 处理单元103供给的图像数据的图像质量的高质量的文件。然而，由于RAW 文件是显像处理之前的数据，因此不能将其立刻显示或者打印，并且需要长 时间以用于RAW显像。另外，由于RAW文件不是如JPEG那样广泛普及的文 件，因此可以处理RAW文件的可播放环境同样受限。

因此，在本实施例中，在追踪显像中，读出已经记录的RAW文件，通过 高图像质量显像单元112来执行高图像质量显像处理，并将所生成的静止图 像文件记录在记录介质152等中。在本实施例中，在诸如在各次拍摄之间或 者在设备处于播放模式或睡眠状态时等的设备等待用户操作并且处理负荷 相对小的状态中，执行这种的追踪显像。在不限制为追随用户的直接指示的 情况下，控制单元161可以设置成根据设置来自动地执行追踪显像。

通过以这种方式来配置设备，在用户诸如为了检查图像的细节或者打印 出该图像等而希望在后面的时间输出高图像质量的情况下，可以使得不需要 针对各个场合执行过多的显像处理。还可以以与传统的静止图像文件相同的 方式来将文件用在普通的环境中。

针对单个拍摄指示，将静止图像文件和RAW文件作为一组记录在记录介 质152等中。在由于来自用户的直接指示或者因为满足了预设条件而使得作 为S601中的判断结果而执行追踪显像的情况下，控制单元161判断是否针对 各文件组完成了追踪显像(S613)。

作为判断方法，控制单元161例如可以参考存储在静止图像文件500的元 数据部502中的显像状态信息505。然后，在显像状态信息505中，控制单元 161参考用于识别是否通过简易显像单元111对静止图像文件进行了处理的 标志，并基于该标志来判断是否完成了追踪显像。针对RAW文件510以相同 的方式进行判断。可选地，通过针对一系列所拍摄的静止图像准备表示显像 处理状态的单独的表文件，可以进行该判断。

在作为S613中的判断结果而完成了追踪显像处理的情况下，例程转换至 S602。另一方面，在追踪显像处理未完成的情况下，例程转换至S614。这里， 在未进行追踪显像处理的多个RAW图像数据要进行追踪显像处理的情况下， 可以以照片拍摄的顺序来执行显像，但是在本实施例中，根据来自用户的指 示和操作模式，适当地改变执行追踪显像处理的顺序。因此，可以在需要的 时刻提供用户所需的高质量图像。

在S614中，显像图像选择单元171判断拍摄中标志的值是否是1。在作为 该判断的结果而拍摄中标志是1的情况下，在S615中，显像图像选择单元171 选择拍摄期间的RAW图像数据。下面将参考图7来说明该处理的细节。

另一方面，在作为S614中的判断的结果而拍摄中标志不是1的情况下， 在S616中，显像图像选择单元171判断播放中标志的值是否是1。在作为该判 断的结果而播放中标志是1的情况下，在S617中，显像图像选择单元171选择 播放期间的RAW图像数据。后面参考图8来说明该处理的细节。另一方面， 在作为S616中的判断的结果而播放中标志的值不是1的情况下，在S618中， 显像图像选择单元171选择空闲期间的RAW图像数据。后面参考图9来说明该 处理的细节。

图7是示出显像图像选择单元171选择要作为拍摄期间的追踪显像对象 的RAW图像数据的处理过程的示例的流程图。在选择图像数据来进行拍摄期 间的追踪显像的情况下，以使得每单位时间要进行追踪显像的图像的数量最 大为目的来进行处理。

在该处理中，第一优先级的参数是：要作为追踪显像的对象的图像数据 处于缓冲单元115中。因此，在执行追踪显像处理时，不需要用于从记录介 质152等中读出图像数据的时间，因此可以快速地进行追踪显像处理。

接着，因为可以判断为进行了连拍拍摄或者包围曝光拍摄的图像比不是 该类型的图像对于用户相对更重要，所以是否通过这种类型的拍摄来生成图 像数据是第二优先级的参数。因此，在用户给出了在拍摄后显示或者打印图 像的指示的情况下，可以立刻执行该指示。在连拍拍摄或者包围曝光拍摄中 生成了多个RAW图像数据，并且这些图像组变成追踪显像的对象。

这里，可以针对所有的这些RAW图像数据来进行追踪显像处理，但是在 本实施例中，从图像组中选择作为代表图像的RAW图像数据。具体地，例如， 在连拍拍摄中选择第一个图像，并且在包围曝光拍摄中根据基准设置值选择 所拍摄的图像来作为代表图像。在连拍拍摄中拍摄了多于预定数量的照片的 情况下，同样可以选择从第一个图像起的每预定数量的中间图像来作为代表 图像。

在图7的S700中，在开始处理时，在S701中，显像图像选择单元171提取 要作为追踪显像的对象的候选RAW图像数据，并扫描其状态，并且将用于内 部处理的优先级标志初始化为0。接着，在S702中，判断要作为追踪显像的 对象的候选RAW图像数据是否在缓冲单元115中。在作为该判断的结果而 RAW图像数据在缓冲单元115的情况下，在S703中，向该RAW图像数据的优 先级标志加上10。另一方面，在作为S702中的判断的结果而RAW图像数据不在缓冲单元115的情况下，例程进入S704。

接着，在S704中，检查要作为追踪显像的对象的RAW图像数据的元数 据部并判断是否存在拍摄类型信息是连拍拍摄或者包围曝光拍摄的数据。在 作为该判断的结果而存在拍摄类型信息是连拍拍摄或者包围曝光拍摄的 RAW图像数据的情况下，在S705中，向该RAW图像数据的优先级标志加上 01。另一方面，在作为在S704中的判断的结果而拍摄类型信息不是连拍拍摄 或者包围曝光拍摄的情况下，例程进入S706。

接着，在S706中，判断是否存在优先级标志是11(S702/是、并且S704/ 是)的RAW图像数据。在作为该判断的结果而存在优先级标志是11的RAW图 像数据的情况下，在S707中，从这些RAW图像数据之中，从处于缓冲单元115 中的、连拍拍摄或者包围曝光拍摄的、并且拍摄时间最新的图像组中，选择 上述的代表图像的RAW图像数据。另一方面，在作为S706中的判断的结果 而不存在优先级标志是11的RAW图像数据的情况下，例程进入S708。

接着，在S708中，判断是否存在优先级标志是10(S702/是、并且S704/ 否)的RAW图像数据。在作为该判断的结果而存在优先级标志是10的RAW图 像数据的情况下，在S709中，从这些RAW图像数据之中，选择在缓冲单元115 中的并且拍摄时间最新的RAW图像数据。另一方面，在作为S708中的判断 的结果而不存在优先级标志是10的RAW图像数据的情况下，例程进入S710。

接着，在S710中，判断是否存在优先级标志是01(S702/否、并且S704/ 是)的RAW图像数据。在作为该判断的结果而存在优先级标志是01的RAW图 像数据的情况下，在S711中，从这些RAW图像数据之中，选择出连拍拍摄或 者包围曝光拍摄的、并且拍摄时间最新的RAW图像数据。另一方面，在作为 S710中的判断的结果而不存在优先级标志是01的RAW图像数据的情况下， 则优先级标志是00，在S712中，选择拍摄时间最新的RAW图像数据。

图8是示出显像图像选择单元171选择要作为播放期间的追踪显像的对 象的RAW图像数据的处理过程的示例的流程图。在选择图像数据来进行播放 期间的追踪显像的情况下，以在用户的操作指定要播放的图像数据时及时地 提供高质量显示图像为目的，来进行处理。

在该处理中，第一优先级的参数是存在如下的图像数据，其中该图像数 据处于从通过用户的操作而指定为要播放的图像数据(以下为“指定播放图 像”)起、在播放方向上拍摄时间连续的预定数量的图像内。这里的播放方 向表示：相对于指定播放图像的、通过用户的操作所暗示的要指定播放的下 一图像的时间方向。在本实施例中，根据播放期间用户的图像发送操作，来 判断时间方向相对于指定播放图像在时间上是向前还是向后。

这里，在用户没有指定要播放的图像的情况下，选择拍摄时间最新的图 像数据作为指定播放图像，并且在用户也没有指定播放方向的情况下，选择 在时间上相对于拍摄时间向后的播放方向。注意，这里第一优先级的参数可 以是：存在在指定播放图像的预定时间段内拍摄的尚未进行显像的图像数 据，而不是存在指定播放图像的预定数量的图像内的图像数据。另外，同样 可以进行如下操作：进行是否使用可通过用户设置的预定数量的图像或预定 时间段的判断，或者使得控制单元161根据高图像质量显像单元112的性能或者摄像设备100的状况来自动地进行设置。因此，即使在用户进行图像发送 操作以改变指定播放图像的情况下，也可以及时地提供高质量显示图像。

另外，在某些情况下，用户可能检查显示图像，并且为了诸如打印出图 像或者将图像投稿至SNS等的目的而指示设备将图像传送至外部装置。对于 这种情况，第二优先级的参数是：存在指定了除显示以外的这种特殊处理的 图像数据。因此，在不妨碍用户的检查播放的工作的情况下，可以进行特殊 处理。

首先，在开始图8的S800中的处理时，在S801中，显像图像选择单元171 提取要作为追踪显像的对象的候选RAW图像数据，并扫描其状态，并且将用 于内部处理的优先级标志初始化为0。接着，在S802中，判断是否通过用户 的操作指定要播放新图像数据。在作为该判断的结果而未指定要播放新图像 数据的情况下，例程进入S805，以及在指定要播放新图像数据的情况下，例 程进入S803。在S803中，判断是否通过用户的操作改变了播放方向。在作为 该判断的结果而改变了播放方向的情况下，在S804中，将播放方向标志反转。 另一方面，在作为该判断的结果而未改变播放方向的情况下，例程进入S805。

接着在S805中，判断在从指定要播放的图像数据起在播放方向上拍摄时 间连续的预定数量图像中，是否存在要作为追踪显像的对象的任意RAW图像 数据。在拍摄时间连续的预定数量图像中存在这样的RAW图像数据的情况 下，在S806中，向该RAW图像数据的优先级标志加上10。另一方面，在作 为S805的判断结果而在拍摄时间连续的预定数量图像中不存在这样的RAW 图像数据的情况下，例程进入S807。

接着在S807中，判断追踪显像的对象内是否存在指定了诸如打印或者传 送至外部装置等的特殊处理的任意图像数据。在作为该判断的结果而存在指 定了特殊处理的图像数据的情况下，在S808中向这种RAW图像数据的优先 级标志加上01。另一方面，在作为S807中的判断结果而不存在指定了特殊处 理的图像数据的情况下，例程进入S809。

接着在S809中，判断是否存在优先级标志是11(S805/是、并且S807/是) 或者10(S805/是、并且S807/否)的RAW图像数据。在作为该判断的结果而存 在优先级标志是11或10的RAW图像数据的情况下，在S810中，从这些RAW 图像数据中，选择在播放方向上与指定要播放的图像数据时间上最近的RAW 图像数据。另一方面，在作为S809中的判断结果而不存在优先级标志是11或 10的RAW图像数据的情况下，例程进入S811。

接着，在S811中，判断是否存在优先级标志是01(S805/否、并且S807/ 是)的RAW图像数据。在作为该判断的结果而存在优先级标志是01的RAW图 像数据的情况下，在S812中，从这些RAW图像数据中，选择指定了特殊处 理并且指定特殊处理的时间最早的RAW图像数据。另一方面，在作为S811 中的判断结果而不存在优先级标志是01的RAW图像数据的情况下，所有候选 的优先级标志是00，并且在S813中，选择拍摄时间最新的RAW图像数据。

图9是示出显像图像选择单元171选择要作为空闲期间的追踪显像的对 象的RAW图像数据的处理过程的示例的流程图。在选择图像数据来进行空闲 期间的追踪显像的情况下，以进行诸如打印或者传送至外部装置等的特殊处 理为目的来进行处理。

在该处理中，第一优先级的参数是：存在指定了特殊处理的图像数据。 第二优先级的参数是：对象图像数据在缓冲单元115中。因此，可以高效率 地执行由用户所指定的处理。

在图9的S900中，在开始处理时，在S901中，显像图像选择单元171提取 要作为追踪显像的对象的候选RAW图像数据，并扫描其状态，并且将用于内 部处理的优先级标志初始化为0。接着，在S902中，判断是否存在指定了诸 如打印或者传送至外部装置等的特殊处理的RAW图像数据。在作为该判断的 结果而存在指定了特殊处理的RAW图像数据的情况下，在S903中，向这种 的RAW图像数据的优先级标志加上10。另一方面，在作为S902中的判断结果而不存在指定了特殊处理的RAW图像数据的情况下，例程进入S904。

接着，在S904中，判断要作为追踪显像的对象的候选RAW图像数据是 否在缓冲单元115中。在作为该判断的结果而RAW图像数据在缓冲单元115 中的情况下，在S905中，向该RAW图像数据的优先级标志加上01。另一方 面，在作为S904中的判断结果而RAW图像数据不在缓冲单元115中的情况下， 例程进入S906。

接着，在S906中，判断是否存在优先级标志是11(S902/是、并且S904/ 是)的RAW图像数据。在作为该判断的结果而存在优先级标志是11的RAW图 像数据的情况下，在S907中，从这些RAW图像数据中，选择在缓冲单元115 中的指定了特殊处理的并且进行指定的时间最早的RAW图像数据。另一方 面，在作为S906中的判断结果而不存在优先级标志是11的RAW图像数据的情 况下，例程进入S908。

接着，在S908中，判断是否存在优先级标志是10(S902/是、并且S904/ 否)的RAW图像数据。在作为该判断的结果而存在优先级标志是10的RAW图 像数据的情况下，在S909中，从这些RAW图像数据中，选择指定了特殊处 理并且进行指定的时间最早的RAW图像数据。另一方面，在作为S908中的 判断结果而不存在优先级标志是10的RAW图像数据的情况下，例程进入 S910。

接着，在S910中，判断是否存在优先级标志是01(S902/否、并且S904/ 是)的RAW图像数据。在作为该判断的结果而存在优先级标志是01的RAW图 像数据的情况下，在S911中，从这些RAW图像数据中，选择在缓冲单元115 中的拍摄时间最早的RAW图像数据。另一方面，在作为S910中的判断结果 而不存在优先级标志是01的RAW图像数据的情况下，所有候选的优先级标志 是00，并且在S912中选择拍摄时间最早的RAW图像数据。

根据上述图7至9中任意过程来选择要作为追踪显像的对象的RAW图像 数据。然后，在根据任意上述过程来选择要作为追踪显像的对象的RAW图像 数据时，例程转换至S619。

返回到图6的说明，接着，在S619中，控制单元161判断所选择的RAW 图像数据(RAW文件)是否在缓冲单元115中。在作为该判断的结果而RAW图 像数据在缓冲单元115中的情况下，例程进入S621。在RAW图像数据不在缓 冲单元115中的情况下，在S620中，通过记录播放单元151从记录介质152中 读出相对应的RAW文件。

这里，在缓冲单元115中，更新图像数据以使得优先保持静止图像拍摄 模式中拍摄的新图像数据。即，以从过去拍摄的图像数据起的顺序将图像数 据从缓冲单元115中擦除。由此，刚拍摄的图像数据总是保持在缓冲单元115 中，所以可以跳过在S620中的处理，并且可以高速进行处理。另外，通过以 在时间上从刚拍摄的图像数据起向后追溯的顺序来执行追踪显像，可以优先 完成缓冲单元115中保持的图像数据的处理，这样可以提高处理的效率。

接着，在S621中，RAW扩展单元114针对从缓冲单元115或者记录介质152 读出的RAW文件进行扩展处理以恢复RAW图像数据。然后，在S622中，高 图像质量显像单元112针对恢复后的RAW图像数据进行高图像质量显像处 理，并经由切换单元121将处理后的图像数据输出至静止图像压缩单元141。

在由高图像质量显像单元112进行的显像处理中，将RAW图像数据进行 去拜耳处理(去马赛克处理)，转换成包括亮度和色差的信号，消除包括在各 信号中的噪声，并且进行校正光学应变和使得图像适当化等的处理。通过高 图像质量显像单元112进行显像处理的图像数据的尺寸(像素的数量)可以是 从图像传感器单元102读出的全尺寸或者可以是预设尺寸。因此，处理后的 图像数据的图像质量明显高于进行了限制在2百万像素以下的简易显像处理 的图像数据的图像质量。

由于高图像质量显像单元112以比简易显像单元111高的精度来执行各 个处理，因此可以获取更高质量的图像数据，但是处理负荷大了相应的量。 在本实施例的高图像质量显像单元112中，能够避免与拍摄并行地实时进行 显像处理，并且花时间进行显像处理，因此可以抑制电路规模和功耗的增大。

接着，在S623中，静止图像压缩单元141针对由高图像质量显像单元112 进行了显像处理的图像数据进行高效编码处理(静止图像压缩)，以生成高图 像质量静止图像文件。注意，静止图像压缩单元141根据诸如JPEG等的已知 技术来进行压缩处理。然后，在S624中，记录播放单元151将高图像质量静 止图像文件记录在记录介质152等中，并且例程转换至S602。注意，在存在 未进行追踪显像处理的静止图像数据的情况下，可以针对各个图像重复执行 相同的追踪显像处理。

S624中记录的静止图像文件具有与图5A中示出的静止图像文件500相 同的结构，并且包括头部501、元数据部502和压缩数据部503。注意，元数 据部502包括基于该静止图像文件500生成的RAW文件的文件名的信息504。 另外，还包括表示由高图像质量显像单元112对该静止图像文件500进行了高 图像质量显像的显像状态信息505。另外，还包括上述的拍摄元数据506。

在记录播放单元151在S624中记录高图像质量静止图像文件的情况下， 给出与进行简易显像的静止图像文件相同的文件名，并且该记录覆盖该静止 图像文件。即，删除进行了简易显像的静止图像文件。然后，记录播放单元 151将追踪显像所基于的RAW文件中的元数据部512中的显像状态信息515更 新成表示完成了高图像质量显像(或者完成了追踪显像)的信息。

接着，说明摄像设备100的静止图像播放模式中的操作。图10是示出本 实施例的静止图像播放模式中的处理过程的示例的流程图。图10中示出的流 程图表示由控制单元161控制各处理块所执行的处理过程。在将存储在控制 单元161的存储器(ROM)中的程序扩展至存储器(RAM)、并通过CPU执行的 情况下，实现该处理过程。

在图10的S1000中开始静止图像播放模式的处理的情况下，在S1001中， 控制单元161判断摄像设备100的处理负荷是否低并且是否应该进行向空闲 状态的转换。这时，以与在静止图像拍摄模式相同的方式，假设在处理负荷 低的情况下，以与负荷状况相对应的频率进行向空闲状态的转换。作为该判 断的结果，在应该进行向空闲状态的转换的情况下，进行向空闲状态的转换 (S1011)，否则，例程进入S1002。注意，转换至空闲状态的情况中的处理与 在图6中的相同，因此这里省略对其的说明。

例如，在等待诸如播放指示等的用户操作期间，处理负荷低，因此以高 频率进行向S1011的转换。另一方面，例如，在根据用户操作开始播放静止 图像数据(包括播放中状态)的情况下，处理负荷高，因此例程进入S1002。

接着，在S1002中，控制单元161判断是否针对要显示的静止图像数据来 进行扩大显示。作为该判断的结果，在要进行扩大显示的情况下，例程进入 S1003，以及在不进行扩大显示的情况下，例程进入S1009。这里，要进行扩 大显示的情况包括根据用户操作而接收到扩大显示指示的情况以及如后面 所述的如果进行正常显示则图像质量劣化的情况。

图11A、11B和11C是示出包括扩大显示的显示形式的类型的图，并且示 出了本实施例的静止图像播放模式的显示示例。图11A示出在显示单元123 上显示六个缩小尺寸的图像1101的画面1100的示例。图11B示出在显示单元 123上显示一个特定图像1111的整体的画面1100的示例；这里将该显示状态 称作正常显示。图11C示出在显示单元123上显示一个特定图像1121的部分放 大区域的画面1120的示例。例如，为了在拍摄后立即检查图像是否适当聚焦， 用户一般使用扩大显示来检查被摄体图像的细节。

这里，在如图11A中示出的画面1100那样进行缩小显示的情况下，例程 从S1002转换至S1009。在如图11B中示出的画面1110那样进行正常显示的情 况下，执行接下来的处理。在显示单元123的显示像素的数量等于或小于进 行了简易处理的静止图像文件的像素的数量(例如2百万像素)的情况下，显示 相同尺寸或者缩小尺寸的图像，因此例程从S1002转换至S1009。

在S1009中，记录播放单元151从记录介质152等中读出要播放的静止图 像文件。然后，在S1010中，静止图像扩展单元143将静止图像文件进行解码 和扩展，并且在后面说明的S1008中，显示处理单元122在显示单元123上以 图11C中示出的显示形式来显示静止图像。

在显示图像具有进行了简易显像的静止图像文件的像素数量以下的情 况下，即使通过简易显像单元111对静止图像文件进行了显像处理，也可以 以充分的图像质量来进行显示。另一方面，在进行了扩大显示的情况下，显 示图像可能具有比进行了简易显像的静止图像文件的像素数量多的像素。 即，显示进行了简易显像的静止图像，这可能导致差的分辨率感。

因此，在作为S1002中的判断结果而要进行扩大显示的情况下，在S1003 中，控制单元161判断是否由高图像质量显像单元112对要显示的图像的静止 图像文件进行了显像。作为判断方法，控制单元161参考存储在如图5A示出 的静止图像文件500的元数据部502中的显像状态信息505。注意，也可以通 过参考RAW文件510中的显像状态信息515以同样的方式来进行判断。可选 地，通过针对一系列所拍摄的静止图像而准备表示显像处理状态的单独的表 文件并且参考该表来进行判断。

在作为S1003中的判断结果而对静止图像文件进行了高图像质量显像的 情况下，即使在扩大显示中也可以以充分的图像质量来显示图像，所以例程 进入S1009。另一方面，在作为S1003中的判断结果而未对静止图像文件进行 高图像质量显像的情况下，静止图像文件是由简易显像单元111进行了显像 处理的文件。在这种情况下，在从S1004以后的处理中，针对与要显示的图 像相对应的RAW文件，以与如上所述的追踪显像相同的方式进行高图像质量 显像。

S1004至S1007的处理分别与图6中的S619至S622中的处理相同，因此这 里省略对其的说明。在S622中进行高图像质量显像处理时，将处理后的静止 图像数据经由切换单元121输出至显示处理单元122。然后，在S1008中，显 示处理单元122将图像以图11C中示出的显示形式显示在显示单元123上。注 意，在S1008中停止显示的情况下，例程返回到S1001。

这里，假设在诸如紧接着拍摄后等的还没进行追踪显像的时刻发生图10 的S1004以后所进行的高图像质量显像。在本实施例中，在诸如各次拍摄之 间等的处理负荷相对小的状态中执行静止图像数据的追踪显像。因此，随着 时间的经过，通过重复图6中示出的处理，利用进行了高图像质量显像的静 止图像文件来替换进行了简易显像的大部分静止图像文件。随着这种静止图 像文件的替换的进行，减少了进行S1004以后的处理的情况的数量，并且针 对扩大显示可以快速输出高图像质量的图像，这增加了可操作性。

如上所述，在缓冲单元115中保持了RAW文件的情况下，可以跳过S1005， 并且可以快速显示图像。因此，在进行如图11A或者图11B中示出的显示的 情况下，可以进行准备扩大显示的处理，以使得RAW文件尽可能地处于保持 在缓冲单元115中的状态。具体地，可以从记录介质152预读出与在图11A和 图11B示出的显示状态下所显示的图像相对应的RAW文件，以预先保持在缓 冲单元115中。以这种方式，在给出用于扩大显示的指示的情况下，可以通 过在给出用于扩大显示的指示之前记录播放单元151从记录介质152中读出 相关RAW文件并对它们进行缓存，来更快速地显示图像。

接着，说明摄像设备100的运动图像拍摄模式中的操作。图12是示出本 实施例的运动图像拍摄模式中的处理过程的示例的流程图。图12中示出的流 程图示出通过控制单元161控制各处理块所执行的处理过程。在将存储在控 制单元161的存储器(ROM)中的程序扩展至存储器(RAM)、并通过CPU执行 的情况下，实现该处理过程。

在图12中的S1200中开始运动图像拍摄模式的处理的情况下，在S1201 中，控制单元161判断摄像设备100的处理负荷是否低并且是否应该进行向空 闲状态的转换。这时，以与静止图像拍摄模式相同的方式，假设在处理负荷 低的情况下，以与负荷状况相对应的频率进行向空闲状态的转换。作为该判 断的结果，在应该进行向空闲状态的转换的情况下，进行向空闲状态的转换 (S1213)，否则，例程进入S1202。注意，尽管要处理的RAW文件是运动图像 文件，但是转换至空闲状态的情况中的基本处理过程与在图6中的基本处理 过程相同，因此这里省略对其的说明。

例如，在设置了具有诸如水平分辨率相当于4000像素(4K)等的很多像素 的运动图像或者具有诸如120fps(120P)等的高帧频的运动图像的拍摄的情况 下，处理负荷高，因此在不转换至S1213的情况下例程总是进入S1202。另一 方面，在设置了像素数量比特定像素数量少的运动图像的拍摄或者帧频比特 定速度低的运动图像的拍摄的情况下，在运动图像的第一帧的处理和第二帧 的处理之间例如以半频来进行向S1213的转换。

接着，S1202至S1207中的处理分别与图4的S402至S407中的处理相同， 因此这里省略对其的说明。针对包括在运动图像的各帧中的RAW图像数据进 行简易显像处理。通过与上述同样的过程，显示图像以使得用户可以在运动 图像拍摄模式中适当地针对被摄体设置框。具体地，作为运动图像拍摄特有 的使用形式，不仅在开始记录所拍摄的运动图像之前(待机期间)，而且还在 运动图像的记录期间(REC期间)，进行用于适当地针对被摄体设置框的实时 取景显示。

接着，在S1208中，控制单元161判断是否接收到用户操作的运动图像的 记录开始指示并且正在进行所拍摄的运动图像的记录(REC期间)。作为该判 断的结果，在正在进行运动图像的记录的情况下，例程进入S1210。另一方 面，在作为S1208的判断结果而未正在进行运动图像的记录的情况下(即，待 机期间)，例程返回到S1201，并且重复在开始记录运动图像之前的拍摄操作 和实时取景显示。

接着，在S1209中，运动图像压缩单元142从所拍摄的运动图像中，逐帧 地对从记录开始到记录结束为止要记录的运动图像进行压缩。注意，尽管在 图1中省略了结构，但是，与运动图像的拍摄同时地，还获取通过未示出的 麦克风输入的音频数据。运动图像压缩单元142还进行与运动图像相对应的 音频数据的压缩处理。运动图像压缩单元142针对所获取的进行了简易显像 的运动图像数据和音频数据进行高效编码处理(运动图像压缩)，并生成运动 图像文件。注意，运动图像压缩单元142使用诸如MPEG-2、H.264或者H.265等的已知运动图像压缩技术来进行压缩处理。然后，在S1210中，记录播放 单元151将运动图像文件记录在记录介质152中。

另外，在S1211中，RAW压缩单元113从传感器信号处理单元103获取与 要记录的运动图像相对应的时间段的RAW图像数据。然后，在S1212中，RAW 压缩单元113对示出与要记录的运动图像相同场景的RAW图像数据进行高效 编码(RAW压缩)并将其转换成RAW文件。然后，将RAW文件存储在缓冲单 元115中。RAW文件与上述的相同。另外，记录播放单元151在将RAW文件 记录在记录介质152中之后转换至S1201。

这里，说明根据本实施例的运动图像文件的结构以及与运动图像文件相 对应的RAW文件的结构。图13A和13B是示出运动图像文件和RAW文件的示 例的结构的图。与图5A中示出的静止图像文件500同样地，图13A中示出的 运动图像文件1300包括头部1301、元数据部1302和压缩数据部1303。头部 1301包括表示文件是运动图像文件格式等的识别码。压缩数据部1303包括高 效编码后的运动图像数据和压缩后的音频数据。与图5A中示出的静止图像文 件500的元数据部502同样地，元数据部1302包括RAW文件的文件名的信息 1304、显像状态信息1305和拍摄元数据1306。

与图5B中示出的RAW文件同样地，与图13B中示出的运动图像文件相对 应的RAW文件1310包括头部1311、元数据部1312和压缩数据部1313。头部 1311包括表示文件是RAW文件格式的识别码。压缩数据部1313包括高效编码 后的运动图像的RAW压缩后的数据。注意，未被压缩的运动图像的RAW图 像数据可以包括在压缩数据部1313中。

与图5B中示出的RAW文件510的元数据部512同样地，元数据部1312包 括运动图像文件1300的文件名的信息1314、显像状态信息1315和拍摄元数据 1316。注意，可以将同时生成的整个运动图像文件本身或者运动图像文件的 诸如第一帧等的提取部分进行元数据化并存储在元数据部1312中。另外，根 据本实施例的运动图像的各种文件的结构仅是示例，并且结构可以符合诸如 DCF、AVCHD和MXF等的标准。

与静止图像拍摄模式的情况同样地，根据本实施例的摄像设备100可以 利用小电路规模和低功耗来实现例如HD尺寸的运动图像的简易显像处理。 另外，可以通过具有低功耗的小规模电路来记录RAW文件。

接着，说明摄像设备100的运动图像播放模式中的操作。图14是示出本 实施例的运动图像播放模式中的处理过程的示例的流程图。图14中示出的流 程图示出了通过控制单元161控制各个处理块所执行的处理过程。在将存储 在控制单元161的存储器(ROM)中的程序展开至存储器(RAM)、并通过CPU 执行的情况下，实现该处理过程。

在图14的S1400中开始运动图像播放模式的处理的情况下，在S1401中， 控制单元161判断摄像设备100的处理负荷是否低并且是否应该转换至空闲 状态。这时，以与静止图像拍摄模式相同的方式，假设在处理负荷低的情况 下，以与负荷状况相对应的频率进行向空闲状态的转换。作为该判断的结果， 在应该进行向空闲状态的转换的情况下，进行向空闲状态的转换(S1414)，否 则，例程进入S1402。注意，尽管要处理的RAW文件是运动图像文件，但是 转换至空闲状态的情况中的基本处理过程与图6中的基本处理过程相同，因 此这里省略对其的说明。

例如，在等待诸如播放指示等的用户操作的情况下，处理负荷低，因此 以高频率进行向S1412的转换。另一方面，例如在根据用户操作开始播放运 动图像数据(包括播放中状态)的情况下，处理负荷高，因此例程进入S1402。

接着，在S1402中，控制单元161判断是否通过用户操作接收到暂停播放 正在播放的运动图像的指示。作为该判断的结果，在未接收到用以暂停的指 示的情况下，继续播放运动图像数据，因此例程进入S1403。

接着，在S1403中，记录播放单元151从记录介质152等中读出要播放的 运动图像文件。然后，在S1404中，运动图像扩展单元144每次一帧地对运动 图像文件进行解码和扩展。然后，在S1405中，显示处理单元122将播放的运 动图像显示在显示单元123上。

另一方面，在作为S1402中的判断结果而接收到用以暂停的指示的情况 下，例程转换至S1406，以显示在暂停播放的停止位置处的帧作为静止图像。 这里，在暂停状态中，由于图像显示为静止，所以相比在图像运动的情况下， 较容易视觉上识别细节的图像质量。另外，在暂停期间，认为接收到扩大显 示指示的可能性比播放期间接收到扩大显示指示的可能性更高。因此，在本 实施例中，在暂停期间，显示图像质量比进行了简易显像的运动图像文件的 图像质量高的图像。

首先，在S1406中，控制单元161判断进行了追踪显像和高图像质量显像 等的要暂停的场景的运动图像文件是否已经记录在记录介质152等中。在作 为该判断的结果而已经记录了高图像质量运动图像文件的情况下，在S1407 中，记录播放单元151从记录介质152等中读出要播放的高图像质量运动图像 文件。然后，显示该帧。

另一方面，在作为S1406中的判断结果而不存在高图像质量运动图像文 件的情况下，在S1408中，记录播放单元151读出与正在播放的运动图像文件 相对应的RAW文件。这时，在要播放的RAW文件保持在缓冲单元115中的情 况下，从缓冲单元115读出RAW文件，否则，从记录介质152等中读出RAW 文件。

接着，在S1409中，RAW扩展单元114对从缓冲单元115或者记录介质152 等读出的RAW文件进行解码和扩展以恢复RAW图像数据。然后，在S1410 中，高图像质量显像单元112针对恢复后的RAW图像数据的暂停帧进行高图 像质量显像处理。

以这种方式，根据本实施例的摄像设备100还可以从运动图像的RAW文 件中捕获与暂停期间正在显示的帧相对应的高图像质量静止图像来作为新 静止图像文件。接着，在S1411中，控制单元161判断是否接收到利用用户操 作的用于捕获停止位置处的显示图像作为静止图像的指示。在作为该判断的 结果而未接收到用以捕获的指示的情况下，在S1405中，显示处理单元122 将进行了高图像质量显像的暂停的静止图像显示在显示单元123上。通过该 处理，将暂停期间显示的运动图像文件的图像替换成进行了高图像质量显像 的静止图像。

另一方面，在作为S1411中的判断结果而接收到用以捕获的指示的情况 下，例程进入S1412。然后，在S1412中，静止图像压缩单元141获取由高图 像质量显像单元112进行了显像处理的图像数据。然后，静止图像压缩单元 141针对通过捕获所获取的图像数据进行高效编码处理(静止图像压缩)，以生 成高图像质量静止图像文件。注意，静止图像压缩单元141根据诸如JPEG等 的已知技术来进行压缩处理。

接着，在S1413中，记录播放单元151将S1412中获取的高图像质量静止 图像文件记录在记录介质152等中。然后例程转换至S1405，并且如上所述， 显示处理单元122将进行了高图像质量显像的暂停的静止图像显示在显示单 元123中。

这里，S1412中通过静止图像压缩单元141生成的高图像质量静止图像文 件具有与图5A中示出的静止图像文件500相同的结构。然而，存储在元数据 部502中的RAW文件的文件名的信息504是捕获所基于的运动图像的RAW文 件的文件名。另外，作为拍摄元数据506，存储被捕获为静止图像的帧的时 刻信息，该时刻信息可以表示运动图像的RAW文件中的相应的帧位置。

这时，通过从运动图像的RAW文件中提取相应的帧作为静止图像，可以 生成与新静止图像文件配对的新RAW文件510。用于生成静止图像的RAW文 件的过程与前面说明的静止图像拍摄模式的S409至S412中的处理过程相同， 通过该过程生成静止图像文件和RAW文件。

注意，逐帧进行S1405中的显示，并且在运动图像播放期间，例程返回 至S1401来显示下一帧。以这种方式，根据本实施例的摄像设备100可以使用 在拍摄时记录的运动图像文件来在没有延迟的情况下容易地播放运动图像 文件，并且可以将运动图像替换成来自RAW文件的进行了高图像质量显像的 静止图像，并在暂停状态中显示该静止图像。另外，还可以容易地捕获该高 图像质量静止图像作为静止图像文件。

假设在紧接着拍摄之后还未进行追踪显像的时刻可能发生图14的S1408 以后进行的高图像质量显像处理。在本实施例中，在设备处于诸如各次拍摄 之间或者设备处于播放模式或睡眠状态时等的设备正在等待用户操作并且 处理负荷相对小的状态中时，逐渐完成这种运动图像的追踪显像，自然地将 进行了简易显像的运动图像文件替换成进行了高图像质量显像的运动图像 文件。随着以这种方式进行替换，减少了发生S1406以后的高图像质量显像 的情况的数量，并且变得能够总是进入S1407并快速输出高图像质量图像，这增加了可操作性。

以这种方式，根据本实施例的摄像设备100在处于诸如各次拍摄之间或 者设备处于播放模式或睡眠状态时等的设备正在等待用户操作并且处理负 荷相对小的状态中，执行追踪显像。然后，将在拍摄时进行了简易显像的静 止图像文件替换成使用RAW文件进行了高图像质量显像的静止图像文件。还 将在拍摄时进行了简易显像的运动图像文件替换成进行了使用RAW文件的 高图像质量显像的运动图像文件。因此，即使在诸如针对检查图像的细节或 者打印出图像等而需要高图像质量的情况下，也可以使得不需要针对各个场合的过多的显像处理。另外，还可以以与传统的静止图像文件相同的方式来 将文件用在普通的环境中。

以上说明了本实施例。然而，本发明不限于上述的实施例，在这里说明 的技术思想内，根据所应用的电路的形式，应该可以通过适当地做出改变来 应用本发明。

其它实施例

还可以通过读出并执行记录在存储介质(也可以更全面的称作“非瞬态 计算机可读存储介质”)上的计算机可执行指令(例如，一个以上的程序)以进 行上述实施例中的一个以上的功能和/或包括一个以上进行上述实施例中的 一个以上的功能的电路(例如，专用集成电路(ASIC))的系统或者设备的计算 机、以及通过下述方法来实现本发明的各实施例，其中，系统或设备的计算 机例如通过从存储介质读出并执行计算机可执行指令以进行上述实施例中 的一个或多个的功能和/或控制一个以上的电路以进行上述实施例中的一个 或多个的功能来进行该方法。计算机可以包含一个以上的处理器(例如，中 央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离计算机或者分离 处理器的网络以读出并执行计算机可执行指令。可以通过例如网络或者存储 介质将计算机可执行指令提供给计算机。存储介质可以包括例如硬盘、随机 存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸 如紧凑型光盘(CD)、数字多功能盘(DVD)或蓝光光盘(BD)^TM等)、闪速存储器 装置和存储卡等中的一个或多个。

尽管已经参考典型实施例描述了本发明，但是应该理解，本发明不局限 于所公开的典型实施例。所附权利要求书的范围符合最宽泛的解释，以包含 所有这类修改、等同结构和功能。

本申请要求2013年12月25日提交的日本专利申请2013-267249的优先 权，在此通过引用明确包含其全部内容。

Claims (8)

1.一种摄像设备，包括：

摄像单元，

其特征在于，所述摄像设备还包括：

记录单元，用于将所述摄像单元所生成的没有进行显像处理的RAW图像数据记录在记录介质中；

第一显像单元，用于对所述记录介质中所记录的RAW图像数据进行显像处理以生成第一显像图像；

判断单元，用于判断所述摄像设备的操作模式；以及

设置单元，用于根据所述判断单元所判断出的所述摄像设备的操作模式的种类，来设置所述记录介质中所记录的多个RAW图像的显像顺序的优先级，

其中，在将所述摄像设备的操作模式判断为预定操作模式并且所述记录介质中所记录的多个RAW图像包括要进行打印或传送至外部设备的RAW图像的情况下，所述设置单元设置所述优先级以使得优先对要进行打印或传送至所述外部设备的RAW图像进行显像。

2.根据权利要求1所述的摄像设备，其中，还包括：

第二显像单元，用于对所述摄像单元所生成的RAW图像数据进行简易显像处理以生成第二显像图像，

其中，在生成了所述第二显像图像之后生成所述第一显像图像的情况下，利用所述第一显像图像来替换所述第二显像图像。

3.根据权利要求1或2所述的摄像设备，其中，

所述记录介质中所记录的RAW图像数据的文件包含表示是否对该RAW图像数据进行显像的信息。

4.根据权利要求1或2所述的摄像设备，其中，

所述设置单元基于所述记录介质是否具有用于包含所记录的RAW图像数据的缓冲器来设置所述优先级。

5.根据权利要求1或2所述的摄像设备，其中，

所述设置单元基于所述记录介质中所记录的多个RAW图像是否包括通过包围曝光拍摄或连拍拍摄所生成的RAW图像来设置所述优先级。

6.一种摄像设备，包括：

摄像单元，

其特征在于，所述摄像设备还包括：

记录单元，用于将所述摄像单元所生成的没有进行显像处理的RAW图像数据记录在记录介质中；

第一显像单元，用于对所述记录介质中所记录的RAW图像数据进行显像处理以生成第一显像图像；以及

判断单元，用于判断所述摄像设备的操作模式，

其中，所述第一显像单元根据所述判断单元所判断出的所述摄像设备的操作模式的种类，来改变所述记录介质中所记录的多个RAW图像的显像顺序，

其中，在将所述摄像设备的操作模式判断为预定操作模式并且所述记录介质中所记录的多个RAW图像包括要进行打印或传送至外部设备的RAW图像的情况下，所述第一显像单元改变所述显像顺序以使得优先对要进行打印或传送至所述外部设备的RAW图像进行显像。

7.一种摄像设备的控制方法，包括以下步骤：

摄像步骤，用于进行摄像，

其特征在于，所述控制方法还包括：

将所述摄像步骤所生成的没有进行显像处理的RAW图像数据记录在记录介质中；

对所述记录介质中所记录的RAW图像数据进行显像处理以生成第一显像图像；

判断步骤，用于判断所述摄像设备的操作模式；以及

根据所述判断步骤所判断出的所述摄像设备的操作模式的种类，来设置所述记录介质中所记录的多个RAW图像的显像顺序的优先级，

其中，在将所述摄像设备的操作模式判断为预定操作模式并且所述记录介质中所记录的多个RAW图像包括要进行打印或传送至外部设备的RAW图像的情况下，设置所述优先级以使得优先对要进行打印或传送至所述外部设备的RAW图像进行显像。

8.一种摄像设备的控制方法，包括：

摄像步骤，用于进行摄像，

其特征在于，所述控制方法还包括：

将所述摄像步骤所生成的没有进行显像处理的RAW图像数据记录在记录介质中；

第一显像步骤，用于对所述记录介质中所记录的RAW图像数据进行显像处理以生成第一显像图像；以及

判断步骤，用于判断所述摄像设备的操作模式，

其中，在所述第一显像步骤中，根据所述判断步骤所判断出的所述摄像设备的操作模式的种类，来改变所述记录介质中所记录的多个RAW图像的显像顺序，

其中，在将所述摄像设备的操作模式判断为预定操作模式并且所述记录介质中所记录的多个RAW图像包括要进行打印或传送至外部设备的RAW图像的情况下，改变所述显像顺序以使得优先对要进行打印或传送至所述外部设备的RAW图像进行显像。