CN105052126B - 摄像设备和摄像设备的控制方法 - Google Patents

Abstract

摄像设备被配置为拍摄被摄体图像，生成RAW图像，在摄像操作期间对该RAW图像进行简单显像，并且不仅将显像图像而且还将RAW图像存储在存储介质中。如果摄像设备在摄像操作期间以及紧挨在摄像操作之后显示图像，则摄像设备显示通过简单显像处理后的图像。在摄像设备完成高质量图像显像的处理的情况下，摄像设备利用通过高质量图像显像处理后的图像替换通过简单显像处理后的图像，并且显示通过高质量图像显像处理后的图像。

Description

摄像设备和摄像设备的控制方法

技术领域

本发明涉及一种摄像设备和摄像设备的控制方法。特别地，本发明涉及用于处理运动图像或静止图像的RAW图像的技术。

背景技术

传统上，摄像设备对图像传感器所拍摄到的原始图像信息(RAW图像)进行去拜尔(de-Bayer)处理(去马赛克处理)，将该图像转换成包括亮度和色差的信号，并且针对各信号进行包括噪声去除、光学失真校正和图像优化的所谓的显像处理。通常，在这种显像处理之后，对亮度信号和色差信号进行压缩和编码并最终记录在存储介质中。

其它的传统摄像设备能够记录RAW图像。在记录RAW图像的情况下，需要记录大量数据。然而，由于可以使原始图像的校正或劣化为最低限度并且可以在拍摄到RAW图像之后编辑这些RAW图像(这些在记录RAW图像的情况下是有利的)，因此高级用户优选使用这种摄像设备。

日本特开2011-244423论述了能够记录RAW图像的摄像设备。根据日本特开2011-244423，连同RAW图像一起记录显像参数，并且在进行再现的情况下，使用这些显像参数来对RAW图像进行显像和再现。

近年来，摄像设备已配备有更高级的图像传感器，并且每个图像的像素数已大幅增加。另外，呈现每秒可以连续拍摄到的图像的数量不断增加的趋势。因而，包括针对RAW图像的去拜尔处理以及诸如噪声去除和光学失真校正等的显像处理的处理量协同地增加。结果，与摄像操作同时进行实时显像处理需要更多的电路和更大的电力消耗。显像处理需要更大的电路面积或者对电力消耗施加了限制。因此，在一些情况下，无法实现高的摄像性能。

另一方面，如上述日本特开2011-244423所论述的，如果在无需进行显像的情况下记录RAW图像，则可以减少摄像操作期间的显像所需的处理量。然而，由于在无需进行显像的情况下记录RAW图像，因此难以迅速地再现并显示图像。另外，由于RAW图像特有的数据的特殊性，因此可能无法利用其它装置对这些RAW图像进行再现(显像)。即，利用传统的RAW图像记录方法，用户友好性可能劣化。

因而，存在为了使得传统设备能够实现高的摄像性能并迅速地显示再现图像而要解决的问题。也就是说，需要将高成本的电路安装在这些设备上并利用高功率驱动这些设备，或者需要迅速地且简单地记录并再现RAW图像。

引文列表

专利文献

专利文献1：日本特开2011-244423

发明内容

本发明涉及如下技术，其中该技术用于在摄像操作期间通过仅需较少的处理量的简单显像来确保容易再现的图像的同时，实现来自RAW图像的高质量图像显像。本发明还涉及如下技术，其中该技术用于生成通过简单显像所获得的并且要迅速地再现的图像文件以及要再现为高质量图像的RAW文件，使该图像文件和该RAW图像彼此相关联，并且记录所关联的图像文件和RAW图像。

根据本发明的一个方面，一种摄像设备，包括：摄像单元，用于拍摄被摄体图像，并且生成表示RAW图像的信息；第一显像单元，用于获取表示所述RAW图像的信息，并且在摄像操作期间对所述RAW图像进行显像；存储单元，用于将表示所述RAW图像的信息存储在存储器中；第二显像单元，用于读取所述存储器中所存储的表示所述RAW图像的信息，并且对所述RAW图像进行显像，以获得相比所述第一显像单元所获得的图像具有更高图像质量的图像；显示处理单元，用于输出与所述第一显像单元或所述第二显像单元进行了显像的图像信息有关的显示图像；以及控制单元，用于进行控制操作，以使得：在所述摄像单元所进行的所述摄像操作期间以及紧挨在所述摄像操作之后，将所述第一显像单元进行了显像的图像信息供给至所述显示处理单元；以及在所述第二显像单元完成图像信息的显像的情况下，利用所述第二显像单元进行了显像的图像信息来替换所述第一显像单元进行了显像的图像信息，并且将所述第二显像单元进行了显像的图像信息供给至所述显示处理单元。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明典型实施例的摄像设备的结构的框图。

图2是根据本典型实施例的状态转变图。

图3是示出根据本典型实施例的静止图像拍摄模式的处理的流程图。

图4A示出根据本典型实施例的静止图像文件和RAW文件的结构。

图4B示出根据本典型实施例的静止图像文件和RAW文件的结构。

图5是示出根据本典型实施例的空闲状态的处理的流程图。

图6是示出根据本典型实施例的静止图像再现模式的处理的流程图。

图7A示出根据本典型实施例的静止图像再现模式的显示处理。

图7B示出根据本典型实施例的静止图像再现模式的显示处理。

图7C示出根据本典型实施例的静止图像再现模式的显示处理。

图8是示出根据本典型实施例的运动图像拍摄模式的处理的流程图。

图9A示出根据本典型实施例的运动图像文件和RAW运动图像文件的结构。

图9B示出根据本典型实施例的运动图像文件和RAW运动图像文件的结构。

图10是示出根据本典型实施例的运动图像再现模式的处理的流程图。

图11示出像素阵列。

具体实施方式

以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。

图1是示出根据本发明典型实施例的摄像设备100的结构的框图。图1所示的摄像设备100不仅可以将通过对被摄体摄像所获得的图像信息记录在存储介质中，而且还可以再现从存储介质所读取的图像信息。另外，摄像设备100例如可以对这种图像信息进行显像和显示并且与外部装置或服务器(云)交换图像信息。因而，可以将根据本发明典型实施例的摄像设备100表现为图像处理设备、记录设备、再现设备、记录再现设备或通信设备。

在图1中，控制单元161包括中央处理单元(CPU)和存储该CPU要执行的控制程序的存储器。控制单元161控制摄像设备100的整体处理。操作单元162包括包含用户向摄像设备100给出指示所用的键、按钮和触摸面板的输入装置。控制单元161检测来自操作单元162的操作信号，并且控制摄像设备100，以使得摄像设备100进行适合该操作信号的操作。显示单元123包括用于显示摄像设备100所拍摄或所再现的图像、菜单画面和各种信息的液晶显示器(LCD)。

如果用户经由操作单元162给出用于开始摄像操作的指示，则经由摄像光学单元101输入对象被摄体的光学图像并且在图像传感器单元102上形成该光学图像。在摄像的情况下，照相机控制单元104基于评价值计算单元105所获取到的与光圈、焦点和照相机抖动等有关的评价值的计算结果并且基于识别单元131所提取的与面部识别结果等有关的被摄体信息，来控制摄像光学单元101和图像传感器单元102的操作。

图像传感器单元102将透过红色、绿色和蓝色(RGB)镶嵌颜色滤波器的光转换成电气信号，其中针对各像素配置一个滤波器。图11示出图像传感器单元102中所配置的颜色滤波器。图11示出摄像设备100所处理的图像的像素阵列。如图11所示，红色(R)、绿色(G)和蓝色(B)滤波器呈镶嵌图案配置，其中针对各像素配置一个滤波器。每组2行×2列的4个像素(一个红色像素、一个蓝色像素和两个绿色像素)规则地并排排列。通常将这种像素配置称为拜尔阵列。

传感器信号处理单元103对图像传感器单元102所获得的转换得到的电气信号进行像素恢复处理。传感器信号处理单元103通过使用相邻像素的值来对图像传感器单元102所获得的缺失像素或低可靠性像素的值进行恢复处理。这样，传感器信号处理单元103对恢复对象像素进行插值并且减去预定的偏移值。在本典型实施例中，将从传感器信号处理单元103输出的图像信息称为表示原始(未显像)图像的RAW图像信息(以下称为RAW图像)。

显像单元110对这种RAW图像进行显像。显像单元110包括多个不同的显像处理单元。显像单元110包括作为第一显像单元的简单显像单元111和作为第二显像单元的高质量图像显像单元112。另外，显像单元110包括选择来自该单元111或112的输出的开关单元121。简单显像单元111和高质量图像显像单元112这两者对RAW图像进行去拜尔处理(去马赛克处理)、即颜色插值处理。这些显像单元111和112将RAW图像转换成亮度信号和色差(或原色)信号，去除各信号中所包含的噪声，校正光学失真，并且使图像最优化。即，这些显像单元111和112进行所谓的显像处理。

特别地，高质量图像显像单元112相比简单显像单元111更加精确地进行各处理。通过更加精确地进行各处理，高质量图像显像单元112产生图像质量相比简单显像单元111所产生的图像质量更高的显像图像。然而，高质量图像显像单元112的处理负荷大于简单显像单元111的处理负荷。因而，本典型实施例中的高质量图像显像单元112没有被配置成与摄像操作同时进行实时显像。高质量图像显像单元112被配置为在摄像操作之后的空闲时间段内存在足够时间的情况下，能够进行分散处理。代替在摄像操作期间进行高质量图像显像，通过允许高质量图像显像单元112在摄像操作之后存在足够时间的情况下进行高质量图像显像，可以使电路规模或电力消耗的增加(峰值)减小为低水平。作为对比，简单显像单元111被配置为需要相比高质量图像显像所需的处理量更低的显像处理量，由此在摄像操作期间简单显像单元111可以相比高质量图像显像单元112更快地进行显像处理。然而，简单显像单元111所产生的显像图像的质量低于高质量图像显像单元112所产生的显像图像的质量。由于简单显像单元111的处理负荷较低，因此主要在摄像设备100与摄像操作同时进行实时显像的情况下使用简单显像单元111。利用控制单元161根据用户经由操作单元162所输入的操作或者根据当前操作模式来切换开关单元121。另外，信号被输出至的仅一个单元即简单显像单元111或高质量图像显像单元112可以与开关单元121的切换连动地进行显像操作。

在本典型实施例中，显像单元110单独包括简单显像单元111和高质量图像显像单元112。然而，可选地，可以配置单个显像单元以通过切换操作模式来选择性地进行简单显像处理和高质量图像显像处理。

显示处理单元122对显像单元110进行了显像的图像信息进行预定显示处理。接着，显示单元123显示该图像。另外，可以将显像后的图像信息经由视频输出端子124输出至外部显示装置。视频输出端子124的示例包括诸如高清晰度多媒体接口(HDMI)或串行数字接口(SDI)等的通用接口。

还将显像单元110进行了显像的图像信息供给至评价值计算单元105。评价值计算单元105根据该图像信息来计算诸如表示聚焦状态和曝光状态的评价值等的评价值。

还将显像单元110进行了显像的图像信息供给至识别单元131。识别单元131具有检测并识别该图像信息中的诸如面部或人等的被摄体信息的功能。例如，如果识别单元131检测到该图像信息所表示的画面上的面部，则识别单元131输出表示该面部的位置的信息。另外，例如，识别单元131基于与诸如面部等的特征有关的信息来进行特定人的认证。

将显像单元110进行了显像的图像信息供给至静止图像压缩单元141或运动图像压缩单元142。静止图像压缩单元141和运动图像压缩单元142分别用于将该图像信息压缩作为静止图像和运动图像。静止图像压缩单元141和运动图像压缩单元142对对象图像信息进行高效率编码(压缩编码)，生成具有压缩信息量的图像信息，并且将该图像信息转换成图像文件(静止图像文件或运动图像文件)。可以使用JPEG等来进行静止图像的压缩，而可以使用MPEG-2、H.264或H.265等来进行运动图像的压缩。

RAW压缩单元113通过使用诸如小波变换或差分编码等的技术来对从传感器信号处理单元103输出的RAW图像的数据进行高效率编码，将该数据转换成压缩RAW文件，并且将该RAW文件存储在缓冲单元(存储介质)115中。可以将RAW文件存储在缓冲单元115中并且可以再次读取所存储的RAW文件。然而，RAW文件在被存储在缓冲单元115中之后，可以被移动并存储在另一存储介质中(可以将RAW文件从缓冲单元115删除)。

利用记录再现单元151将RAW文件以及上述的静止图像文件和运动图像文件存储在存储介质152中。存储介质152可以是内置型大容量半导体存储器、硬盘或可移除存储卡等。记录再现单元151可以从存储介质152读取这些静止图像文件、运动图像文件和RAW文件。

记录再现单元151可以经由通信单元153来相对于外部存储器或服务器进行各种文件的写入和读取。通信单元153可以通过使用通信端子154来经由无线或有线通信访问因特网或外部装置。

在开始再现操作的情况下，记录再现单元151从存储介质152或经由通信单元153获取期望文件并再现该文件。如果要再现的文件是RAW文件，则记录再现单元151将所获取到的RAW文件存储在缓冲单元115中。如果要再现的文件是静止图像文件，则记录再现单元151将所获取到的静止图像文件供给至静止图像解压缩单元143。如果要再现的文件是运动图像文件，则记录再现单元151将所获取到的运动图像文件供给至运动图像解压缩单元144。

RAW解压缩单元114读取缓冲单元115中所存储的RAW文件并且对压缩后的RAW文件进行解码和解压缩。将RAW解压缩单元114进行解压缩后的RAW文件供给至显像单元110并且输入至显像单元110中的简单显像单元111或高质量图像显像单元112。

静止图像解压缩单元143对所输入的静止图像文件进行解码和解压缩并且将该文件作为要再现的静止图像供给至显示处理单元122。运动图像解压缩单元144对所输入的运动图像文件进行解码和解压缩并且将该文件作为要再现的运动图像供给至显示处理单元122。

接着，参考附图来详细说明根据本典型实施例的摄像设备100的操作模式。图2是示出摄像设备100的操作模式的转变的状态转变图。根据经由操作单元162所输入的用户操作指示或控制单元161所进行的控制操作来进行这些模式的转变。另外，基于操作来手动或自动进行这些模式的转变。如图2所示，适当地切换静止图像拍摄模式(201)、静止图像再现模式(202)、运动图像拍摄模式(203)和运动图像再现模式(204)这四个模式。摄像设备100经由空闲状态(200)以这些模式其中之一进行工作。

接着，将说明摄像设备100的静止图像拍摄模式的操作。

图3是示出根据本典型实施例的静止图像拍摄模式的处理的流程图。图3的流程图示出控制单元161控制各处理块的情况下所进行的处理过程。更具体地，在控制单元161将控制单元161的只读存储器(ROM)中所存储的程序展开至随机存取存储器(RAM)并执行该程序的情况下，进行该处理过程。

在图3中，在步骤S300中，开始静止图像拍摄模式的处理。接着，在步骤S301中，控制单元161判断摄像设备100的处理负荷是否低。如果控制单元161判断为处理负荷低(步骤S301中为“是”)，则操作进入步骤S320，并且摄像设备100以与负荷状态相对应的频率转变为空闲状态。否则(步骤S301中为“否”)，操作进入步骤S302。例如，在高速连续摄像操作期间，处理负荷高。因而，在这种情况下，操作不是进入步骤S320而是始终进入步骤S302。在进行正常单次摄像操作的情况下，在第一拍摄操作和第二拍摄操作之间，例如这些操作中的一半操作进入步骤S320。

在步骤S302中，照相机控制单元104控制摄像光学单元101和图像传感器单元102的操作，以使得在适当的条件下进行摄像。例如，根据针对变焦或调焦的用户指示来移动摄像光学单元101中所包括的透镜。另外，根据与要拍摄的像素数有关的指示来设置图像传感器单元102所读取的区域。另外，基于从如以下所述的评价值计算单元105和识别单元131所供给的评价值信息和被摄体信息来进行针对特定被摄体的诸如焦点调节和追踪控制等的控制操作。

在步骤S303中，传感器信号处理单元103对图像传感器单元102所获得的转换得到的电气信号进行像素恢复所用的信号处理。即，通过使用相邻像素的值，传感器信号处理单元103对缺失像素和低可靠性像素的值进行插值。另外，传感器信号处理单元103减去预定偏移值。在本典型实施例中，将在步骤S303之后从传感器信号处理单元103输出的图像信息称为表示原始(未显像)图像的RAW图像。

接着，在步骤S304中，简单显像单元111对RAW图像进行显像。在该步骤S304中，控制单元161切换显像单元110内的开关单元121以选择简单显像单元111进行了显像的图像信息的输出。

简单显像单元111对RAW图像进行去拜尔处理(去马赛克处理)、即颜色插值处理，将该RAW图像转换成亮度信号和色差(或原色)信号，去除各信号中所包含的噪声，校正光学失真，并且使该图像最优化。即，简单显像单元111进行所谓的显像处理。接着，将说明简单显像单元111所进行的显像处理(简单显像)。通过相比高质量图像显像单元112所进行的处理、以更少的量进行处理，简单显像单元111实现了更快且更为简单的显像处理。例如，简单显像单元111将显像后的图像大小限制为200万个像素以下。可选地，简单显像单元111仅进行针对噪声去除或光学失真校正的有限处理、或者省略进行该处理。由于简单显像单元111对缩小后的图像大小进行处理或进行有限的显像处理，因此例如摄像设备100可以利用更小的电路规模和更少的电力消耗来实现200万个像素且60帧/秒的摄像操作。

将简单显像单元111进行了显像的图像信息供给至评价值计算单元105。在步骤S305中，评价值计算单元105基于图像信息中所包括的亮度值和对比度值等来计算诸如表示聚焦状态和曝光状态的评价值等的评价值。评价值计算单元105可以获取未显像的RAW图像并且以相同方式根据该RAW图像计算评价值。

另外，还将简单显像单元111进行了显像的图像信息供给至识别单元131。在步骤S306中，识别单元131根据该图像信息检测被摄体(例如，面部)并且识别被摄体信息。例如，识别单元131检测该图像信息内的面部的有无。如果存在面部，则识别单元131检测该面部的位置，对特定人进行认证，并且将该结果作为信息输出。

另外，还将简单显像单元111进行了显像的图像信息供给至显示处理单元122。在步骤S307中，显示处理单元122根据所获取到的图像信息形成显示图像并将该显示图像输出至显示单元123或外部显示装置以显示该图像。在静止图像拍摄模式中，将显示单元123所呈现的显示图像用于实时取景显示(通过镜头图像)，以使得用户可以适当地对被摄体进行取景。可以将显示图像从显示处理单元122经由视频输出端子124发送至诸如外部电视等的其它显示装置，以使得该显示装置可以显示该显示图像。另外，通过使用从评价值计算单元105和识别单元131所供给的评价值信息和被摄体信息，显示处理单元122例如可以在显示图像上的聚焦区域上呈现标记并且在所识别出的面部位置上呈现框。

在步骤S308中，控制单元161判断是否从用户输入了针对摄像操作的指示。如果从用户输入了该指示(步骤S308中为“是”)，则操作进入步骤S310。否则(步骤S308中为“否”)，操作返回至步骤S301，并且重复针对摄像操作的准备操作和实时取景显示。

如果控制单元161判断为输入了针对摄像操作的指示(步骤S308中为“是”)，则将通过简单显像单元111的显像处理所获得的图像信息供给至静止图像压缩单元141。即，在步骤S310中，静止图像压缩单元141对所获取到的图像信息进行高效率编码(静止图像的压缩)并且创建静止图像文件。静止图像压缩单元141通过使用诸如联合图片专家组(JPEG)等的已知的静止图像压缩技术来进行压缩处理。

接着，在步骤S311中，记录再现单元151将静止图像文件记录在存储介质152中。

接着，在步骤S312中，响应于针对摄像操作的指示(步骤S308中为“是”)，RAW压缩单元113获取与所拍摄到的静止图像相对应并且从传感器信号处理单元103输出的RAW图像，并且对该RAW图像进行高效率编码(RAW图像的压缩)，以将该RAW图像转换成RAW文件。将该RAW文件存储在缓冲单元115中。RAW压缩单元113通过使用诸如小波变换或差分编码等的已知技术来进行高效率编码。可以使用有损编码或无损编码。可选地，RAW压缩单元113可以省略RAW图像的压缩。即，RAW压缩单元113可以在无需对RAW图像进行压缩的情况下直接输出RAW图像。与是否对RAW图像进行压缩无关地，根据本典型实施例，创建相对于从传感器信号处理单元103供给的图像信息没有显著劣化并且可以恢复作为高质量图像文件的RAW文件。

在步骤S313中，记录再现单元151将RAW文件记录在存储介质152中。接着，操作进入步骤S301。在步骤S311和S313中，记录再现单元151可以将静止图像文件和/或RAW文件经由通信单元153和通信端子154发送至外部存储器，由此可以将静止图像文件和/或RAW文件存储在外部存储器中。

如此说明了根据本典型实施例的静止图像拍摄模式的处理的流程。

接着，将说明根据本典型实施例的静止图像文件和RAW文件的结构。图4A和4B示出静止图像文件和RAW文件的结构。

例如，利用记录再现单元151将图4A所示的静止图像文件400记录在存储介质152的预定记录区域中。静止图像文件400包括头部401、元数据部402和压缩数据部403。头部401例如包括表示该文件采用静止图像文件格式的识别码。压缩数据部403包括进行了高效率编码的静止图像的压缩数据。

元数据部402包括关于与该静止图像文件同时生成的RAW文件的名称的信息404。另外，元数据部402包括表示通过简单显像单元111进行简单显像获得了该静止图像文件的显像状况信息405。另外，元数据部402包括拍摄元数据406，其中该拍摄元数据406包括评价值计算单元105和识别单元131分别检测到的评价值和被摄体信息、以及利用摄像光学单元101和图像传感器单元102在摄像操作期间所获得的信息(例如，透镜类型识别信息和传感器类型识别信息)。另外，尽管没有示出，但元数据部402可以包括记录有同时生成的RAW文件的存储介质的识别码以及与记录有该RAW文件的文件夹有关的路径信息等。

例如，利用记录再现单元151将图4B所示的RAW文件410存储在存储介质152的预定记录区域中。RAW文件410包括头部411、元数据部412和压缩数据部413。头部411包括表示该文件采用RAW文件格式的识别码。压缩数据部413包括进行了高效率编码的静止图像的RAW压缩数据(或没有进行压缩的静止图像的RAW图像数据)。

元数据部412包括关于与该RAW文件同时生成的静止图像文件的名称的信息414。另外，元数据部412包括表示通过简单显像单元111进行简单显像获得了该静止图像文件的显像状况信息415。另外，元数据部412包括拍摄元数据416，其中该拍摄元数据416包括评价值计算单元105和识别单元131所检测到的评价值和被摄体信息、以及利用摄像光学单元101和图像传感器单元102在摄像操作期间所获得的信息(例如，透镜类型识别信息和传感器类型识别信息)。如果拍摄元数据416中的数据是与拍摄元数据406中的数据共通的数据，则使用相同的数据。另外，尽管没有示出，但元数据部412可以包括记录有同时生成的静止图像文件的存储介质的识别码以及与记录有静止图像文件的文件夹有关的路径信息。可选地，可以将同时生成的静止图像文件自身形成为元数据并且存储在元数据部412中。

上述的根据本典型实施例的各种文件的结构是示例。可以使用与诸如照相机文件系统的设计规则(DCF)或可交换图像文件格式(EXIF)等的标准兼容的其它结构。

如上所述，根据本典型实施例的摄像设备100的简单显像单元111在静止图像拍摄模式中进行实时取景显示，直到输入针对摄像操作的指示为止。另外，响应于针对摄像操作的指示，简单显像单元111进行显像处理以生成静止图像文件。例如，简单显像单元111将显像后的图像大小限制为200万个像素以下或者仅进行有限的噪声去除或光学失真校正。可选地，简单显像单元111省略该处理。这样，例如，摄像设备100可以利用更小的电路规模和更少的电力消耗来进行200万个像素且60帧/秒的显像处理。另外，如上所述，根据本典型实施例的摄像设备100响应于用于拍摄静止图像的指示来生成RAW文件。该RAW文件是相对于从传感器信号处理单元103供给的图像信息没有大幅劣化的高质量图像文件。生成该文件不需要显像处理。因而，可以在增加图像像素数或提高连续摄像操作的速度的情况下，利用更小的电路规模和更少的电力消耗来记录RAW文件。

接着，参考图5的流程图来说明作为图3的步骤S301的判断结果、处理所进入的步骤S320。图5示出根据本典型实施例的空闲状态的处理的流程图。图5的流程图示出在控制单元161控制各处理块的情况下所进行的处理过程。更具体地，在控制单元161将控制单元161的ROM中所存储的程序展开至RAM并执行该程序的情况下，进行该处理过程。

在图5中，在步骤S500中，开始空闲状态的处理。接着，在步骤S501中，控制单元161基于用户设置来判断是否需要进行追踪显像(chasing development)。如果无需进行追踪显像(步骤S501中为“否”)，则操作进入步骤S502。否则(步骤S501中为“是”)，操作进入步骤S520。

在步骤S502、S503、S504和S505中，控制单元161根据来自用户的指示或者模式设置而判断为转变成图2所示的模式201～204中的任一模式。接着，控制单元161控制摄像设备100以转变为所选模式(步骤S510、S511、S512和S513中的所选步骤)的处理流程。在步骤S502中，如果控制单元161判断为需要拍摄静止图像(步骤S502中为“是”)，则操作进入步骤S510。否则(步骤S502中为“否”)，操作进入步骤S503。在步骤S503中，如果控制单元16判断为需要再现静止图像(步骤S503中为“是”)，则操作进入步骤S511。否则(步骤S503中为“否”)，操作进入步骤S504。在步骤S504中，如果控制单元161判断为需要拍摄运动图像(步骤S504中为“是”)，则操作进入步骤S512。否则(步骤S504中为“否”)，操作进入步骤S505。在步骤S505中，如果控制单元161判断为需要再现运动图像(步骤S505中为“是”)，则操作进入步骤S513。

在根据本典型实施例的追踪显像中，在摄像操作期间、在再现之间的间隔中或者在休眠状态下读取通过摄像操作所获得的并且记录在缓冲单元115或存储介质152中的未显像的RAW文件。在追踪显像中，对所读取的RAW文件进行高质量图像显像处理，并且生成高质量显示图像或高质量静止图像文件。由于摄像设备100对先前记录的RAW文件进行显像处理仿佛摄像设备100追踪RAW文件一样，因此将该显像处理称为追踪显像。尽管可以对静止图像的RAW文件和运动图像的RAW文件这两者进行根据本典型实施例的追踪显像，但以下将基于静止图像的RAW文件来进行说明。

如上所述，由于利用简单显像单元111对摄像操作期间所生成的静止图像文件进行显像，因此像素数为200万以下或者省略了显像处理的一部分。结果，图像质量受到限制。尽管所拍摄图像可以有效地用于一般确认，但该图像可能不足以确认图像的细节或不足以供打印。然而，尽管与静止图像同时生成的RAW文件具有相对于从传感器信号处理单元103供给的图像信息没有大幅下降的高图像质量，但由于该RAW文件是显像处理之前的数据，因此无法迅速地显示或打印该RAW文件。即，RAW文件的显像需要时间。另外，由于RAW文件不是诸如JPEG等的广泛使用的文件，因此可以处理RAW文件的再现环境有限。

结果，根据本典型实施例的追踪显像可以用作有效功能。在本典型实施例中，在进行追踪显像的情况下，读取已记录的RAW文件，并利用高质量图像显像单元112进行显像处理以形成高质量图像，并且将所生成的高质量静止图像文件记录在存储介质152等中。摄像设备100在摄像设备100等待用户操作(例如，在摄像操作之间的间隔中、在再现模式中或者在休眠状态中)的处理负荷相对较低的状态下进行追踪显像。追踪显像可被设计成不仅由用户手动进行而且还可以由控制单元161自动进行。

这样，在追踪显像之后，如果例如在用于确认细节的显示中或者在打印输出中请求高质量图像再现，则显像处理(再现输出)并非每次均被延迟。另外，可以以与一般操作环境下的传统静止图像文件相同的方式使用这些RAW文件。

响应于用于拍摄单个静止图像的指示来将一组的静止图像文件和RAW文件存储在存储介质152等中。在手动或自动进行追踪显像的情况下，在步骤S520中，控制单元161判断针对每组图像是否完成追踪显像。为了进行该判断，例如，控制单元161参考静止图像文件400的元数据部402内存储的显像状况405中所包括的标志。该标志表示是否已利用简单显像单元111处理了该静止图像文件。可选地，控制单元161可以通过参考RAW文件410中的显像状况415来进行该判断。可选地，控制单元161针对一系列所拍摄到的静止图像，可以通过单独准备表示显像处理状况的表文件来进行该判断。

在步骤S520中，如果控制单元161判断为已进行了追踪显像(步骤S520中为“是”)，则操作进入步骤S502。如果存在尚未进行追踪显像的静止图像，则操作进入步骤S521。如果将与尚未处理追踪显像的静止图像相对应的RAW文件缓存在缓冲单元115中(步骤S521中为“是”)，则操作进入步骤S523。否则(步骤S521中为“否”)，从存储介质152等读取相应的RAW文件(S522)。将从存储介质152等所读取的RAW文件临时存储在缓冲单元115中。

更新缓冲单元115中的数据，以使得优先存储在静止图像拍摄模式中所拍摄到的较新的图像。即，按时间顺序将图像从缓冲单元115去除。这样，由于最新拍摄到的图像始终存储在缓冲单元115中，因此跳过步骤S522。结果，可以以高速处理图像。另外，如果从最新拍摄到的图像起按时间回溯进行追踪显像，则由于优先处理了缓冲器中所存储的图像，因此可以提高处理的效率。

在步骤S523中，RAW解压缩单元114对从缓冲单元115或存储介质152所读取的RAW文件进行解压缩，并且恢复RAW图像。

在步骤S524中，高质量图像显像单元112将恢复后的RAW图像显像为高质量图像。接着，高质量图像显像单元112将该图像经由开关单元121输出至显示处理单元122和静止图像压缩单元141。

高质量图像显像单元112对RAW图像进行去拜尔处理(去马赛克处理)、即颜色插值处理，将该RAW图像转换成亮度信号和色差(或原色)信号，去除各信号中所包含的噪声，校正光学失真，并且使该图像最优化。即，高质量图像显像单元112进行所谓的显像处理。高质量图像显像单元112所生成的显像图像的大小(像素数)是图像传感器单元102所读取的全尺寸图像的大小或者用户所设置的大小。因而，该质量与通过使像素数限制为200万以下的简单显像进行了显像的图像的质量相比大幅提高。

由于高质量图像显像单元112相比简单显像单元111更加精确地进行各处理，因此可以获得质量更高的显像图像。然而，要求更大的处理负荷。根据本典型实施例的高质量图像显像单元112不是与摄像操作同时进行实时显像处理，而是在摄像操作之后，在存在足够时间的情况下进行显像处理。结果，可以减少电路规模或电力消耗的增大。

将利用高质量图像显像单元112进行了显像的图像信息供给至静止图像压缩单元141。在步骤S525中，静止图像压缩单元141对所获取到的图像信息进行高效率编码(静止图像的压缩)并且生成高质量静止图像文件。静止图像压缩单元141通过使用诸如JPEG等的已知技术来进行压缩处理。

接着，在步骤S526中，记录再现单元151将高质量静止图像文件记录在存储介质152等中。接着，操作进入步骤S502。如果存在尚未进行追踪显像的静止图像，则可以针对各个图像重复进行相同的处理。

步骤S526中所记录的静止图像文件具有如图4A的静止图像文件400所示的文件结构。静止图像文件400包括头部401、元数据部402和压缩数据部403。头部401例如包括表示该文件采用静止图像文件格式的识别码。压缩数据部403包括进行了高效率编码的静止图像的压缩数据。

元数据部402包括关于生成该静止图像文件所依据的RAW文件的名称的信息404。另外，元数据部402包括表示通过高质量图像显像单元112所进行的高质量图像显像对该静止图像文件进行了显像的显像状况信息405。此外，元数据部402包括拍摄元数据406，其中该拍摄元数据406包括从原始RAW文件的元数据中所提取的并且利用评价值计算单元105和识别单元131所检测到的评价值和被摄体信息、以及利用摄像光学单元101和图像传感器单元102在摄像操作期间所获得的信息。

记录再现单元151在高质量图像显像之后，将与在简单显像之后所获得的并且与原始RAW文件同时记录的先前创建的静止图像文件的名称相同的文件名称赋予至步骤S526中所记录的新的静止图像文件。即，记录再现单元151利用新创建的静止图像文件来覆盖先前创建的静止图像文件。换句话说，删除简单显像之后所获得的先前创建的静止图像文件。记录再现单元151通过将表示高质量图像显像(或追踪显像)已完成的信息写入元数据部412内的显像状况415中，来更新进行了追踪显像的RAW文件。代替覆盖记录，记录再现单元151可以记录文件名几乎相同的新文件。例如，可以将新文件记录为文件名仅部分改变(例如，扩展名或末尾部分的字符可能改变)的不同文件并且可以删除原始文件。在可利用足够的存储容量的情况下，当然可以保存原始文件。

因而，根据本典型实施例的摄像设备100在摄像设备100等待用户操作(例如，在摄像操作之间的间隔中、在再现模式中或在休眠状态中)的处理负荷相对较低的状态下(在空闲状态)下进行追踪显像。另外，利用通过使用RAW文件的高质量图像显像所获得的静止图像文件来替换摄像操作期间通过简单显像所获得的静止图像文件。还利用通过使用RAW文件的高质量图像显像所获得的运动图像文件来替换摄像操作期间通过简单显像所获得的运动图像文件。这样，即使例如在细节确认所用的显示中或在打印输出中请求高质量图像再现，显像处理(再现输出)也并非每次均被延迟。另外，这些RAW文件以与一般操作环境中的传统静止图像文件相同的方式变得可用。

接着，将说明摄像设备100的静止图像再现模式的操作。

图6是示出根据本典型实施例的静止图像再现模式的处理的流程图。图6所示的流程图示出在控制单元161控制各处理块的情况下所进行的过程。更具体地，在控制单元161将控制单元161的ROM中所存储的程序展开至RAM并执行该程序的情况下，进行该过程。

在图6中，在步骤S600中，开始静止图像再现模式的处理。接着，在步骤S601中，控制单元161判断摄像设备100的处理负荷是否低。如果控制单元161判断为处理负荷低(步骤S601中为“是”)，则操作进入步骤S610，并且摄像设备100以与负荷状态相对应的频率转变为空闲状态。否则(步骤S601中为“否”)，操作进入步骤S602。例如，在摄像设备100正等待诸如再现指示等的用户操作的情况下，处理负荷低。因而，在这种情况下，操作进入步骤S610。如果已指示了静止图像的再现或者通过用户操作正再现静止图像，则操作进入步骤S602。

在步骤S602中，控制单元161判断用户是否向摄像设备100给出了用于放大要再现的静止图像的显示的指示。如果用户给出了该指示(步骤S602中为“是”)，则操作进入步骤S603。否则(步骤S602中为“否”)，操作进入步骤S620。

图7示出包括放大显示模式的显示模式。图7A～7C示出根据本典型实施例的静止图像再现模式的显示处理。

图7A的显示700是显示单元123显示六个缩小图像701的示例。图7B的显示710是显示单元123显示某个图像711整体的示例。将该显示状态视为正常显示。图7C的显示720是显示单元123显示作为某个图像的放大区域的图像721的示例。例如，通常，紧挨在用以判断是否适当进行了聚焦的摄像操作之后，如显示示例720所示放大被摄体图像的一部分。

如果如显示示例720所示进行放大显示(步骤S602中为“是”)，则图6的操作从步骤S602进入步骤S603。如果如显示示例700所示进行缩小显示(步骤S602中为“否”)，则图6的操作从步骤S602进入步骤S620。关于显示示例710，如果显示单元123所显示的像素数是通过简单显像所获得的静止图像文件的像素数(在上述示例中为200万个像素以下)，则可以以等倍率或缩小倍率显示该图像。因而，该操作从步骤S602进入步骤S620。

在步骤S620中，记录再现单元151从存储介质152等读取作为再现对象的静止图像文件。接着，在步骤S621中，静止图像解压缩单元143对静止图像文件进行解码和解压缩。接着，在步骤S608中，显示处理单元122将显示图像以图7A～7C所示的格式输出至显示单元123。

如果通过简单显像所获得的静止图像文件的像素数(在上述示例中为200万个像素以下)足以显示图像，则可以以足够的图像质量显示简单显像单元111进行了显像的静止图像文件。当然，如果利用高质量图像显像单元112对静止图像文件进行了显像，则该静止图像文件具有足够的图像质量以供显示。

作为对比，如果进行放大显示，则通过简单显像所获得的静止图像文件的像素数(在上述示例中为200万个像素以下)可能不足以显示图像。即，如果将通过简单显像进行了显像的静止图像文件用于显示，则锐度下降。

因而，如果呈现放大显示，则在步骤S603中，控制单元161判断是否利用高质量图像显像单元112对再现和显示的对象图像的静止图像文件进行了显像。为了进行该判断，例如，控制单元161参考静止图像文件400的元数据部402内存储的显像状况405中所包括的标志。该标志表示是否已利用简单显像单元111处理了该静止图像文件。可选地，控制单元161可以通过参考RAW文件410中的显像状况415来进行该判断。可选地，控制单元161针对一系列所拍摄到的静止图像，可以通过单独准备表示显像处理状况的表文件来进行该判断。

在步骤S603中，如果控制单元161判断为进行了高质量图像显像(步骤S603中为“是”)，则控制单元161判断为静止图像文件是即使在放大的情况下也可以利用足够的图像质量进行显示的高质量静止图像文件。因而，在这种情况下(步骤S603中为“是”)，操作进入步骤S620，并且记录再现单元151从存储介质152等读取相应的高质量静止图像文件，并且再现并显示该静止图像文件。如上所述，如果已利用高质量图像显像单元112对静止图像文件进行了显像，则可以通过步骤S620之后的处理来利用高图像质量显示静止图像文件。

在步骤S603中，如果控制单元161没有判断为进行高质量图像显像(步骤S603中为“否”)，则控制单元161判断为利用简单显像单元111对静止图像文件进行了显像。因而，在这种情况下(步骤S603中为“否”)，操作进入步骤S604，并且摄像设备100进行高质量图像显像(上述的追踪显像)。

接着，在步骤S604中，如果将与作为再现对象的静止图像相对应的RAW文件缓存在缓冲单元115中(S604中为“是”)，则操作进入步骤S606。否则(S604中为“否”)，操作进入步骤S605并且从存储介质152等读取相应的RAW文件。将从存储介质152等所读取的RAW文件临时存储在缓冲单元115中。

更新缓冲单元115中的数据，以使得优先存储静止图像拍摄模式中所拍摄到的较新的图像。即，按时间顺序从缓冲单元115中去除图像。这样，由于最新拍摄到的图像始终存储在缓冲单元115中，因此跳过步骤S605。结果，可以迅速地显示图像。

接着，在步骤S606中，RAW解压缩单元114对从缓冲单元115或存储介质152读取的RAW文件进行解码和解压缩，并且恢复RAW图像。

接着，在步骤S607中，利用高质量图像显像单元112将所恢复的RAW图像显像为高质量图像并且将显像后的图像经由开关单元121输出至显示处理单元122。接着，在步骤S608中，显示处理单元122将如图7C所示的放大图像输出至显示单元123。

高质量图像显像单元112对RAW图像进行去拜尔处理(去马赛克处理)、即颜色插值处理，将该RAW图像转换成亮度信号和色差(或原色)信号，去除各信号中所包含的噪声，校正光学失真，并且使该图像最优化。即，高质量图像显像单元112进行所谓的显像处理。高质量图像显像单元112所生成的显像图像的大小(像素数)是图像传感器单元102所读取的全尺寸图像的大小或者用户所设置的大小。因而，该质量与通过使像素数限制为200万以下的简单显像进行了显像的图像的质量相比大幅提高。因而，可以响应于放大显示请求来以足够的图像质量显示高质量图像显像单元112进行了显像的静止图像。

在停止步骤S608的显示之后，操作返回至步骤S601。如果控制单元161判断为处理负荷低(步骤S601中为“是”)，则操作进入步骤S610并且摄像设备100转变为空闲状态。在这种情况下，根据上述的图5中的流程图来对图像进行处理。

如上所述，假定在例如紧挨摄像操作之后尚未进行追踪显像的情况下进行图6的步骤S604之后的高质量图像显像。在本典型实施例中，针对静止图像的追踪显像在摄像设备100等待用户操作(例如，在摄像操作之间的间隔中、在再现模式中或在休眠状态中)的处理负荷相对较低的状态下逐渐完成，并且自然利用通过高质量图像显像进行了显像的静止图像文件来替换通过简单显像进行了显像的静止图像文件。所替换的图像越多，所进行的步骤S604之后的高质量图像显像操作越少。即，由于始终可以迅速地输出高质量图像，因此可以进一步提高可操作性。

如上所述，在将RAW文件存储在缓冲单元115中的情况下，由于可以跳过步骤S605，因此可以迅速地显示图像。因而，在图7的显示示例700和710的情况下，为了针对放大显示指示做好准备，可以预先从存储介质读取与图像701和711相对应的RAW文件并使这些RAW文件移动至缓冲单元115，由此可以将尽可能多的RAW文件存储在缓冲单元115中。通过在针对放大显示的指示之前使记录再现单元151从存储介质152等读取相应的RAW文件并且使缓冲单元115缓存相应的RAW文件，可以响应于针对如显示示例720所示的放大显示的指示来更迅速地显示图像。

接着，将说明摄像设备100的运动图像拍摄模式的操作。

图8是示出根据本典型实施例的运动图像拍摄模式的处理的流程图。图8的流程图示出在控制单元161控制各处理块的情况下所进行的过程。更具体地，在控制单元161将控制单元161的ROM中所存储的程序展开至RAM并执行该程序的情况下，进行该过程。

在图8中，在步骤S800中，开始运动图像拍摄模式的处理。接着，在步骤S801中，控制单元161判断摄像设备100的处理负荷是否低。如果控制单元161判断为处理负荷低(步骤S801中为“是”)，则操作进入步骤S820，并且摄像设备100以与负荷状态相对应的频率转变为空闲状态。否则(步骤S801中为“否”)，操作进入步骤S802。例如，在设置了包括水平分辨率约为4,000(4K)个像素的许多像素的运动图像的情况下或者在设置了诸如120帧(120P)/秒等的高帧频的运动图像的情况下，处理负荷高。在这种情况下，操作不是进入步骤S820而是始终进入步骤S802。在摄像设备100拍摄像素数低于预定值或帧频低于预定速率的运动图像的情况下，在运动图像的第一帧和第二帧之间，这些操作中的一半操作进入步骤S820。

在步骤S802中，照相机控制单元104控制摄像光学单元101和图像传感器单元102的操作，以使得在适当的条件下拍摄运动图像。例如，根据针对变焦或调焦的用户指示来移动摄像光学单元101中所包括的透镜。另外，根据与像素数有关的指示来设置图像传感器单元102所读取的区域。此外，基于从如以下所述的评价值计算单元105和识别单元131所供给的评价值信息和被摄体信息来进行特定被摄体的诸如焦点调节和追踪等的控制操作。

在步骤S803中，传感器信号处理单元103对图像传感器单元102所获得的转换得到的电气信号进行像素恢复所用的信号处理。即，通过使用相邻像素的值，传感器信号处理单元103对缺失像素和低可靠性像素的值进行插值。另外，传感器信号处理单元103减去预定偏移值。在本典型实施例中，将在步骤S803之后从传感器信号处理单元103输出的图像信息称为表示原始(未显像)运动图像的RAW图像(特别是RAW运动图像)。

接着，在步骤S804中，简单显像单元111对RAW图像进行显像。在该步骤S804中，控制单元161切换显像单元110内的开关单元121，以选择简单显像单元111进行了显像的图像信息的输出。

简单显像单元111对形成运动图像的帧的RAW运动图像进行去拜尔处理(去马赛克处理)，将该RAW运动图像转换成亮度信号和色差(或原色)信号，去除各信号中所包含的噪声，校正光学失真，并且使该图像最优化。即，简单显像单元111进行所谓的显像处理。接着，将说明简单显像单元111对运动图像进行的显像处理(简单显像)。例如，简单显像单元111将显像后的图像大小限制为高清晰度(HD)大小的200万个像素以下。可选地，简单显像单元111仅进行有限的噪声去除或光学失真校正。可选地，简单显像单元111省略进行该处理。这样，简单显像单元111实现了更快且更为简单的显像。由于简单显像单元111对缩小大小的图像进行处理或进行有限的显像处理，因此摄像设备100可以利用更小的电路规模和更少的电力消耗来以更快的速度拍摄HD大小等的运动图像。

将简单显像单元111进行了显像的图像信息供给至评价值计算单元105。在步骤S805中，评价值计算单元105基于该图像信息中所包括的亮度值和对比度值等来计算诸如聚焦状态和曝光状态等的评价值。评价值计算单元105可以获取进行显像处理之前的RAW运动图像并且以相同的方式根据该RAW运动图像计算评价值。

另外，还将简单显像单元111进行了显像的图像信息供给至识别单元131。在步骤S806中，识别单元131从该图像信息中检测被摄体(例如，面部)并且识别被摄体信息。例如，识别单元131检测该图像信息内的面部的有无。如果存在面部，则识别单元131检测该面部的位置，对特定人进行认证，并且将该结果作为信息输出。

另外，还将简单显像单元111进行了显像的图像信息供给至显示处理单元122。在步骤S807中，显示处理单元122根据所获取到的图像信息形成显示图像并将该显示图像输出至显示单元123或外部显示装置以显示该图像。在运动图像拍摄模式中，使用显示单元123所呈现的显示图像来确认显示，由此用户可以适当地对被摄体进行取景。更具体地，作为运动图像的拍摄所特有的使用形态，不仅在开始所拍摄到的运动图像的记录之前(在待机状态下)而且还在正进行运动图像记录期间(在REC期间)，将该显示图像用于实时取景显示，以使得用户可以适当地对被摄体进行取景。可以将该显示图像从显示处理单元122经由视频输出端子124发送至诸如外部电视等的其它显示装置，由此该显示装置可以呈现该显示图像。另外，通过使用从评价值计算单元105和识别单元131所供给的评价值信息和被摄体信息，显示处理单元122例如可以在显示图像的聚焦区域上显示标记并且在所识别出的面部位置上显示框。

在步骤S808中，控制单元161响应于来自用户的记录开始指示来判断所拍摄到的运动图像是否在记录中(在REC期间)。如果在记录中(步骤S808中为“是”)，则操作进入步骤S810。否则(步骤S808中为“否”)、即如果摄像设备100处于待机状态(步骤S808中为“否”)，则操作返回至步骤S801，并且重复运动图像的记录开始之前的摄像操作和实时取景显示。

在步骤S810中，在步骤S808中所拍摄到的运动图像中，运动图像压缩单元142以帧为单位对从记录开始起直到记录结束为止所记录的运动图像进行压缩。另外，与运动图像的拍摄同时，获取经由麦克风(未示出)所输入的音频信息。然而，将省略通过使用附图的针对音频信息的描述。运动图像压缩单元142还对与运动图像相对应的音频信息进行压缩。

运动图像压缩单元142对所获取到的进行了简单显像的运动图像信息以及音频信息进行高效率编码(运动图像的压缩)以生成运动图像文件。运动图像压缩单元142通过使用诸如MPEG-2、H.264或H.265等的已知的运动图像压缩技术来进行该压缩处理。

在步骤S811中，记录再现单元151将运动图像文件记录在存储介质152中。

传感器信号处理单元103将与步骤S808中所记录的运动图像的时间段相对应的时间段的RAW运动图像供给至RAW压缩单元113。在步骤S812中，RAW压缩单元113对表示与所记录的运动图像所表示的场景相同的场景的RAW运动图像进行高效率编码(RAW压缩)，并将该RAW运动图像转换成RAW文件(RAW运动图像文件)。将该RAW运动图像文件存储在缓冲单元115中。RAW压缩单元113通过使用诸如小波变换或差分编码等的已知技术来进行可能是有损编码也可能是无损编码的高效率编码。可选地，可以省略RAW压缩单元113所进行的RAW压缩。即，RAW压缩单元113可以在无需对RAW运动图像进行压缩的情况下直接输出该RAW运动图像。与是否对RAW运动图像进行压缩无关地，在本典型实施例中，可以创建相对于从传感器信号处理单元103供给的图像信息没有显著劣化并且可以恢复作为高质量图像文件的RAW运动图像文件。

在步骤S813中，记录再现单元151将RAW运动图像文件记录在存储介质152中。接着，操作进入步骤S801。可选地，在步骤S811和S813中，记录再现单元151可以将运动图像文件和/或RAW运动图像文件经由通信单元153和通信端子154发送至外部存储器，由此可以将运动图像文件和/或RAW运动图像文件记录在外部存储器中。

如此说明了根据本典型实施例的运动图像拍摄模式的处理的流程。

接着，将说明根据本典型实施例的运动图像文件和RAW运动图像文件的结构。图9A和9B示出运动图像文件和RAW运动图像文件的结构。

例如，利用记录再现单元151将图9A所示的运动图像文件900记录在存储介质152的预定记录区域中。运动图像文件900包括头部901、元数据部902和压缩数据部903。头部901包括表示该文件采用运动图像文件格式的识别码。压缩数据部903包括进行了高效率编码的运动图像和音频的压缩数据。

元数据部902包括关于与该运动图像文件同时生成的RAW运动图像文件的名称的信息904。另外，元数据部902包括表示通过简单显像单元111进行简单显像对该运动图像文件进行了显像的显像状况信息905。此外，元数据部902包括拍摄元数据906，其中该拍摄元数据906包括评价值计算单元105和识别单元131所检测到的评价值和被摄体信息、以及利用摄像光学单元101和图像传感器单元102在摄像操作期间所获得的信息(例如，透镜类型识别信息和传感器类型识别信息)。此外，尽管没有示出，但元数据部902可以包括记录了同时生成的RAW运动图像文件的存储介质的识别码以及与记录了图像文件的文件夹有关的路径信息。

例如，利用记录再现单元151将图9B所示的RAW运动图像文件910记录在存储介质152的预定记录区域中。RAW运动图像文件910包括头部911、元数据部912和压缩数据部913。头部911包括表示该文件采用RAW运动图像文件格式的识别码。压缩数据部913包括进行了高效率编码的运动图像的RAW压缩数据(或者可以包括没有进行压缩的运动图像的RAW图像数据)。

元数据部912包括关于与该RAW运动图像文件同时生成的运动图像文件的名称的信息914。另外，元数据部912包括表示通过简单显像单元111进行简单显像对该运动图像文件进行了显像的显像状况信息915。另外，元数据部902包括拍摄元数据916，其中该拍摄元数据916包括评价值计算单元105和识别单元131所检测到的评价值和被摄体信息、以及利用摄像光学单元101和图像传感器单元102在摄像操作期间所获得的信息(例如，透镜类型识别信息和传感器类型识别信息)。如果拍摄元数据916中的数据是与拍摄元数据906中的数据共通的数据，则使用相同的数据。此外，尽管没有示出，但元数据部912可以包括记录了同时生成的运动图像文件的存储介质的识别码以及与记录了运动图像文件的文件夹有关的路径信息。可选地，可以将同时生成的运动图像文件全部形成为元数据并存储在元数据部912中。可选地，可以提取同时生成的运动图像文件的一部分(例如，开头帧)并将该部分形成为元数据并存储在元数据部912中。

上述的根据本典型实施例的各种文件的结构仅是示例。还可以使用与诸如DCF、高级视频编解码高清晰度(AVCHD)或素材交换格式(MXF)等的标准兼容的其它结构。

如上所述，根据本典型实施例的摄像设备100中的简单显像单元111显示运动图像拍摄模式(实时取景显示)中所拍摄到的图像，并且对摄像操作期间所生成的运动图像文件进行显像处理。简单显像单元111例如通过将显像后的图像大小限制为200万个像素以下、通过仅进行有限的噪声去除或光学失真校正、或者通过省略该处理，来以相比高质量图像显像单元112所需的量更少的量来进行该处理。这样，简单显像单元111例如可以利用更小的电路规模和更少的电力消耗来对HD大小的运动图像进行显像。此外，如上所述，除运动图像文件外，根据本典型实施例的摄像设备100还生成与运动图像的记录时间段相对应的RAW运动图像文件。该RAW运动图像文件相对于从传感器信号处理单元103供给的图像信息没有显著劣化，然而不需要显像处理来生成该文件。因而，即使图像像素数增加为4K或8K(水平分辨率约为8,000个像素)或者帧频增加为120帧/秒(120P)，也可以利用更小的电路规模和更少的电力消耗来记录RAW运动图像文件。

接着，将说明摄像设备100在运动图像再现模式中的操作。

图10是示出根据本典型实施例的运动图像再现模式的处理的流程图。图10的流程图示出在控制单元161控制各处理块的情况下所进行的过程。更具体地，在控制单元161将控制单元161的ROM中所存储的程序展开至RAM并执行该程序的情况下，进行该过程。

在图10中，在步骤S1000中，开始运动图像再现模式的处理。接着，在步骤S1001中，控制单元161判断摄像设备100的处理负荷是否低。如果控制单元161判断为处理负荷低(步骤S1001中为“是”)，则操作进入步骤S1010，并且摄像设备100以与负荷状态相对应的频率转变为空闲状态。否则(步骤S1001中为“否”)，操作进入步骤S1002。例如，在摄像设备100正等待诸如再现指示等的用户操作的情况下，处理负荷低。因而，在这种情况下，操作进入步骤S1010。如果已指示了运动图像的再现并且通过用户操作正再现运动图像，则操作进入步骤S1002。

在步骤S1002中，控制单元161判断用户是否给出了用于临时停止(暂停)运动图像的再现的指示。如果用户没有给出该指示(步骤S1002中为“否”)，则操作进入步骤S1003，以继续运动图像的再现。

在步骤S1003中，记录再现单元151从存储介质152等中读取要再现的运动图像文件。接着，在步骤S1004中，运动图像解压缩单元144逐一对运动图像文件的帧进行解码和解压缩。接着，在步骤S1005中，显示处理单元122将所再现的运动图像的显示图像输出至显示单元123。

在步骤S1002中，如果控制单元161判断为用户给出了用于临时停止(暂停)运动图像的再现的指示(步骤S1002中为“是”)，则控制单元161临时停止运动图像的再现和显示，并且该操作进入步骤S1020以将与给出了暂停指示的位置相对应的帧显示作为静止图像。在暂停状态中，由于显示静止图像，因此相比运动中的运动图像的质量，用户可以更容易地观看图像的细节的质量。另外，在暂停操作期间更有可能接收到针对放大显示的指示。因此，为了显示图像质量相比通过简单显像进行了显像的运动图像文件的图像质量更高的图像，在步骤S1020中，记录再现单元151再现与再现中的运动图像文件相对应的RAW运动图像文件内的与暂停操作期间正显示的帧相对应的RAW图像帧。在该步骤S1020中，如果将作为再现对象的RAW运动图像文件缓存在缓冲单元115中，则记录再现单元151从缓冲单元115读取该RAW运动图像文件。否则，记录再现单元151从存储介质152等读取该RAW运动图像文件。将从存储介质152等所读取的RAW运动图像文件临时存储在缓冲单元115中。

接着，在步骤S1021中，RAW解压缩单元114对从缓冲单元115或存储介质152等读取的RAW运动图像文件进行解码和解压缩以恢复RAW运动图像。在步骤S1022中，高质量图像显像单元112将恢复后的RAW运动图像显像为高质量运动图像。

摄像设备100可以拍摄根据RAW运动图像文件而显像为高质量图像并且与暂停操作中所显示的帧相对应的高质量静止图像，作为新的静止图像文件。在步骤S1023中，控制单元161判断用户是否给出了用于拍摄暂停操作中的显示图像作为静止图像的指示。如果用户没有给出该指示(步骤S1023中为“否”)，则将根据RAW运动图像文件而显像为高质量图像的静止图像供给至显示处理单元122。接着，在步骤S1005中，显示处理单元122将高质量静止图像的显像后的显示图像输出至显示单元123。这样，利用根据RAW图像而显像为高质量图像的静止图像的显像图像来替换在运动图像文件临时停止的情况下所显示的图像。

在步骤S1023中，如果控制单元161判断为用户给出了用于拍摄静止图像的指示(步骤S1023中为“是”)，则将步骤S1022中高质量图像显像单元112进行了显像的图像信息供给至静止图像压缩单元141。在步骤S1024中，静止图像压缩单元141对通过拍摄所获取到的图像信息进行高效率编码(静止图像的压缩)并且生成高质量静止图像文件。静止图像压缩单元141可以通过使用诸如JPEG等的已知技术来进行压缩处理。

在步骤S1025中记录再现单元151将高质量静止图像文件记录在存储介质152等中之后，操作进入步骤S1005。将根据RAW运动图像文件而显像为高质量图像的静止图像供给至显示处理单元122。接着，在步骤S1005中，显示处理单元122将显像为高质量图像的静止图像的显示图像输出至显示单元123。这样，利用根据RAW图像而显像为高质量图像的静止图像的显示图像来替换在运动图像文件临时停止的情况下所显示的图像。

步骤S1024中静止图像压缩单元141所生成的高质量静止图像文件具有如图4A的静止图像文件400的结构所示的结构。元数据部402存储生成高质量静止图像文件所依据的RAW运动图像文件的名称作为与RAW文件有关的信息404。此外，存储与将帧拍摄为静止图像的时刻有关的信息，作为拍摄元数据406。该信息可以表示RAW运动图像文件中的帧的位置。可选地，可以提取出RAW运动图像文件中的帧作为静止图像，并且此时可以创建与之成对的新静止图像的RAW文件410。关于静止图像的RAW文件的生成，基于如利用上述的静止图像拍摄模式中的步骤S310～S313所述的方法来生成静止图像文件和RAW文件。

针对各帧进行步骤S1005中的显示。在运动图像的再现期间，操作返回至步骤S1001以显示下一帧。在步骤S1001中，如果控制单元161判断为处理负荷低(步骤S1001中为“是”)、并且摄像设备100转变为空闲状态S1010，则根据上述的图5的流程图来处理该操作。

因而，为了毫无延迟而容易地再现运动图像，根据本典型实施例的摄像设备100使用摄像操作期间所记录的运动图像文件。在暂停状态下，摄像设备100可以利用根据运动图像的RAW文件而显像为高质量图像的静止图像来替换该运动图像，并且显示该静止图像。另外，可以容易地拍摄到该高质量静止图像作为静止图像文件。

此外，进行如下假定：在紧挨摄像操作之后的时刻，在尚未进行追踪显像的情况下进行图10的步骤S1020之后的高质量图像显像。在本典型实施例中，摄像设备100在摄像设备100等待用户操作(例如，在摄像操作之间的间隔中、在再现模式中或在休眠状态中)的处理负荷相对较低的状态下逐渐完成针对运动图像的追踪显像。当然利用高质量图像显像所生成的运动图像文件来替换简单显像所生成的运动图像文件。所替换的图像越多，所进行的步骤S1020之后的高质量图像显像操作越少。即，由于始终可以迅速地输出高质量图像，因此可以进一步提高可操作性。

尽管如此说明了本典型实施例，但本发明不限于此。根据本发明，在本发明的技术概念内，根据需要基于相关电路模式可适用各种变化。

其它实施例

还可以通过读出并执行记录在存储介质(例如，非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明的上述实施例中的一个或多个的功能的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或多个，并且可以包括单独计算机或单独计算机处理器的网络。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)(商标)等)、闪速存储装置和存储卡等中的一个或多个。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2013年3月15日提交的日本专利申请2013-053242和2013年3月15日提交的日本专利申请2013-053243的优先权，在此通过引用包含这些申请的全部内容。

Claims (14)

1.一种摄像设备，包括：

摄像单元，用于拍摄被摄体图像，并且生成表示RAW图像的信息；

第一显像单元，用于获取表示所述RAW图像的信息，并且在摄像操作期间对所述RAW图像进行显像；

图像压缩单元，用于对所述第一显像单元进行了显像的图像信息进行压缩和编码，并且生成图像文件；

RAW压缩单元，用于对表示所述RAW图像的信息进行压缩和编码，并且生成RAW文件；

存储单元，用于将所述图像文件和所述RAW文件存储在存储器中；以及

第二显像单元，用于读取所述存储器中所存储的所述RAW文件，并且对所述RAW图像进行显像，以获得相比所述第一显像单元所获得的图像具有更高图像质量的图像，

其特征在于，所述存储单元将用于识别与所述图像文件相对应的RAW文件的信息记录为所述图像文件中的元数据，并且将用于识别与所述RAW文件相对应的图像文件的信息记录为所述RAW文件中的元数据。

2.根据权利要求1所述的摄像设备，其中，所述存储单元将与所述RAW文件相对应的图像文件的全部或一部分附加地存储在所述RAW文件的元数据中。

3.根据权利要求1所述的摄像设备，其中，所述存储单元将表示所述第一显像单元对所述图像文件进行了显像的信息附加地存储在所述图像文件的元数据中。

4.根据权利要求1所述的摄像设备，其中，在所述第二显像单元完成所述RAW文件的显像的情况下，所述存储单元将表示所述第二显像单元进行了高质量图像显像的处理的信息存储为所述RAW文件中的元数据。

5.根据权利要求1所述的摄像设备，其中，在所述第二显像单元完成所述RAW文件的显像的情况下，所述图像压缩单元对所述第二显像单元进行了显像的图像信息进行压缩和编码，并且生成包括高质量的显像图像的图像文件。

6.根据权利要求5所述的摄像设备，其中，在所述存储单元将包括所述高质量的显像图像的图像文件存储在所述存储器中的情况下，所述存储单元将与所述RAW文件相对应的图像文件从所述存储器中删除。

7.根据权利要求5所述的摄像设备，其中，在指示了特定图像的再现的情况下，如果存在包括所述高质量的显像图像的图像文件，则所述存储单元从所述存储器再现包括所述高质量的显像图像的图像文件，并且如果不存在包括所述高质量的显像图像的图像文件，则所述存储单元从所述存储器再现所述图像文件。

8.一种摄像设备的控制方法，包括以下步骤：

摄像步骤，用于拍摄被摄体图像，并且生成表示RAW图像的信息；

第一显像步骤，用于获取表示所述RAW图像的信息，并且在摄像操作期间对所述RAW图像进行显像；

图像压缩步骤，用于对所述第一显像步骤进行了显像的图像信息进行压缩和编码，并且生成图像文件；

RAW压缩步骤，用于对表示所述RAW图像的信息进行压缩和编码，并且生成RAW文件；

存储步骤，用于将所述图像文件和所述RAW文件存储在存储器中；以及

第二显像步骤，用于读取所述存储器中所存储的所述RAW文件，并且对所述RAW图像进行显像，以获得相比所述第一显像步骤所获得的图像具有更高图像质量的图像，

其特征在于，在所述存储步骤中，将用于识别与所述图像文件相对应的RAW文件的信息记录为所述图像文件中的元数据，并且将用于识别与所述RAW文件相对应的图像文件的信息记录为所述RAW文件中的元数据。

9.根据权利要求8所述的摄像设备的控制方法，其中，在所述存储步骤中，将与所述RAW文件相对应的图像文件的全部或一部分附加地存储在所述RAW文件的元数据中。

10.根据权利要求8所述的摄像设备的控制方法，其中，在所述存储步骤中，将表示所述第一显像步骤对所述图像文件进行了显像的信息附加地存储在所述图像文件的元数据中。

11.根据权利要求8所述的摄像设备的控制方法，其中，在所述第二显像步骤中完成所述RAW文件的显像的情况下，在所述存储步骤中，将表示所述第二显像步骤进行了高质量图像显像的处理的信息存储为所述RAW文件中的元数据。

12.根据权利要求8所述的摄像设备的控制方法，其中，在所述第二显像步骤中完成所述RAW文件的显像的情况下，在所述图像压缩步骤中，对所述第二显像步骤进行了显像的图像信息进行压缩和编码，并且生成包括高质量的显像图像的图像文件。

13.根据权利要求12所述的摄像设备的控制方法，其中，在所述存储步骤中，在将包括所述高质量的显像图像的图像文件存储在所述存储器中的情况下，将与所述RAW文件相对应的图像文件从所述存储器中删除。

14.根据权利要求12所述的摄像设备的控制方法，其中，在所述存储步骤中，在指示了特定图像的再现的情况下，如果存在包括所述高质量的显像图像的图像文件，则从所述存储器再现包括所述高质量的显像图像的图像文件，并且如果不存在包括所述高质量的显像图像的图像文件，则从所述存储器再现所述图像文件。