CN110063054A - 控制设备、控制方法和程序 - Google Patents

Abstract

该技术涉及使用户能够获得与成像相关的体感的控制装置、控制方法和程序。控制装置设置有用于处理基于从多个像素各自输出的像素信号的数据的处理单元；以及用于将基于由处理单元处理的数据的图像作为直通图像显示在显示部上的显示控制单元，其中显示部根据记录数据的指令将指示记录处理的标记与在显示部上显示的直通图像一起显示。标记显示在显示部的四个角处。此外，标记显示在自动聚焦框附近。该技术适用于成像装置。

Description

控制设备、控制方法和程序

技术领域

本技术涉及控制设备、控制方法和程序。例如，本技术涉及用于控制在成像期间给出成像感的机构的控制设备、控制方法和程序。

背景技术

近年来，各自包括诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)传感器的成像元件的数码相机和数码摄像机已被广泛使用。数码相机捕获静止图像，而数码摄像机捕获运动图像。然而，还存在能够捕获运动图像的数码相机，以及能够捕获静止图像的数码摄像机。注意，在以下描述中，当没有特别地区分这些相机时，数码相机和数码摄像机中的每个也简称为“数码相机”。

在很多情况下，例如，上述数码相机包括由LCD(液晶显示器)等构成的显示单元，并且被配置为在显示单元上显示捕获图像。近年来，还存在如下类型的上述数码相机，其对捕获图像执行图像处理，诸如用于从捕获图像检测人脸区域，并调节检测到的区域的颜色的处理。

引用列表

专利文献

[PTL 1]

日本专利公开No.2013-055589

发明内容

[技术问题]

近年来，还存在这样的数字相机，其增加成像元件的像素数以捕获更高清晰度的图像(高分辨率图像)。同时，随着图像清晰度的增加，这些图像的数据量也趋于增加。因此，该数据量增加还可以增加用于输出捕获图像的处理时间，诸如用于在用户检查的显示单元上显示捕获图像的时间，以及用于分析捕获图像、基于分析执行对图像的图像处理、并输出经处理的图像的时间。

当处理时间增加时，可以产生称为黑屏(blackout)的状态，其中在显示单元上不显示图像。还存在这样一种装置，其持续显示称为直通图像的图像。在这种情况下，直通图像不会被更新并且在处理时间期间进入冻结显示状态。因此，考虑到已经引起某些错误，一些用户可能会感到困惑。为了防止这些用户混淆，一些装置有意地显示黑色图像以创建黑屏的情况。

然而，在显示单元上的屏幕不显示(黑屏)或冻结直通图像的显示期间，可能引起诸如失去对被摄体的视线的问题。因此，需要减少黑屏时段(显示冻结直通图像的时段)。

另一方面，一些拍摄者(用户)基于黑屏的生成来识别成像定时或曝光时间。因此，当由于没有黑屏而无法识别成像定时或曝光时间时，一些拍摄者可能会感到不便。

需要提供一种用于允许用户识别成像定时或曝光时间并向用户提供成像感的机构。

考虑到上述情况开发了本技术，并且给用户提供了成像感。

[问题的解决方案]

根据本技术的一个方面的成像装置包括：处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像。处理单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示。

根据本技术的一个方面的成像方法涉及一种控制设备的控制方法，所述控制设备包括：处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像。所述控制方法包括使处理单元响应于数据记录的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示的步骤。

根据本技术的一个方面的程序涉及一种用于控制控制设备的计算机的程序，所述控制设备包括：处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像。该程序使计算机执行包括使处理单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示的步骤的处理。

根据本技术的一个方面的成像装置、成像方法和程序，处理基于从多个像素各自输出的像素信号的数据，并且在显示单元上显示与经处理的数据对应的图像，作为直通图像。此外，响应于记录数据的指令，将指示记录处理的标记与在显示单元上显示的直通图像一起显示。

注意，控制设备可以是独立装置，或者是构成一个设备的内部块。

此外，程序可以经由传输介质传输，或者以记录有程序的记录介质的形式提供。

[发明的有益效果]

根据本技术的一个方面，向用户提供成像感。

注意，有益效果不限于本文描述的那些，而是可以包括本公开中描述的任何有益效果。

附图说明

图1是说明根据比较示例的成像装置的示意性配置的示例的图。

图2是说明由根据比较示例的成像装置执行的处理的流程的图。

图3是说明由根据比较示例的成像装置执行的处理的流程的图。

图4是说明根据本技术的一个方面的成像装置的概要的图。

图5是示出成像装置的示例的配置的图。

图6是说明由成像装置执行的处理的流程的示例的时间图。

图7是说明由成像装置执行的处理的流程的示例的时间图。

图8是示出反馈显示的示例的图。

图9是说明显示时间设置处理的流程图。

图10是说明反馈显示的定时的图。

图11是说明反馈显示的定时的图。

图12是说明反馈显示的定时的图。

图13是说明反馈显示的定时的图。

图14是说明在曝光开始时执行的处理的流程图。

图15是示出反馈显示的示例的图。

图16是说明在曝光结束时执行的处理的流程图。

图17是说明定时器的测量结束时的处理的流程图。

图18是说明显示位置设定处理的流程图。

图19是示出反馈显示的示例的图。

图20是示出反馈显示的示例的图。

图21是示出反馈显示的示例的图。

图22是示出反馈显示的示例的图。

图23是示出反馈显示的示例的图。

图24是示出反馈显示的示例的图。

图25是示出反馈显示的示例的图。

图26是示出反馈显示的示例的图。

图27是示出反馈显示的示例的图。

图28是示出反馈显示的示例的图。

图29是说明反馈显示的组合的图。

图30是说明智能电话的应用的图。

图31是说明智能电话的应用的图。

图32是说明记录介质的图。

具体实施方式

以下描述用于执行本技术的模式(下文中称为实施例)。

<比较示例>

在描述根据本公开的实施例的成像装置之前，参考图1至图3来描述传统的成像装置，作为根据本实施例的成像装置的比较示例。首先参考图1描述根据比较示例的成像装置的概况。图1是说明根据比较示例的成像装置的示意性配置的示例的说明图。注意，图1中示出的示例在下文中也称为比较示例1。

在图1中，附图标记100a的组件示意性地表示根据比较示例1的成像装置中包括的图像传感器。图像传感器100a是捕获被摄体的图像并获取表示捕获的图像的数字数据的成像元件，诸如CMOS(互补金属氧化物半导体)图像传感器和CCD(电荷耦合器件)图像传感器。图像传感器100a包括像素阵列单元111，其中多个像素以矩阵(阵列)的形式设置。注意，图像传感器100a通常还包括除像素阵列单元111之外的电路。然而，为了易于理解描述，图1中所示的示例未示出除像素阵列单元111之外的电路。

此外，给予附图标记200a的处理示意性地表示图像处理LSI(大规模集成电路)，其对根据从像素阵列单元111的各个像素接收的像素信号提供的图像信号执行所谓的图像处理。图像处理的示例包括黑色电平校正、颜色混合校正、缺陷校正、去马赛克处理、矩阵处理、伽马校正和YC转换。

图像处理部210示意性地表示由图像处理LSI 200a实现的图像处理功能。注意，图像处理LSI 200a可以包括用于执行除图像处理之外的功能的配置。然而，在图1中示出的示例中，为了便于理解描述，省略了除图像处理部210之外的配置的描述。

另外，给予附图标记n0的流程示意性地表示图像传感器100a和图像处理LSI 200a之间的信号流(流)。更具体地，根据图1中示出的比较示例1的成像装置，图像传感器100a执行对经由未示出的光学元件进入的光的光电转换以及各个像素的像素值的模拟/数字转换，以生成表示被摄体的捕获图像的图像信号。另外，图像传感器100a将所生成的图像信号作为流n0输出到图像处理LSI 200的图像处理部210。

例如，图像处理LSI 200a获取从图像传感器100a输出的图像信号作为流n0，对获取的图像信号执行图像处理，并且在显示单元(未示出)上显示经过图像处理的图像信号作为预览图像(所谓的直通图像或监视器图像)。结果，用户可以经由显示单元检查捕获图像。

接下来参考图2描述在从图像传感器100a对被摄体的图像进行曝光(成像)到将表示曝光图像的图像信号读入图像处理LSI 200a的时段中，由图1中示出的成像装置执行的处理的流程的示例。图2是说明由比较示例的成像装置执行的处理的流程的说明图，其示出了当采用包括机械前帘和后帘的所谓的焦平面快门时的示意性时间图的示例。注意，图2中示出的示例在下文中也称为比较示例2。

在图2中，横轴表示时间，而纵轴表示像素阵列单元111的行方向。另外，给予附图标记d910和d911的时段各自示意性地表示像素阵列单元111的每个像素的曝光时段。注意，假设给予附图标记d910的曝光时段示出了在给予附图标记d911的曝光时段之前捕获的图像的曝光时段。

这里描述的是集中于曝光时段d911、在捕获被摄体的图像期间执行的一系列处理的流程。最初，在给予附图标记d901的定时重置在所有像素中累积的像素信号。在完成所有像素的重置之后，阻挡光进入各个像素的前帘在行方向上移动，如附图标记d921所示。结果，被前帘阻挡的光进入各个像素以开始曝光。

随后，后帘在追踪前面的前帘的同时在行方向上移动，如附图标记d931所示。因此后帘阻挡光进入各个像素以完成曝光。更具体地，由附图标记d921和d931对于每个像素定义的时段T93对应于相应像素的曝光时间。根据图2中示出的示例，对于每个行，各个像素的曝光开始定时和曝光结束定时是不同的。

此外，在图2中给予了附图标记d941的处理示意性地表示用于从各个像素读取像素信号的处理。更具体地，根据图2中示出的比较示例2，在完成一系列像素的曝光之后，从每行的各个像素顺序地读取像素信号。附图标记T95表示从一系列像素读取像素信号的处理的时段。

更具体地，在图2中示出的比较示例2的情况下，在完成一系列像素的曝光和从所述一系列像素读取像素信号之后生成捕获图像。换句话说，在图2中示出的比较示例2的情况下，在从所有像素的重置到完成从一系列像素读取图像信号的时段T91a中难以输出在曝光时段d911期间捕获的图像。

注意，可以在时段T91a中显示在曝光时段d910期间捕获的图像。然而，当先前捕获的图像被显示为监视图像时，例如，输出在用户当前观看的被摄体的图像之前捕获的被摄体的图像。在这种情况下，难以实现实时成像。

接下来参考图3描述从图像传感器100a对被摄体的图像进行曝光(成像)到将表示曝光图像的图像信号读入图像处理LSI 200a，由图1中示出的成像装置执行的处理的流程的另一示例。图2是说明由比较示例的成像装置执行的处理的流程的说明图，其示出了当不使用机械前帘和后帘而电子控制各个像素的曝光时段时的示意性时间图的示例。注意，图3中示出的示例在下文中也称为比较示例3。

在图3中，横轴表示时间，纵轴表示像素阵列单元111的行方向。另外，类似于图2中示出的示例，给予附图标记d910和d911的时段分别示意性地表示像素阵列单元111的每个像素的曝光时段。假设给予附图标记d910的曝光时段示出了在给予附图标记d911的曝光时间之前捕获的图像的曝光时间。

在图3中示出的比较示例3中，在每个像素中累积的像素信号的重置与对应像素的曝光开始同步。更具体地，如附图标记d901所示，针对每行顺序地执行各个像素的重置。此外，在完成每个像素的重置之后，迅速开始对应像素的曝光。此外，每个像素的曝光结束与从对应像素读取像素信号同步。更具体地，如附图标记d941所示，在完成每个像素的曝光之后，迅速开始从对应像素读取像素信号。

根据图3中示出的比较示例3中的配置，可以开始从各个像素读取像素信号，而无需等到所有像素的曝光完成。因此，在图3中示出的比较示例3的情况下，从曝光开始到完成从一系列像素读取像素信号的时段T91b可以变得比图2中示出的比较示例2中的对应时段短。

然而，根据图3中示出的比较示例3，各个像素的扫描速度取决于从各个像素的像素信号的读取速度，如附图标记d941所示。因此，例如，当在图1中示出的流n0的传输速度受限时，扫描速度随着捕获图像的分辨率增加而降低。在这种情况下，例如可以产生焦平面失真。注意，限制流n0的传输速度的情况的示例包括限制图像传感器100a和图像处理LSI200a之间的总线频带的情况。

此外，在上述比较示例2和比较示例3的每个中，在完成从一系列像素读取像素信号以及基于像素信号的图像分析之后，根据对基于像素信号的图像分析结果来执行对捕获图像的图像处理。

因此，在比较示例2和比较示例3中的每个中，用于从曝光到用于读取像素信号的处理的处理，以及用于分析基于像素信号的图像的处理的处理时间随着捕获图像的分辨率的增加而增加。结果，图像输出所需的时间增加。

当图像输出所需的时间(处理时间)增加时，可以产生其中在显示单元上不显示图像的称为黑屏的状态。还存在这样一种装置，其在处理时间期间持续显示称为直通图像的图像。在这种情况下，直通图像在处理时间期间不被更新，因此进入冻结显示状态。因此，考虑到已经引起某些错误，一些用户可能会感到困惑。为了防止这些用户混淆，一些装置有意地显示黑色图像以创建黑屏的情况。

然而，在显示单元上的屏幕不显示(黑屏)或冻结直通图像的显示期间，可能引起诸如失去对被摄体的视线的问题。因此，需要减少黑屏时段(冻结直通图像的显示时段)。

因此，根据本实施例的成像装置减少了用于输出捕获图像的处理时间(诸如用于在用户检查的显示单元上显示捕获图像的时间)，以及用于分析捕获图像、对图像执行图像处理、并输出图像的时间。

<作为本技术的应用的成像装置的配置>

现在参考图4描述根据本实施例的成像装置的概况。图4是说明根据本公开的实施例的成像装置的概要的说明图。注意，图4示出了聚焦于图像传感器100和图像处理LSI200、根据本实施例的成像装置的示意性配置。图中未示出其他配置。

如图4所示，根据本实施例的图像传感器100与根据图1所示的比较示例1的图像传感器100a的不同之处在于添加了帧存储器190。给予附图标记n1和n2的流程各自示意性地表示图像传感器100和图像处理LSI200之间的信号流(流)。

此外，与参照图3说明的比较示例3类似，根据本实施例的成像装置在不使用机械前帘和后帘的情况下电子地控制各个像素的曝光时段。因此，本实施例的成像装置被配置为在不等待所有像素的曝光完成的情况下顺序地从曝光的像素读取像素信号。

具体地，根据图4所示的本实施例的成像装置，图像传感器100执行对经由未示出的光学元件进入的光的光电转换，以及各个像素的像素值的A/D转换，以生成表示被摄体的捕获图像的图像信号。在这种情况下，图像传感器100将图像信号作为基于构成像素阵列单元111的多个像素的至少一部分的图像信号的流n1输出到图像处理LSI200。

此外，图像传感器100还在帧存储器190中临时存储来自构成像素阵列单元111的多个像素的像素信号。此外，图像传感器100顺序地读取存储在帧存储器190中的各个像素的像素信号，并将基于读取的像素信号的图像信号作为流n2输出到图像处理LSI 200。

在该配置中，例如，图像传感器100能够向图像处理LSI 200输出基于来自像素的一部分的像素信号的低分辨率图像(即，稀疏图像)作为流n1，以及基于来自所有像素的像素信号的高分辨率图像作为流n2。

注意，图像传感器100可以将所有像素的像素信号临时保持在帧存储器190中，因此不需要在相同的时刻并行地将流n1和流n2输出到图像处理LSI200。更具体地，允许图像传感器100在输出流n1之后输出流n2。不用说，图像传感器100可以并行地将流n1和流n2输出到图像处理LSI200。

因此，例如，图像处理LSI 200可以在显示单元上显示作为流n1(低分辨率图像)从图像传感器100初始输出的图像信号作为预览图像，并且在记录介质中记录作为流n2(高分辨率图像)输出的图像信号作为图像数据。

如此配置的本实施例的成像装置与上述各个比较示例相比，即使在图像传感器100和图像处理LSI 200之间的传输速度受限时也能够减少从完成曝光到显示预览图像所需的时间(即，在捕获图像之后的屏幕非显示时间)。

在某些情况下，捕获图像之后的屏幕非显示时间称为黑屏。根据本实施例，该黑屏时段可以缩短或减小到零。

如上所述，低分辨率图像(流n1)的图像信号用于在显示单元上显示的预览图像。低分辨率图像的图像信号具有小的数据大小，因此可以减少传送或处理所需的时间。

因此，能够实现以预定间隔(预览图像的更新速率)在显示单元上连续显示预览图像，因此能够避免生成黑屏。

同时，高分辨率图像(流n2)用于记录的图像信号。高分辨率图像信号具有大的数据大小，因此传送或处理所需的时间比流n1的时间长。

如果流n2用于预览图像，则传送或处理所需的时间变得比预览图像的更新速率长。在这种情况下，预览图像可能变得难以更新。这种情况导致预览图像冻结或黑屏，在这种情况下，用户可能会有不安全的感觉。

然而，根据本技术，使用如上所述的具有小的数据大小的流n1在显示单元上显示预览图像。因此，能够避免预览图像冻结或黑屏。

此外，在显示单元上的屏幕不显示(黑屏)或显示的图像冻结时，在此时段期间可能引起失去对被摄体的视线的问题。然而，根据本实施例的成像装置，黑屏的时间可以减少(至零)。因此，可能降低失去对被摄体的视线的问题的可能性。

另外，在另一示例中，图像处理LSI 200能够分析作为流n1(低分辨率图像)从图像传感器100最初输出的图像信号，并且根据分析结果对作为流n2(高分辨率图像)输出的图像信号执行图像处理。

更具体地，图像处理LSI 200能够并行地执行对作为流n1输出的图像信号的分析和作为流n2输出的图像信号的获取。另外，与分析所有像素的图像信号的配置相比，获取作为流n1的低分辨率图像的图像信号可以减少获取作为分析目标的图像信号所需的时间，以及执行分析所需的时间。

因此，本实施例的成像装置可以减少从完成曝光到图像分析和根据分析结果对图像的图像处理之后输出捕获图像所需的时间。

此外，具有上述配置的图像处理LSI 200可以以时分方式获取流n1和n2。在这种情况下，在同一帧中捕获的图像的图像信号可以用作流n1和n2。因此，与根据在不同帧中捕获的图像信号的分析结果执行的图像处理相比，本实施例的成像装置可以提高图像处理的精度。

此外，在不同的示例中，图像处理LSI 200可以从图像传感器100顺序地获取低分辨率图像的图像信号作为流n1，并且基于所获取的图像生成运动图像。此外，在这种情况下，图像处理LSI 200可以获取与期望帧(例如，由用户指定的帧)对应的高分辨率图像的图像信号作为流n2，并且基于所获取的图像信号生成静止图像。

如此配置的本实施例的成像装置可以同时获取运动图像和静止图像，并且记录分辨率高于运动图像的分辨率的图像作为静止图像。此外，此时，仅从图像传感器100的期望帧输出高分辨率图像的图像信号。因此，本实施例的成像装置能够使在图像传感器100和图像处理LSI 200之间传输的图像信号量最小化，从而减少了输出各个图像所需的时间。

参考图5进一步描述根据本实施例的成像装置的配置的示例。图5是示出根据本实施例的成像装置的配置的示例的框图，其中上述图像传感器100和图像处理LSI 200设置在同一壳体中。图5中示出的成像装置300是捕获被摄体的图像，并输出被摄体的图像作为电信号的装置。

如图5中所示，成像装置300包括透镜单元311、CMOS传感器312、操作单元314、控制单元315、图像处理单元316、显示单元317、编解码处理单元318和记录单元319。

透镜单元311由诸如透镜和光圈的光学元件构成。透镜单元311在控制单元315的控制下调节透镜单元311和被摄体之间的焦点，从聚焦位置收集光，并将光提供给CMOS传感器312。

CMOS传感器312是在控制单元315的控制下捕获被摄体的图像，并且通过入射光的光电转换和各个像素的像素值的A/D转换来获取表示被摄体的捕获图像(捕获图像)的数据的图像传感器。CMOS传感器312在控制单元315的控制下将通过成像获取的捕获图像数据提供给图像处理单元316。

操作单元314例如由微动拨盘(商标)、按键、按钮或触摸板构成，并接收来自用户的操作输入，并将与操作输入相对应的信号提供给控制单元315。

控制单元315根据与用户通过操作单元314的操作输入相对应的信号控制透镜单元311、CMOS传感器312、图像处理单元316、显示单元317、编解码处理单元318和记录单元319的驱动，以使各个单元执行与成像相关联的处理。

图像处理单元316对于从CMOS传感器312提供的图像信号执行各种类型的图像处理，诸如黑色电平校正、颜色混合校正、缺陷校正、去马赛克处理、矩阵处理、伽马校正和YC转换。可以执行任意类型的图像处理，包括除了上述处理之外的处理。图像处理单元316将经过图像处理的图像信号提供给显示单元317和编解码处理单元318。

显示单元317例如由液晶显示器等构成，并根据从图像处理单元316接收的图像信号显示被摄体的图像。

编解码处理单元318对从图像处理单元316接收的图像信号执行预定系统的编码处理，并将通过编码处理获得的图像数据提供给记录单元319。

从编解码处理单元318接收的图像数据被记录在记录单元319中。记录在记录单元319中的图像数据根据需要由图像处理单元316读取，并提供给显示单元317以显示对应的图像。

成像装置300的CMOS传感器312对应于上面参考图4描述的图像传感器100。成像装置300的图像处理单元316对应于上面参考图4描述的图像处理部210。此外，参考图4描述的图像处理部210(图像处理LSI 200)可以包括成像装置300的编解码处理单元318、控制单元315和其他装置。

CMOS传感器312包括选择单元(开关)，用于选择作为来自一个像素的信号的输出目的地的模数转换器(ADC)(列ADC)的数量。更具体地，允许CMOS传感器312根据ADC的数量输出更多种类型的像素信号。因此，成像装置300能够使用各种类型的像素信号实现更多种类型的处理。

此外，CMOS传感器312还包括帧存储器190，并且将所有像素的像素信号临时保持在帧存储器190中，以输出低分辨率图像和高分辨率图像作为彼此不同的流n1和n2。

此外，图像处理单元316对应于上面参考图4描述的图像处理LSI 200的图像处理部210。因此，例如，图像处理单元316能够在显示单元上显示最初从CMOS传感器312输出的图像信号(低分辨率图像)作为预览图像，并且记录随后输出的图像信号(高分辨率图像)作为图像数据。

更具体地，即使在CMOS传感器312和图像处理单元316之间的传输速度受限的状态下，成像装置300也能够减少从完成曝光到显示预览图像所需的时间。

此外，在不同的示例中，图像处理单元316能够分析最初从CMOS传感器312输出的图像信号(低分辨率图像)，并且根据分析结果对随后输出的图像信号(高分辨率图像)执行图像处理。更具体地，成像装置300能够减少从完成曝光到分析捕获图像和根据分析结果对捕获图像的图像处理之后的图像输出所需的时间。

此外，允许具有上述配置的图像处理单元316将低分辨率图像的分析结果应用于最初在与低分辨率图像的帧相同的帧中输出的高分辨率图像，以执行高分辨率图像的图像处理。因此，与根据在不同帧中捕获的图像的分析结果执行图像处理的配置中的图像处理的精度相比，成像装置300能够提高图像处理的精度。

<成像装置的操作>

现在描述根据本实施例的成像装置的操作。结合图4中示出的示意性配置的示例，参考图6描述由根据本实施例的成像装置执行的处理流程的示例。图6是说明成像装置的流程的示例的示意性时间图。

图6示出了指示各个像素处的曝光处理的像素控制，指示像素信号输入到帧存储器190和从帧存储器190输出的处理的存储器控制，以及指示像素信号从图像传感器100传输到图像处理LSI 200的处理的输出控制。在图6中，每个横轴表示时间。此外，指示像素控制、存储器控制和输出控制的时间图的每个纵轴表示像素的位置，作为目标像素信号在行方向上的输出目的地。

给予附图标记T11和T12的时段各自指示根据本实施例的图像传感器100的垂直同步信号的示例的帧速率。例如，T11被设置为大约30[fps]，而T12被设置为大约120[fps]。注意，如图6中所示，时段T11指示完成一系列像素曝光所需的时段，而时段T12对应于扫描一系列像素所需的扫描时段。

此外，给予附图标记d110至d114的时段示意性地指示像素阵列单元111的各个像素的曝光时段。更具体地，曝光时段d110至d114中的每个示意性地示出了用于在按时间序列改变每行的开始定时的同时，按时间序列执行像素阵列单元111的各个像素的曝光的处理的流程。此外，给予附图标记T13的时段指示每个像素的曝光时间。

给予附图标记d210至d213的处理各自指示图像传感器100在曝光时段d110至d113中的对应的一个将从各个像素输出的像素信号写入帧存储器190的处理(用于临时保持的处理)的流程。注意，在以下描述中，由附图标记d210至d213指示的用于将像素信号写入帧存储器190的每个处理也简称为“写入处理”。

此外，给予附图标记d310至d313的处理各自指示如图4所示出的、图像传感器100将构成像素阵列单元111的多个像素的至少一部分的像素信号作为流n1输出到图像处理LSI200的处理的流程。注意，在以下描述中，如附图标记d310到d313所示的用于将像素信号从图像传感器100输出到图像处理LSI 200的每个处理也被称为“第一输出处理”。

此外，给予附图标记d221至d223的处理各自指示图像传感器100读取写入帧存储器190(暂时保留)的像素信号的处理的流程。注意，在以下描述中，如附图标记d221至d223所示的用于从图像传感器100读取图像信号的每个处理也简称为“读取处理”。

此外，给予附图标记d321至d323的处理各自指示如图4所示出的、图像传感器100将从帧存储器190读取的像素信号作为流n2输出到图像处理LSI200的处理流程。注意，在以下描述中，如附图标记d321到d323所示的从帧存储器190读取的像素信号从图像传感器100输出到图像处理LSI 200的每个处理也被称为“第二次输出处理。”

如图6所示出的，写入处理d211和第一输出处理d311与曝光时段d111的结束同步地执行。更具体地，当像素阵列单元111的各个像素的曝光结束(即，曝光时段d111完成)时，图像传感器100在由写入处理d211指示的处理定时将从各个像素输出的像素信号顺序地写入帧存储器190。

此外，图像传感器100将从一部分像素输出到帧存储器190的像素信号划分成部分，并且在由第一个输出处理d310指示的处理定时将像素信号的划分的部分中的一个直接输出到图像处理LSI 200。另外，另一方面，图像传感器100将像素信号的其他划分的部分写入帧存储器190。

这种处理方式适用于在完成由d110和d112至d114指示的曝光时段之后从各个像素输出的像素信号。

此外，图像传感器100还在由读取处理d221指示的处理定时顺序地读取在完成第一输出处理d311之后在写入处理d211中写入帧存储器190的像素信号(例如，来自所有像素的像素信号)。另外，图像传感器100随后在由第二输出处理d321指示的处理定时将从帧存储器190读取的像素信号输出到图像处理LSI 200。

这种处理方式适用于通过其他写入处理d212和d213写入帧存储器190的像素信号(即，在曝光时段d112和d113完成之后输出的像素信号)。

具有上述配置的图像传感器100以时分方式通过第一输出处理d311和第二输出处理d321将基于来自像素的一部分的像素信号的图像信号(低分辨率图像)和基于所有像素的像素信号的图像信号(高分辨率图像)输出到图像处理LSI 200。

因此，例如，图像处理LSI 200能够在显示单元上显示由第一输出处理d311初始输出的图像信号(低分辨率图像)作为预览图像，并且记录随后由第二输出处理d321输出的图像信号(高分辨率图像)作为图像数据。

更具体地，因此即使在图像传感器100和图像处理LSI 200之间的传输速度受限的状态下，本实施例的成像装置也能够减少从完成曝光到显示预览图像所需的时间。

此外，图像处理LSI 200能够分析由第一输出处理d311初始输出的图像信号(低分辨率图像)，并且根据分析的结果对随后由第二输出处理d321输出的图像信号(高分辨率图像)执行图像处理。更具体地，本实施例的成像装置可以减少从完成曝光到图像分析和根据分析结果对图像的图像处理之后输出捕获图像所需的时间。

注意，根据上述示例，根据在各个曝光时段d110至d113期间获取的像素图像来执行第一输出处理d310至d323。然而，可以省略对在一部分曝光时段中获取的像素信号执行第一输出处理的。

例如，在图6中示出的示例的情况下，可以省略第一输出处理d311的执行。在这种情况下，通过第二输出处理d321仅将在曝光时段d111中捕获的像素信号的高分辨率图像信号输出到图像处理LSI200。

类似地，可以省略对在一部分曝光时段中获取的像素信号执行第二输出处理。例如，在图6中示出的示例的情况下，通过第一输出处理d310仅将在曝光时段d110中捕获的像素信号的低分辨率图像信号输出到图像处理LSI200。

此外，当通过第一输出处理仅将低分辨率图像输出到图像处理LSI 200时，图像传感器100不需要执行写入处理，即，与将像素信号写入帧存储器190相关联的处理。

参考图7进一步描述曝光定时和直通图像显示定时。在从时间t1到时间t2的曝光时间期间捕获图像P1。这里假设图像P1是针对直通图像(实时取景)捕获的图像，而不是响应于来自用户的指令而捕获的图像。

作为显示在显示单元上的图像的实时取景图像以预定间隔被捕获、处理和显示。

在时间t2，在曝光结束时将基于像素信号的图像信号从图像传感器100的像素阵列单元111输出到图像处理部210。此时输出的图像信号是形成作为低分辨率图像的实时取景图像的信号。因此，从像素阵列单元111向图像处理部210提供低分辨率图像的图像信号(流n1)。

从时间t2起从图像传感器100输出的图像信号由图像处理部210从时间t2起处理。从时间t3起，在显示单元上显示基于处理后的图像信号的图像。在图7中，从图像传感器100输出的图像信号(流n1)表示为LV(实时取景)，而在显示单元上显示的图像表示为LV'。

在这种情况下，从时间t2起从图像传感器100输出的图像信号LV1由图像处理部210处理，并且从时间t3到时间t6在显示单元上显示为图像LV1'。

类似地，从曝光结束时间t5起，在从时间t4到时间t5的曝光时间期间捕获的图像P2的图像信号LV2从图像传感器100输出到图像处理部210。在这种情况下，作为实时取景的图像的图像P2没有累积在帧存储器190中，而是直接从图像传感器100输出到图像处理部210。

从时间t5起从图像传感器100输出的图像信号LV2由图像处理部210处理，并且从时间t6到时间t9在显示单元上显示为图像LV2'。

在时间B1，响应于来自用户的成像指令执行成像，诸如包括按下快门按钮的预定操作。根据来自用户的指令在从时间t7到时间t8的曝光时间期间捕获的图像P3的图像信号被处理，同时被分成用于实时取景的图像信号和用于记录的图像信号。

更具体地，在时间t7，用于实时取景的图像信号LV3作为流n1直接从图像传感器100输出到图像处理部210。另一方面，在时间t7，从像素阵列单元111提供的用于记录的图像信号CAP1被累积在图像传感器100内的帧存储器190中。

例如，在时间t7之后的时间(例如参考图6描述的定时)，累积在帧存储器190中的图像信号CAP1作为流n2输出到图像处理部210。

从时间t8起从图像传感器100输出的图像信号LV3由图像处理部210处理，并且从时间t9到时间t12在显示单元上显示为图像LV3'。

以这种方式，用于实时取景的图像信号LV和用于捕获的图像信号CAP中的每个从像素阵列单元111输出，并且在捕获用于记录的图像时被处理。因此，用于实时取景的图像的显示继续而没有中断。

更具体地，如图7所示，用于实时取景的图像LV1'、图像LV2'和图像LV3'被不间断地显示，因此实时取景图像被保持呈现给用户而没有黑屏。

在捕获之后，针对实时取景图像的每个更新定时执行成像，以获取实时取景图像的图像信号。在从时间t10到时间t11的曝光时间期间捕获的图像P4的图像信号LV4从曝光结束时间t11起直接从图像传感器100输出到图像处理部210。

从时间t12起从图像传感器100输出的图像信号LV4由图像处理部210处理，并在时间t12到时间t15在显示单元上显示为图像LV4'。

此外，在没有来自用户的成像指令的实时取景图像的更新时间，执行成像以获取用于实时取景图像的图像信号。当从用户发出成像的指令时，根据该指令执行成像。

以这种方式，即使在实时取景图像的更新状态下在响应于来自用户的成像指令进行成像时，也可以通过单独处理用于实时取景图像的信息和用于记录的图像信号来不间断地显示实时取景图像。

当产生在显示单元的屏幕上没有显示的时间(黑屏)时，在此时段期间可能引起失去对被摄体的视线的问题。然而，在本实施例的成像装置的情况下，黑屏的时间可以减少(至零)。因此，失去对被摄体的视线的可能性降低。

注意，例如，用于处理来自相位差像素的信号的定时未在图7中示出。然而，在包括相位差像素的配置中，可以获取并处理从相位差像素接收的信号。例如，在像素阵列单元111内提供相位差像素。将相位差像素中的两个配对成一组，并且从成对的两个相位差像素获得的图像中检测相位差，以生成相位差信息。另外，参考相位差信息实现对被摄体的聚焦。

例如，还从像素阵列单元111读取来自相位差像素的像素信号，并将其提供给图像处理部210以生成相位差信息。例如，在读取图像信号LV1之前的定时从像素阵列单元111读取来自相位差像素的像素信号，并且由图像处理部210处理该像素信号以生成相位差信息。

<成像期间的反馈>

顺便提及，如上所述，在没有黑屏的成像的情况下，存在用户不能识别(感测)成像定时或曝光时间的可能性。例如，一些拍摄者(用户)通常根据在使用机械快门的成像期间或者图像信号的长时间传输期间引起的黑屏来识别响应于指令的成像的执行定时或曝光时间。

一些用户根据黑屏的生成来感测响应于来自用户的指令的成像的执行。

因此，当由于缺失黑屏而无法识别响应于指令的成像的执行定时或曝光时间时，一些拍摄者可能会感到不便。

因此，可以执行下面描述的处理以允许识别响应于指令的成像的执行定时或曝光时间。

例如，根据诸如图5中所示的、包括显示单元317并在显示单元317上显示实时取景图像的成像装置300的成像装置，用户在成像期间在检查在显示单元317上显示的实时取景图像的同时执行成像。

例如，在显示单元317上显示图8中所示的标记401。图8中所示的标记是在显示单元317的四个角处以方形形状显示的标记。

例如，在响应于用户的成像指令而执行的成像的曝光时间期间，标记401显示在显示单元317上。例如，再次参照图7，从时间t7到时间t8执行基于来自用户的指令的成像。在这种情况下，在从时间t7到时间t8的时段期间在显示单元317上显示标记401。

如上所述，在响应于来自用户的指令执行的成像期间显示标记401。因此，拍摄者可以在成像(曝光)期间在视觉上识别标记401，因此可以通过视觉识别标记401来识别响应于成像指令而执行的成像的定时和曝光时间。

下面描述标记401的显示模式、显示定时等。注意，在以下描述中，标记401的显示在适当时被称为反馈显示，并且假设被显示以给用户提供成像感。

注意，在以下描述中，例如，在来自用户的成像指令时执行反馈显示，并且在与成像的曝光时间对应的时间显示反馈显示。因此，简单表达“曝光时间”指的是响应于来自用户的指令而执行的成像的曝光时间，而不是以预定循环执行以显示实时取景图像的成像的曝光时间。类似地，在以下描述中假设成像是指在发出来自用户的指令时执行的成像，并且成像定时是指响应于来自用户的指令而执行的成像定时。

<曝光时间期间的显示时间的设置>

参考图9所示的流程图描述根据曝光时间设置反馈的显示时间。注意，在以下描述中，假设图像处理部210(图4)执行与反馈相关联的处理。然而，可以与图像处理LSI 200内的图像处理部210分开地提供执行与反馈相关联的处理的功能。

在步骤S101中，图像处理部210确定曝光时间是否是40毫秒或更短。假设在曝光时间期间显示标记401，则显示的标记401可能在视觉上对于用户而言不可识别。在以下描述中，假设当曝光时间是40毫秒或更短时，用户不能在视觉上识别标记401。然而，该曝光时间可以设置为除了本文仅通过示例的方式呈现的40毫秒之外的值。

当在步骤S101中确定曝光时间≤40毫秒的关系成立时，处理进入步骤S102。在步骤S102中，反馈的显示时间被设置为40毫秒。

如果在处理已进入步骤S102的状态下在40毫秒或更短的曝光时间期间显示标记401，则标记401仅显示40毫秒或更短。在这种情况下，用户可能无法在视觉上识别标记401。因此，当曝光时间是40毫秒或更短时，标记401的显示时间(反馈)被设置为40毫秒以在等于或长于曝光时间的时间内显示标记401。

当处理进行到步骤S102时，图像处理部210执行用于将标记401叠加在基于从像素阵列单元111提供的图像信号的图像上作为流n1的处理。叠加的时间被设置为40毫秒。例如，图像处理部210包括计时器，并且从标记401的叠加开始起开始测量时间。当测量的时间达到40毫秒时，图像处理部210停止标记401的叠加。

另一方面，当在步骤S101中确定曝光时间≤40毫秒的关系不成立时，处理进入步骤S103。在步骤S103中，将反馈的显示时间设置为等于曝光时间的时间。在本文的描述中，假设反馈的显示时间被设置为等于曝光时间的时间。然而，反馈的显示时间可以被设置为比曝光时间长的时间。

当处理进行到步骤S103时，设置标记401的显示时间，使得标记401显示的曝光时间长于40毫秒。在这种情况下，图像处理部210执行用于将标记401叠加在基于从像素阵列单元111提供的图像信号的图像上作为流n1的处理。叠加的时间被设置为曝光时间。

在步骤S103中，类似于步骤S102，图像处理部210可以包括计时器并且从标记401的叠加开始起开始测量时间。当测量的时间达到等于曝光时间的时间时，图像处理部210可以停止标记401的叠加。

以这种方式，根据曝光时间控制标记401的显示时间(反馈的显示时间)。

这里参照图10和11描述通过执行图9的处理执行的反馈显示。图10和11是各自解释曝光、直通图像的显示和反馈显示定时的图。最初参考图10描述的是在步骤S103中将反馈显示时间设置为等于曝光时间的时间的情况。

当在时间B1从用户发出成像指令时，从时间t7到时间t8执行与指令相对应的成像。更具体地，曝光在时间t7开始，并在时间t8结束。从时间t7到时间t8的该时间段对应于曝光时间。确定该曝光时间是否为40毫秒或更短。

当通过确定确定曝光时间不是40毫秒或更短时，在步骤S103中将反馈显示时间设置为等于曝光时间的时间。在这种情况下，反馈显示从时间t7到时间t8继续，更具体地，持续等于如图10所示的曝光时间的时间。

根据图10中示出的示例，曝光在时间t7开始，并且在该定时执行反馈显示。但是，此时不需要执行反馈显示。例如，反馈显示可以从时间t7起以短暂延迟开始。

接下来参考图11描述的是在步骤S102中将反馈显示时间设置为40毫秒的情况。

当在时间B1'从用户发出成像指令时，从时间t7'到时间t8'执行与指令相对应的成像。更具体地，曝光在时间t7'开始，并在时间t8'结束。从时间t7'到时间t8'的该时间段对应于曝光时间。确定该曝光时间是否为40毫秒或更短。

当通过确定确定曝光时间是40毫秒或更短时，在步骤S102中将反馈显示时间设置为等于40毫秒的时间。在这种情况下，反馈显示从时间t7'到时间t8”继续，如图11所示。根据图11中示出的示例，时间t8”是对应于曝光结束时间的时间t8'之后的时间，并且从时间t7'到时间t8”的时段被设置为40毫秒。

在这种情况下，曝光和反馈显示在时间t7'开始。曝光在时间t8'结束，此后反馈显示在从曝光开始时间t7'经过40毫秒后的时间t8”结束。

在该示例中，类似于图10中示出的示例，曝光在时间t7'开始，并且在该定时执行反馈显示。然而，反馈显示的定时不需要是这个定时。例如，反馈显示可以从时间t7'起以短暂延迟开始。

以这种方式执行的控制允许用户无论曝光时间的长度如何都在视觉上识别标记401(反馈)，从而识别成像的执行定时和曝光时间。

在长曝光的情况下，例如，在曝光期间标记401连续显示在显示单元317上。因此，拍摄者可以通过标记401的视觉识别来识别成像开始定时、成像持续时段(当前曝光)和成像结束定时。

注意，在长曝光期间，在显示单元317上显示的实时取景图像变为冻结图像(保持在曝光开始之前捕获的图像，诸如图10中的图像LV2')。此外，当产生冻结图像显示的情况时，插入黑色图像而不是显示冻结图像，以在某些情况下有意地产生黑屏状态。另外，在另一种情况下，在显示冻结图像的情况下，在显示单元上显示“当前曝光”的消息。

例如，当曝光时间被设置为预定时间或更长时间(诸如一秒或更长)时，呈现黑色图像的显示或消息的显示。

如果在显示冻结图像(黑色图像)的情况下没有显示标记401，则拍摄者不能识别是否正常执行了成像，并且可能错误地确定由于错误而已经显示冻结图像(黑色图像)。然而，根据本技术，当前成像的显示被反馈给用户。因此，可以避免拍摄者的错误确定。

在连续执行成像(连续成像)的情况下，例如，在连续成像期间一次成像的曝光时间变短，诸如在某些情况下为40毫秒或更短。当在连续成像中一次成像的曝光时间为40毫秒或更短时，反馈的显示时间变得比曝光时间长。因此，反馈显示的次数(标记401)可以变得小于成像的次数。

这里通过示例的方式描述的是如图12所示、在连续成像期间捕获五个图像的情况。在从时间t31到时间t32的曝光时间期间捕获图像P11。在从时间t34到时间t35的曝光时间期间捕获图像P12。在从时间t37到时间t38的曝光时间期间捕获图像P13。在从时间t40到时间t41的曝光时间期间捕获图像P14。在从时间t43到时间t44的曝光时间期间捕获图像P15。

假设用于曝光图像P11至P15的各个曝光时间均设置为40毫秒或更短。在这种情况下，例如，每个反馈显示时间被设置为40毫秒，因此反馈显示被执行三次，如图12所示。

例如，如图12所示，反馈显示FB31从与捕获图像P11的开始对应的时间t31开始，并持续40毫秒。类似地，反馈显示FB32从与捕获图像P13的开始对应的时间t37开始，并持续40毫秒。类似地，反馈显示FB33从与图像P15的捕获开始对应的时间t43开始，并且持续40毫秒。

以这种方式，反馈显示被执行三次。更具体地，在这种情况下，对于连续成像的五个图像执行三次反馈显示。

注意，这里描述的示例是设置用于反馈显示的最小显示时间(40毫秒)的情况。相反，可以将最小非显示时间设置为不显示反馈的时段。例如，在图12中从时间t51到时间t37的时段期间不执行反馈显示。该时段可以是预先设置不显示反馈的时间。

最小显示时间和最小非显示时间都可以设置为保证反馈显示的可见性。

以这种方式，反馈显示的次数可以小于成像的次数。

在连续成像的情况下，例如，可以以闪烁的方式显示标记401。这里通过示例的方式描述的是在连续成像期间捕获五个图像的情况，如图13所示。在从时间t51到时间t52的曝光时间期间捕获图像P21。在从时间t54到时间t55的曝光时间期间捕获图像P22。在从时间t57到时间t58的曝光时间期间捕获图像P23。在从时间t60到时间t61的曝光时间期间捕获图像P24。在从时间t63到时间t64的曝光时间期间捕获图像P25。

假设用于曝光图像P21至P25的各个曝光时间都被设置为长于40毫秒的时间。在这种情况下，例如，反馈显示时间被设置为曝光时间，因此与图13所示的各次成像相对应地执行五次反馈显示。

例如，如图13所示，反馈显示FB51的显示从与图像P21的捕获开始对应的时间t51开始，并且持续直到时间t52。类似地，反馈显示FB52的显示从与图像P22的捕获开始对应的时间t54开始，并且持续直到时间t55。

通过重复类似的反馈显示，反馈显示FB55从与图像P25的捕获开始对应的时间t63开始，并且持续直到时间t64。

以这种方式，执行五次反馈显示。在这种情况下，更具体地，对于连续成像的五个图像执行五次反馈显示。因此，以闪烁方式显示标记401。

标记401的闪烁给拍摄者提供了连续成像的感觉。因此，类似于上述示例，在根据本技术的连续成像期间，也可以识别成像的执行定时和曝光时间。

在反馈显示的闪烁显示的情况下，可以在相同的位置显示相同的标记。或者，可以将相同的标记移动到不同的显示位置(每次闪烁可以移动显示位置)。相反，可以针对每次闪烁显示不同的标记。以这种方式，可以在连续成像时改变反馈显示的显示，使得用户可以更清楚地识别连续成像。

注意，在连续成像的情况下，可以仅在连续成像的开始和结束时执行反馈显示。如上所述，在连续成像的情况下，以闪烁方式显示标记401。这种显示方式有可能妨碍拍摄者的视线。

因此，当设置连续成像模式时，例如，标记401可以响应于成像按钮的操作显示预定时间(诸如40毫秒或更长)，并且进一步在操作按钮操作结束时，或在图像数量达到允许捕获的最大图像数量时(或之前)显示预定时间(诸如40毫秒或更长)。

或者，反馈显示可以从连续成像的开始到结束继续。

如上所述，可以以选择的模式控制反馈的显示时间、显示次数等。

<曝光开始时间和结束时间的处理>

现在描述在曝光开始时间和结束时间执行的处理。首先参考图14中所示的流程图描述在曝光开始时执行的处理。

在步骤S201中，确定当前是否显示反馈。当在步骤S201中确定当前显示反馈时，处理进行到步骤S202以删除当前显示的反馈显示(例如，图8中示出的标记401)。

另外，在步骤S203中，重置计时器(设置为0)。该计时器是如上所述的用于测量反馈显示时间的计时器。

当在步骤S201中确定当前没有显示反馈，或者已经完成步骤S203中的处理时，处理进行到步骤S204。

在步骤S204中，确定聚焦模式是否被设置为AF-C模式。例如，从AF-C和AF-S模式中选择聚焦模式。AF-C模式是一种称为连续自动聚焦的模式。在此模式下，在半按快门按钮期间继续聚焦。

AF-S模式是一种称为单次自动聚焦的模式。在此模式下，一旦通过半按快门按钮实现聚焦，则在半按快门按钮期间聚焦固定。

当在步骤S204中确定聚焦模式是自动聚焦模式，即AF-C模式时，处理进入步骤S205。在步骤S205中，确定聚焦是否成功(实现聚焦)。当在步骤S204中确定聚焦成功时，处理进入步骤S206。

在步骤S206中，确定当前是否显示焦点位置。当在步骤S206中确定当前显示焦点位置时，处理进行到步骤S207。在步骤S207中，在追踪AF框的位置处显示反馈。AF框是显示在处于自动聚焦的聚焦中的被摄体(聚焦被摄体)的一部分处的框。

图15是在追踪AF框的位置处的反馈显示期间的屏幕的示例。在图15中示出的屏幕的示例中，在显示单元317的中央部分显示的方括号的形状对应于AF框501。标记402(反馈显示)以围绕AF框501的方形形状设置。如图15所示，可以通过在AF框501附近显示标记402来实现反馈显示。

此外，根据图15中示出的示例，AF框501显示在显示单元317的中央部分。在AF-C模式的情况下，AF框501可以移动，因此标记402的显示位置可以根据AF框501的移动而移动。更具体地，标记402显示在追踪AF框501的位置处。

考虑到拍摄者的视线在AF-C模式中集中在运动被摄体上，采用这种在选择作为聚焦模式的AF-C模式中追踪AF框501显示标记402的方式。在AF-C模式中，AF框501显示在作为运动被摄体的被摄体上。因此，标记402被示出在AF框501附近，以在拍摄者注视的区域中显示反馈。

在步骤S204中确定聚焦模式是否是AF-C模式以实现这种显示方式。

此外，即使在AF-C模式中，当聚焦失败时，很可能没有捕获想要由拍摄者成像的被摄体。在这种情况下，执行控制使得不显示反馈。

在步骤S205中确定聚焦是否成功地以这种方式控制显示。

另外，当未显示焦点位置时，即，即使在AF-C模式下以及在聚焦成功的状态下也不显示AF框501时，仅显示标记402。在这种情况下，拍摄者在视觉上识别出仅突然显示标记402，因此拍摄者可能具有不舒服的感觉。在这种情况下，执行控制，使得不显示反馈。

在步骤S206中确定是否已经显示焦点位置以便以这种方式控制显示。

另外，当确定焦点位置已经以AF-C模式并且在聚焦成功的状态下显示时，如上所述，在追踪AF框501的位置处显示反馈。

另一方面，当在步骤S204中确定聚焦模式不是AF-C模式，在步骤S205中确定聚焦未成功，或者在步骤S206中确定未显示聚焦位置时，处理进入步骤S208。

在步骤S208中，将反馈显示设置到固定位置。例如，当在固定位置显示反馈时，通过在显示单元317(屏幕)的四个角处显示标记401来实现该反馈显示，如图8所示。图8中示出的反馈显示的示例是在屏幕的四个角处显示的标记401的示例。标记401显示在屏幕内的固定位置而不是追踪AF框501的位置(图15)。

如上所述，反馈显示的显示系统可根据自动聚焦的模式而改变。换句话说，可采用多种显示方法用于反馈显示。因此，可以根据自动聚焦的模式从多种显示方法中选择最佳显示方法，以通过使用所选择的显示方法来实现显示。

另外，在从多种显示方法中选择最佳方法的配置的情况下，用于该选择的条件可以包括多个条件，诸如成像是否是连续成像，以及曝光是否是长曝光，以及自动聚焦的模式。

注意，这里作为示例描述的多个显示方法是如图8所示的在屏幕的四个角处显示标记401的方法，以及如图15所示的追踪AF框501显示标记402的方法。将在下面描述其他可采用的显示方法。

根据图14中示出的示例，当确定存在这样的区域时，在拍摄者注视的区域中显示反馈。当没有指定拍摄者注视的区域时，在不妨碍拍摄者的区域中显示反馈。

返回到图14的流程图中示出的处理的描述，在步骤S207或步骤S208中设置反馈显示系统。当开始基于该设置的反馈显示时，处理进入步骤S209。

在步骤S209中，计时器开始测量时间。例如，如上所述，提供计时器以在一定时间内继续反馈显示，以在曝光时间短时确保反馈显示的可见性。例如，根据上述示例，定时器测量40毫秒。

在曝光开始时，执行图14中示出的处理以开始反馈显示。另外，在曝光结束时，根据图16中所示的流程图执行处理。

在步骤S251中，确定计时器是否正在计数。当在步骤S251中确定计时器正在计数时，完成曝光结束处的处理。更具体地，在计时器正在计数的状态下，即使在曝光结束之后反馈显示也继续。

另一方面，当在步骤S251中确定计时器没有计数时，处理进行到步骤S252。在步骤S252中，删除反馈显示。

如上所述，当计时器的时间测量在曝光结束时继续时，反馈显示继续。在计时器的时间测量结束之后，删除此时显示的反馈。

当以这种方式基于计时器测量的时间控制反馈显示时，进一步执行图17中所示的处理。图17中示出的流程图是说明在计时器的时间测量结束时执行的处理的流程图。

在步骤S301中，确定当前是否执行曝光。当确定在计时器的时间测量结束时当前执行曝光时，计时器时间测量结束处的处理结束。在这种情况下，即使在计时器的时间测量结束之后曝光仍继续，因此反馈显示也继续。

另一方面，当在步骤S301中确定当前未执行曝光时，处理进行到步骤S302。在步骤S302中，删除反馈显示。

如上所述，当在计时器的时间测量结束之后继续曝光时，反馈显示继续。曝光结束时，删除此时显示的反馈。

如参考图9中示出的流程图所述，当基于曝光时间设置反馈显示时间时，具体地，当进行设置使得在40毫秒或更短的曝光时间的情况下反馈显示持续40毫秒时，定时器测量40毫秒的时间。经过40毫秒后，删除反馈显示。在这种情况下，通过在定时器的时间测量结束时执行的处理删除反馈显示，如图17所示。

另一方面，当如参考图9所示的流程图所述、基于曝光时间设置反馈显示的时间时，具体地，当进行设置使得在40毫秒或更长的曝光时间的情况下反馈显示持续曝光时间，在曝光时间结束时删除反馈显示。在这种情况下，通过如图16所示、在曝光结束时执行的处理来删除反馈显示。

<反馈显示位置设置处理>

参考图18中所示的流程图描述用于设置反馈的显示位置的处理。如参考图14中的曝光开始时执行的处理的流程图所述，在追踪AF框501的同时显示反馈(图15)，或者在固定位置而不是追踪AF框501的位置显示反馈。可以以参考图14描述的方式或者以图18的流程图所示的方式选择追踪显示或固定显示。

在步骤S401中，将反馈显示位置设置到固定位置。更具体地，在这种情况下，反馈显示位置被默认设置为固定位置。

在步骤S402中，确定聚焦模式是否是AF-C模式。在步骤S403中，确定聚焦是否成功。在步骤S404中，确定是否已经显示焦点位置。步骤S402至S404中的处理基本上与图14中所示的流程图的步骤S204至S206中的处理相同，因此，这里不再重复对该处理的描述。

当在聚焦成功的状态下聚焦模式是AF-C模式，并且当前显示焦点位置时，在步骤S405中将反馈显示位置设置为追踪AF框的位置。更具体地，当如参考图14所述、确定存在拍摄者注视的区域时，进行设置，从而使得在该区域中显示反馈。

根据图18中示出的流程图的处理，反馈显示位置默认设置为固定位置。然而，当确定存在拍摄者注视的区域时，在该区域中显示反馈。

可以以这种方式设置反馈显示位置。

注意，根据上述示例，反馈显示的位置和显示内容在预定条件下改变。然而，反馈显示的位置和显示内容可以在除上述条件之外的条件下改变。

此外，不是设置上述条件，而是可以不改变地显示相同的反馈。

<反馈显示的其他示例>

已经参考图8和图15描述了根据实施例的反馈显示。进一步描述了其他类型的反馈显示。

图19是示出反馈显示的不同显示示例的图。图19中示出的反馈显示包括屏幕上侧和下侧的线形标记403。

当线形标记403显示在屏幕的上部和下部时，即使在反馈显示期间，屏幕的中央部分也不断地显示捕获的图像。因此，标记403的显示不会妨碍拍摄者。

此外，当显示标记403时，拍摄者可以与上述实施例类似地识别成像定时和曝光时间。因此，拍摄者可以感测当前的成像执行。

每个线形标记403的线宽被设置为不妨碍拍摄者并且足以安全地执行反馈的宽度。此外，显示在上侧的标记403的宽度和在下侧显示的标记403的宽度可以相等，或者设置为使得宽度之一大于另一宽度。

此外，在图19中示出的反馈显示中，线形标记403显示在屏幕的上侧和下侧中的每个上。然而，线形标记403可以显示在屏幕的左侧和右侧中的每个上。

显示在屏幕的上侧和下侧的线形标记403，以及显示在屏幕的左侧和右侧的线形标记403可以根据成像装置的方向切换。例如，当屏幕是横向的(水平保持成像装置)时，线形标记403可以显示在屏幕的上侧和下侧。当屏幕是纵向的(垂直保持成像装置)时，线形标记403可以显示在屏幕的左侧和右侧。以这种方式，可以根据成像装置的取向来切换反馈显示。

图20是示出反馈显示的不同显示示例的图。图20中示出的反馈显示在屏幕的上侧、下侧、左侧和右侧的包括线形标记404，以构成标记404的方形形状。换句话说，要显示的标记404形成与屏幕(显示单元317)的显示框的形状相同的形状，并且均在追踪屏幕的框的位置处以具有预定宽度的线(以追踪屏幕的框的形状)来绘制。

当以这种方式在跟踪屏幕的框的位置处显示标记404时，屏幕的中央部分可以不断地显示捕获的图像。因此，标记404的显示不会妨碍拍摄者。

此外，当显示标记404时，拍摄者可以与上述实施例类似地识别成像定时和曝光时间。因此，拍摄者可以感测当前的成像执行。

每个标记404的线宽被设置为不妨碍拍摄者并且足以安全地执行反馈的宽度。此外，显示在各侧的标记404的相应宽度可以相等或不同。例如，在左侧和右侧显示的线的相应宽度相等，并且在上侧和下侧显示的线的相应宽度相等的配置中，显可以使左侧和右侧显示的线的宽度与在上侧和下侧上显示的线的相应宽度不同。

显示在图20中的屏幕内的侧壁上的标记404可以在图21所示的屏幕内的中央附近显示。图21是示出反馈显示的不同显示示例的图。图21中示出的反馈显示包括屏幕内的方形标记405。

当以这种方式在屏幕内显示标记405时，即使在反馈显示期间，屏幕内除标记405之外的区域也可以不断地显示捕获的图像。在这种情况下，标记405的显示不会妨碍拍摄者。然而，如果标记405的线的宽度增加，则标记405可能妨碍拍摄者。因此，例如，使标记的线的宽度小于每个标记404(图20)的线的宽度。

如上所述，显示为反馈显示的标记的宽度可以根据显示位置而变化。另外，在根据显示位置改变标记宽度的配置中，可以使靠近屏幕中央部分的位置处的宽度更小，而可以使远离屏幕中央部分的位置处的宽度更大。

另一方面，当显示标记405时，拍摄者可以与上述实施例类似地识别成像定时和曝光时间。因此，拍摄者可以感测当前的成像执行。

虽然图21中示出的标记405具有方形形状，但是可以采用图22中所示的圆形标记406。

当如图21和22所示、在屏幕的中央部分显示反馈时，反馈显示器的形状(标记的形状)可以是如图21所示的方形，或者可以是如图22所示的圆形。此外，虽然未在图中示出，但是反馈显示的形状可以是例如多边形形状，而不是方形和圆形形状。

此外，如图23所示，可以显示每个具有相同形状的多个标记407。要显示的图23中示出的标记407由同心且具有不同尺寸的三个方形形状构成。注意，类似于上述示例，每个形状可以是圆形、多边形或其他形状以及方形形状。

以这种方式，可以显示具有相同形状的多个图形作为反馈显示。

此外，根据图23中示出的示例，同时显示由同心且具有相同尺寸的三个方形图形构成的标记407。然而，可以在不同的定时显示每个标记407。换句话说，反馈显示可以显示为运动图像以及静止图像。

例如，在这里通过示例描述的图23中的方形标记的情况下，在时间t1显示标记407-1，并在时间t2删除标记407-1。在时间t2显示标记407-2，并在时间t3删除标记407-2。在时间t3显示标记407-3。

以这种方式，可以在从屏幕的中央向外逐渐移动的同时显示标记407。或者，可以在从屏幕的各个端部逐渐向中央移动的同时显示标记407。

相反，可以在t1显示标记407-1，可以在时间t2另外显示标记407-2，并且可以在时间t3另外显示标记407-3。

图24是说明反馈的进一步不同显示的图。图24中示出的反馈显示是在屏幕的中央部分作为标记408显示的水平条。如图24所示，线形标记408可以显示在屏幕内。此外，线的方向可以是屏幕中的水平方向或垂直方向。

此外，标记408可以显示为图24中所示位置处的静止图像，或者显示为运动图像，如图25所示。例如，当标记408显示为运动图像时，具有在水平方向上延伸的线形形状的线形标记408'可以在随着时间的推移从屏幕的上侧向下侧移动的同时显示。或者，在水平方向上延伸的线形标记408(未示出)可以在随着时间的推移逐渐从屏幕的下侧向上侧移动的同时显示。

另外，例如，线形标记408'从屏幕的上侧向下侧移动的移动时间可以被设置为等于曝光时间的时间，或者在上述示例中为40毫秒。注意，反转显示移动诸如标记408的预定图形的移动时间可以是确定时间(固定时间)，而与曝光时间无关。

图26是说明反馈显示的进一步不同显示的图。图26中示出的反馈显示包括在屏幕的下部作为标记409显示的指示符。在连续成像的情况下，例如，标记409可以显示为指示符。

指示符的长度表示连续成像期间的最大数量的图像(表示缓冲区的剩余体积的长度)。根据图26中示出的示例，例如，要显示的仪表随着捕获图像的数量的增加，从图中的下侧向上侧移动。到达上端的仪表表示已捕获最大数量的图像。此外，在指示符下方显示表示剩余图像的数量的数值。用户可以通过视觉识别标记409(数值)直观地识别当前执行的连续成像和剩余图像的数量。

注意，数值是表示捕获图像的数量或剩余图像的数量的数字，并且可以显示在屏幕的预定位置而不是指示符下方。另外，可以仅将数值显示为反馈显示，或者可以仅将指示符显示为反馈显示。

此外，可以以图27中示出的方式执行反馈显示。如图27的左侧部分所示，在曝光期间显示具有与AF框501的尺寸基本相同的尺寸的框410。另外，在曝光之后，显示切换到比AF框501稍微大的框410'，如图27的右部所示。

在这种情况下，更具体地，执行反馈显示，使得在曝光期间显示的帧410被切换到在曝光之后从框410稍微扩展的帧410'。可以以动画显示的方式显示从框410到框410'的切换。

注意，根据图27中示出的示例，显示AF框501，并且显示与AF框501的尺寸对应的尺寸的框410。然而，无论AF框501的尺寸和位置如何，框410都可以以固定尺寸或在预定位置显示。

此外，虽然未在图中示出，但是显示的帧410可以以动画显示淡出。

这种显示方式提供了残像的表现，从而在曝光时间短时实现了高可见度的显示，或者具有增强的表现效果的显示。

已经参考图15描述了追踪AF框501的反馈显示的示例，其中显示一个AF框501。然而，可以以多个被摄体聚焦显示多个AF框501。

当显示多个AF框501时，可以针对多个AF框501中的每个显示框402(图15)，或者可以显示围绕多个AF框501的框，如图28所示。

图28中示出的反馈显示包括AF框501-1和AF框501-2的显示，以及围绕AF框501-1和AF框501-2的方形形状的框411的显示。当以这种方式显示多个AF框501时，可以通过使用围绕AF框501的框411来显示反馈。

此外，如参考图27所述，框411可以在曝光期间显示，并且在曝光之后稍微扩展和显示。

根据上述实施例，诸如框411(图28)的框以实线显示。然而，框可以以除实线之外的类型的线(诸如虚线和交替的长短虚线)显示。

上述标记作为反馈显示显示在屏幕上。此外，可以显示除了上述标记之外的标记(诸如呈现快门的前帘或后帘的图像的运动图像)，作为反馈显示。

此外，可以在预定条件下选择要显示的上述标记。例如，当捕获风景或肖像的图像时，例如，优先考虑被摄体的可见性选择不示出屏幕的中央部分处的标记(诸如图8中所示的标记401、图19中所示的标记403以及图20中所示的标记404)的反馈显示。

此外，例如，当捕获运动体的图像时，例如，优先考虑对反馈显示的识别选择作为追踪AF501的标记(诸如图15中所示的标记402)或者在屏幕的中央部分处示出的标记(诸如图21中所示的标记405和图22中所示的标记406)的反馈显示。

注意，图21和图22中示出的标记405(标记406)可以显示为追踪AF框501的标记。

此外，可以由用户选择和设置与用户的偏好匹配的反馈显示。

虽然在上述实施例中没有描述关于标记的颜色(反馈显示的颜色)的描述，但是标记的颜色可以是如图中所示的黑色或者除黑色之外的颜色。或者，颜色可以是透明颜色。当反馈显示以透明颜色呈现时，允许透视直通图像。因此，可以在被摄体在视觉上容易识别的状态下实现反馈显示。

反馈显示的颜色可以是固定颜色(例如，黑色)或可变颜色。例如，当采用可变颜色时，可以根据当前捕获的图像来设置标记的颜色。当当前捕获的图像的亮度高时，标记可以以黑色显示。例如，当当前捕获的图像的亮度低时，标记可以以白色显示。

此外，根据作为示例描述的实施例，屏幕是横向的(水平地保持成像装置)。然而，本技术适用于纵向屏幕(垂直保持成像装置)。

此外，对于水平保持的成像装置和垂直保持的成像装置，可以采用不同的反馈显示方式，或者对这两种成像装置可以采用相同的反馈显示方式。

例如，当图25中示出的线形标记408在水平保持装置中显示为运动图像时，标记408在上下方向上(例如，从下侧向上侧)移动。在垂直保持成像装置的情况下，要显示的标记408在垂直保持的屏幕中在上下方向上移动。

在这种情况下，在标记408在上下方向上移动这一点上，对于水平保持的成像装置和垂直保持的成像装置采用相同的反馈显示方式。垂直保持状态下的上下方向对应于水平保持状态下的左右方向。因此，从水平保持状态看，标记408在不同方向上移动，因此在这一点上采用不同的反馈显示方式。

或者，要显示的标记408可以在垂直保持的屏幕中在左右方向上移动。

在这种情况下，在标记408在左右方向上移动这一点上，对于水平保持的成像装置和垂直保持的成像装置采用不同的反馈显示方式。垂直保持状态下的左右方向对应于水平保持状态下的左右方向。因此，当从水平保持状态观察时，标记408在相同方向上移动，因此在这一点上采用相同的反馈显示方式。

上述反馈显示(标记401至409)可以单独使用或组合使用。例如，可以仅显示图8中所示的反馈(标记401)，或者可以在预定条件下划分的同时显示图8中所示的标记(标记401)和图15中所示的反馈(标记402)。

更具体地，可以准备并选择性地使用多种类型的反馈显示。此外，可以同时执行多种类型的反馈显示。例如，可以采用同时示出标记401和标记405的反馈显示。

注意，在上述反馈显示期间可以发出伪快门声音。

注意，可以生成黑屏的伪显示作为与上述标记不同的类型的反馈显示。例如，可以通过类似于在当前捕获的图像的屏幕上叠加标记在当前捕获的图像的屏幕上叠加黑色屏幕来生成伪黑屏。

以这种方式，可以向熟悉常规生成的黑屏的用户呈现伪黑屏。

根据上述示例，反馈被显示为屏幕的一部分中示出的标记。但是，反馈可能会显示在整个屏幕上。例如，可以升高或降低整个屏幕的亮度或色度以实现反馈显示。换句话说，整个屏幕可以变得更亮或更暗、以单色显示或者以颜色反转以显示反馈并给用户提供成像感。

根据上述示例，反馈显示在实时取景图像上。然而，反馈可以显示在显示单元内没有显示实时取景图像的区域中，或者可以显示在专用于反馈显示的显示单元上。

显示为上述反馈显示的标记、伪快门声音、伪黑屏等可以根据用户的偏好来设置，并且基于这些设置呈现为反馈显示。此外，可以根据来自用户的设置来组合或切换多种类型的反馈显示。

下面描述在多种类型的反馈显示之间切换的示例。这里呈现的是在上述反馈显示的类型中，在图8中所示的标记401和伪黑屏(以下称为黑色图像)之间切换的示例。此外，仅捕获一个图像被称为单次成像，而连续捕获多个图像被称为连续成像。

这里参考图29描述可以在连续成像期间独立地设置第一图像的反馈显示和第二图像和后一图像的反馈显示(或者以不同设置的第一图像和后一图像的反馈显示)的示例。

用户可以选择用于显示黑色图像(ON(开启))、用于不显示黑色图像(OFF(关闭))、用于显示标记401(ON)以及用于不显示标记401的设置的任何组合。

当用户将黑色图像的显示设置为开启状态时，并且将标记401的显示设置为开启状态时，如图29所示，在单次成像和连续成像中捕获第一图像期间显示黑色图像用于反馈显示。此外，当在连续成像中捕获第二图像和后一图像时，显示标记401用于反馈显示。

此外，当用户将黑色图像的显示设置为开启状态，并且将标记401的显示设置为关闭状态时，如图29所示，在单次成像和连续成像中捕获第一图像期间显示黑色图像用于反馈显示。此外，当在连续成像中捕获第二图像和后一图像时，未示出反馈显示。

此外，当用户将黑色图像的显示设置为关闭状态，并且将标记401的显示设置为开启状态时，如图29所示，在单次成像和连续成像中捕获第一图像期间显示标记41用于反馈显示。此外，当在连续成像中捕获第二图像和后一图像时，与捕获第一图像类似，标记401的显示继续用于反馈显示。

当用户将黑色图像的显示设置为关闭状态，并且将标记401的显示设置为关闭状态时，如图29所示，未示出反馈显示。

以这种方式，用户可以选择性地设置反馈显示。此外，如上面作为示例所述，对于在连续成像中捕获第一图像期间的反馈显示和捕获第二图像和后一图像期间的反馈显示，可以采用不同类型的反馈显示。

此外，黑色图像(即在捕获第一图像期间的反馈显示的伪黑屏)给予用户遵循传统成像感觉的成像感。

此外，在捕获第一图像期间的反馈显示的黑色图像给予用户更清晰的第一图像的成像(第一图像的成像定时)感。

这里作为示例描述的是标记401的显示。不用说，可以选择用户期望的任何标记。例如，向用户呈现选择屏幕，使得用户可以通过选择屏幕选择期望的反馈显示，其中通过该选择屏幕可选择多种类型的反馈显示中的一种。

上述反馈显示可以以应用程序的形式呈现。此外，该应用程序可以是诸如智能电话的便携式终端的应用程序。这里描述的是在智能电话的应用程序中执行上述反馈显示的示例。

图30是示出当启动智能电话的相机应用程序时的屏幕示例的图。智能电话的显示单元601包括图像显示单元602，其显示当前捕获的被摄体的图像。图30示出了尺寸等于显示单元601的尺寸的图像显示单元602。在整个显示单元601上示出了图30中未示出的当前捕获的被摄体的图像。显示单元601包括触摸板。

例如，显示单元601显示成像设置图标603，每个成像设置图标603指示在成像期间设置的条件(例如，闪光灯的不可用性或可用性)。此外，先前捕获的缩略图图像604、快门按钮605、视频记录开始按钮606、在成像模式设置期间操作的成像模式设置图标607等。

当用户在智能电话的显示单元601上显示前述屏幕的状态下操作快门按钮605或物理快门按钮(未示出)时，执行成像。或者，可以响应于显示单元601(触摸面板)内的触摸而不是使用这些快门按钮来执行成像。此外，这些设置可以由用户进行。此外，一段时间的触摸(长按屏幕)可以被视为实现连续成像的连续成像模式。

此外，当以图31中所示的方式执行成像时，显示指示该成像的反馈。图31中示出的示例对应于图8中示出的反馈显示的示例。注意，在屏幕的四个角中的每个处示出图8的反馈显示。然而，图8的反馈显示可以在除了四个角之外的位置处或者在参考图8所示的屏幕的四个角处示出。显示位置可以设置为用户期望的位置。

注意，可以显示除了图8中的反馈之外的反馈，或者可以由用户选择反馈或者在如上所述的多种类型的反馈显示之间切换反馈。此外，当响应于长按屏幕执行连续成像时，如上所述显示连续成像模式中的反馈。

如上所述，本技术还适用于诸如智能电话的便携式终端装置。

因此，根据本技术，通过防止生成黑屏来改善对被摄体的追踪性。即使在没有生成黑屏的情况下，用户也可以接收关于快门定时和曝光时间的反馈。这些优点大大增加了成像的机会。

此外，用户可以在不生成黑屏的情况下执行成像，并且安全地接收关于快门操作的反馈。用户可以获得创新的可用性感以及传统的成像感，因此获得进一步增强的成像感。

注意，应用了上述本技术的装置可以是与图5所示的成像装置300类似地配置的装置，或具有不同配置的装置。例如，本技术可应用于包括由通过触摸板构成的显示器构成的显示单元317(图5)的装置。

另外，本技术可应用于包括与构成成像装置300的其他部分(成像单元成像)分开设置的操作单元314(图5)的装置。例如，本技术也适用于被配置为通过使用操作单元执行成像单元的远程操作的装置。

此外，当本技术应用于能够执行远程操作的装置时，上述反馈显示由操作单元执行。上述反馈和实时取景图像可以显示在操作单元上设置的显示单元上。

另外，能够执行远程操作的装置可能需要不执行远程控制的装置不需要的时间，诸如操作单元和成像单元之间的通信时间，以及执行与该通信相关联的处理所需的时间。更具体地，执行远程操作的装置可能产生时滞。因此，与传统装置类似，这种类型的装置可以显示黑屏。

本技术不仅适用于包括一个成像单元的装置，而且还适用于包括多个成像单元的装置。例如，本技术适用于包括由一个操作单元操作的多个成像单元的装置。此外，这里描述的操作单元可以由诸如智能电话和平板型终端的便携式终端构成。

<记录介质>

上述一系列处理可以由硬件或软件执行。当一系列处理由软件执行时，构成软件的程序安装在计算机中。例如，这里使用的计算机是结合在专用硬件中的计算机，或者是能够在安装在计算机中的各种类型的程序下执行各种类型的功能的通用个人计算机。

图32是示出在程序下执行上述一系列处理的计算机的硬件的配置示例的框图。计算机中的CPU(中央处理单元)1001、ROM(只读存储器)1002和RAM(随机存取存储器)1003经由总线1004彼此连接。输入/输出接口1005还连接到总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接到输入/输出接口1005。

输入单元1006由键盘、鼠标、麦克风等构成。输出单元1007由显示器、扬声器等构成。存储单元1008由硬盘、非易失性存储器等构成。通信单元1009由网络接口等构成。驱动器1010驱动可移除介质1011，诸如磁盘、光盘、磁光盘或半导体存储器。

根据如上配置的计算机，CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中，并执行加载的程序以执行上述一系列处理。

例如，由计算机(CPU 1001)执行的程序可以记录在诸如封装介质的可移除介质1011中，并且以可移除介质1011的形式提供。或者，可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质提供程序。

程序可以经由输入/输出接口1005从附接到驱动器1010的可移除介质1011安装到计算机的存储单元1008中。或者，程序可以由通信单元1009经由有线或无线传输介质接收，并安装在存储单元1008中。程序也可以预先安装在ROM 1002或存储单元1008中。

注意，由计算机执行的程序可以是在其下以本说明书中描述的顺序按时间序列执行处理的程序，或者在其下并行地或在诸如调用时机的必要时刻执行处理的程序。

此外，在本说明书中，系统是指由多个装置构成的整个设备。

注意，要产生的有益效果不限于仅作为示例呈现的本说明书中描述的有益效果，而是包括其他有益效果。

注意，根据本技术的实施例不限于这里描述的实施例，而是包括在不脱离本技术的主题的情况下以各种方式修改的实施例。

注意，本技术可以具有以下配置。

(1)一种控制设备，包括：

处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及

显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像，其中

显示单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示。

(2)根据上述(1)所述的控制设备，其中

标记被显示在显示单元的四个角上。

(3)根据上述(1)或(2)所述的控制设备，其中

标记被显示在自动聚焦框附近。

(4)根据上述(1)至(3)中任一项所述的控制设备，其中

标记被线形地显示在显示单元的上部和下部中的每个中。

(5)根据上述(1)至(4)中任一项所述的控制设备，其中

标记被以沿着显示单元的框的形状显示。

(6)根据上述(1)至(5)中任一项所述的控制设备，其中

标记被按以所述显示单元的中央为中心的预定形状显示。

(7)根据上述(1)至(6)中任一项所述的控制设备，其中

多个标记各自被按以所述显示单元的中央为中心的预定形状的图形显示。

(8)根据上述(1)至(7)中任一项所述的控制设备，其中

标记是静止图像。

(9)根据上述(1)至(8)中任一项所述的控制设备，其中

标记是运动图像。

(10)根据上述(1)至(9)中任一项所述的控制设备，其中

标记是从显示单元的预定一边向相对边移动的线。

(11)根据上述(1)至(10)中任一项所述的控制设备，其中

标记是指示能够捕获的图像的数量的指示符。

(12)根据上述(1)至(11)中任一项所述的控制设备，其中

标记被显示的时间基本上等于曝光时间。

(13)根据上述(1)至(12)中任一项所述的控制设备，其中

当曝光时间短于预定时间时，标记被显示的时间长于曝光时间。

(14)根据上述(1)至(13)中任一项所述的控制设备，其中

标记在半按快门按钮期间在连续聚焦的模式时显示在追踪于自动聚焦框的位置，并且在其他的模式时显示在显示单元内的预定位置。

(15)根据上述(1)至(14)中任一项所述的控制设备，其中

在连续捕获多个图像的连续成像模式中，标记被在连续成像的开始和结束时显示。

(16)根据上述(1)至(15)中任一项所述的控制设备，其中

处理单元分别处理以第一数据密度发送的第一数据，以及以不同于第一数据密度的第二数据密度发送的第二数据，第一数据和第二数据基于从所述多个像素各自输出的像素信号；以及

显示单元使显示单元显示基于第一数据的图像作为直通图像。

(17)根据上述(16)所述的控制设备，其中，

当记录数据的指令被发出时，处理单元在记录介质中记录临时存储在存储单元中的第二数据。

(18)一种控制设备的控制方法，所述控制设备包括：

处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及

显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像，该控制方法包括：

使处理单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示的步骤。

(19)一种用于控制控制设备的计算机的程序，所述控制设备包括：

处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及

显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像，所述程序使计算机执行包括以下步骤的处理：

使处理单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示的步骤

附图标记列表

100……图像传感器，111……像素阵列单元，190……帧存储器，200……图像处理LSI，210……图像处理部，312……CMOS传感器，316……图像处理单元，317……显示单元，401至409……标记，501……AF框。

Claims (19)

1.一种控制设备，包括：

处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及

显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像，其中

显示单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示。

2.根据权利要求1所述的控制设备，其中

标记被显示在显示单元的四个角上。

3.根据权利要求1所述的控制设备，其中

标记被显示在自动聚焦框附近。

4.根据权利要求1所述的控制设备，其中

标记被线形地显示在显示单元的上部和下部中的每个中。

5.根据权利要求1所述的控制设备，其中

标记被以沿着显示单元的框的形状显示。

6.根据权利要求1所述的控制设备，其中

标记被按以所述显示单元的中央为中心的预定形状显示。

7.根据权利要求1所述的控制设备，其中

多个标记各自被按以所述显示单元的中央为中心的预定形状的图形显示。

8.根据权利要求1所述的控制设备，其中

标记是静止图像。

9.根据权利要求1所述的控制设备，其中

标记是运动图像。

10.根据权利要求1所述的控制设备，其中

标记是从显示单元的预定一边向相对边移动的线。

11.根据权利要求1所述的控制设备，其中

标记是指示能够捕获的图像的数量的指示符。

12.根据权利要求1所述的控制设备，其中

标记被显示的时间基本上等于曝光时间。

13.根据权利要求1所述的控制设备，其中

当曝光时间短于预定时间时，标记被显示的时间长于曝光时间。

14.根据权利要求1所述的控制设备，其中

标记在半按快门按钮期间在连续聚焦的模式时显示在追踪于自动聚焦框的位置，并且在其他的模式时显示在显示单元内的预定位置。

15.根据权利要求1所述的控制设备，其中

在连续捕获多个图像的连续成像模式中，标记被在连续成像的开始和结束时显示。

16.根据权利要求1所述的控制设备，其中

处理单元分别处理以第一数据密度发送的第一数据，以及以不同于第一数据密度的第二数据密度发送的第二数据，第一数据和第二数据基于从所述多个像素各自输出的像素信号；以及

显示单元使显示单元显示基于第一数据的图像作为直通图像。

17.根据权利要求16所述的控制设备，其中，

当记录数据的指令被发出时，处理单元在记录介质中记录临时存储在存储单元中的第二数据。

18.一种控制设备的控制方法，所述控制设备包括：

处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及

显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像，该控制方法包括：

使处理单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示的步骤。

19.一种用于控制控制设备的计算机的程序，所述控制设备包括：

处理单元，被配置为处理基于从多个像素各自输出的像素信号的数据；以及

显示控制单元，被配置为使显示单元显示基于由处理单元处理的数据的图像作为直通图像，所述程序使计算机执行包括以下步骤的处理：

使处理单元响应于记录数据的指令将指示记录处理的标记与在显示单元上显示的直通图像一起显示的步骤。