CN113491104B - 摄像设备和图像处理设备及其控制方法和存储介质 - Google Patents

摄像设备和图像处理设备及其控制方法和存储介质 Download PDF

Info

Publication number
CN113491104B
CN113491104B CN202080017030.7A CN202080017030A CN113491104B CN 113491104 B CN113491104 B CN 113491104B CN 202080017030 A CN202080017030 A CN 202080017030A CN 113491104 B CN113491104 B CN 113491104B
Authority
CN
China
Prior art keywords
image
hdr
control unit
system control
sdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080017030.7A
Other languages
English (en)
Other versions
CN113491104A (zh
Inventor
梨泽洋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113491104A publication Critical patent/CN113491104A/zh
Application granted granted Critical
Publication of CN113491104B publication Critical patent/CN113491104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

在本发明中，在摄像之前进行与动态范围有关的设置，并且在进行了指示高动态范围(HDR)的设置的情况下，将RAW图像数据与对应于HDR的显像信息相关联地进行记录，以及在进行了指示标准动态范围(SDR)的设置的情况下，将RAW图像数据与对应于SDR的显像信息相关联地进行记录。

Description

摄像设备和图像处理设备及其控制方法和存储介质
技术领域
本发明涉及图像处理技术。
背景技术
近来的以数字照相机为代表的摄像设备可以拍摄高动态范围(HDR)图像并将该HDR图像记录到记录介质上。HDR代表高动态范围，并且是生成具有比标准动态范围(SDR)宽的动态范围的图像的技术。
在记录HDR视频的内容的情况下，将该内容连同指示该内容是否是HDR视频的标识信息一起记录(例如，专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2018-7194
发明内容
发明要解决的问题
即使用户在意图将拍摄图像作为HDR图像进行查看的情况下进行摄像，所谓的未显像的RAW图像有时也被记录为记录图像。在这种情况下，需要将该RAW图像适当地显像为HDR图像。
还需要以适当的格式保存在意图作为HDR图像进行查看的情况下获得的RAW图像。
本发明旨在将RAW图像适当地显像为HDR图像，以解决上述问题。
用于解决问题的方案
根据本发明的方面，一种摄像设备，包括：第一设置部件，用于在摄像之前进行与动态范围有关的设置；第二设置部件，用于在所述摄像之前设置拍摄图像的记录格式；以及第一记录部件，用于在所述第二设置部件设置了记录RAW图像数据的情况下，记录基于通过所述摄像所获得的图像信号的RAW图像数据，其中，在所述第一设置部件进行了指示高动态范围即HDR的设置的情况下，所述第一记录部件将所述RAW图像数据与对应于所述HDR的显像信息相关联地进行记录，以及在所述第一设置部件进行了指示标准动态范围即SDR的设置的情况下，所述第一记录部件将所述RAW图像数据与对应于所述SDR的显像信息相关联地进行记录。
发明的效果
根据本发明的典型实施例，可以将RAW图像适当地显像为HDR图像。
附图说明
图1A是根据典型实施例的摄像/显示设备的外观图。
图1B是根据典型实施例的摄像/显示设备的外观图。
图2是示出根据典型实施例的摄像/显示设备的结构的框图。
图3是与外部装置的连接的结构图。
图4A1至4A3是根据典型实施例的实时取景(LV)摄像模式处理的流程图。
图4B是快速回看的流程图。
图5A是根据典型实施例的高清晰度多媒体接口(HDMI)(注册商标)连接处理的序列图。
图5B是根据典型实施例的HDMI连接处理的序列图。
图5C是根据典型实施例的HDMI连接处理的序列图。
图6A是根据典型实施例的高动态范围(HDR)摄像菜单处理的流程图。
图6B是根据典型实施例的HDR摄像菜单处理的流程图。
图7是根据典型实施例的HDR摄像处理的流程图。
图8A是根据典型实施例的RAW文件的结构图。
图8B是示出RAW文件中的区域ImageData(图像数据)的示例的图。
图8C是示出RAW文件中的区域ImageData的示例的图。
图8D是示出RAW文件中的区域ImageData的示例的图。
图8E是示出RAW文件中的区域ImageData的示例的图。
图9A是根据典型实施例的再现模式处理的流程图。
图9B是根据典型实施例的再现模式处理的流程图。
图9C是根据典型实施例的再现模式处理的流程图。
图9D是根据典型实施例的再现模式处理的流程图。
图9E是根据典型实施例的再现模式处理的流程图。
图9F是根据典型实施例的再现模式处理的流程图。
图9G是根据典型实施例的再现模式处理的流程图。
图9H是根据典型实施例的再现模式处理的流程图。
图10A是根据典型实施例的HDMI再现处理的流程图。
图10B是根据典型实施例的HDMI再现处理的流程图。
图11A是根据典型实施例的再现菜单处理的流程图。
图11B是示出数据的流的图。
图12是根据典型实施例的显像处理的流程图。
图13是示出Cx-Cy平面的图。
图14是灰度校正参数生成处理的流程图。
图15A是示出灰度校正量的图。
图15B是示出灰度校正量的图。
图16A是示出标准动态范围(SDR)中的外观的示例的图。
图16B是示出HDR中的外观的示例的图。
具体实施方式
以下将参考附图来详细说明典型实施例。以下的典型实施例并不意图限制在所附权利要求书中阐述的本发明。在这些典型实施例中说明了多个特征，但并非所有这多个特征对于本发明而言始终都是必需的，并且可以任意组合这多个特征。此外，在附图中，相同或相似的结构被指派相同的附图标记，并且将省略重复的说明。
图1A和1B示出用作本典型实施例应用于的设备的示例的数字照相机100的外观图。图1A是数字照相机100的正面立体图，并且图1B是数字照相机100的背面立体图。在图1A和1B中，显示单元28是显示图像和各种类型的信息的、设置在照相机背面上的显示单元。取景器外显示单元43是设置在照相机顶面上的显示单元。在取景器外显示单元43上显示包括快门速度和光圈的照相机的各种设置值。快门按钮61是用于发出摄像指示的操作单元。模式选择开关60是用于在各种模式之间切换的操作单元。端子罩40是保护例如将数字照相机100与外部装置连接的连接线缆所用的连接器(未示出)的罩。主电子拨盘71是包括在操作单元70中的旋转操作构件。通过转动主电子拨盘71，用户可以改变诸如快门速度和光圈等的设置值。电源开关72是用于在数字照相机100的电源的接通(ON)和断开(OFF)之间切换的操作构件。副电子拨盘73是包括在操作单元70中的旋转操作构件，并且用于移动所选择的框或馈送图像。十字键74是包括在操作单元70中的十字键(四向键)。可以单独推按十字键74的上下左右部分。可以进行与十字键74的按下部分相对应的操作。设置(SET)按钮75是包括在操作单元70中的按钮，并且主要用于确定所选择的项。实时取景(LV)按钮76包括在操作单元70中，并且是用于在静止图像拍摄模式中在实时取景(以下称为LV)的开启(ON)和关闭(OFF)之间切换的按钮。在运动图像拍摄模式中，LV按钮76用于发出运动图像拍摄(记录)的开始或停止指示。放大按钮77包括在操作单元70中，并且是用于在摄像模式的实时取景显示中在放大模式的开启(ON)和关闭(OFF)之间切换、以及用于在放大模式期间改变放大率的操作按钮。在再现模式中，放大按钮77用作放大再现图像和增大放大率的放大按钮。缩小按钮78包括在操作单元70中，并且是用于缩小所放大的再现图像的放大率或者缩小所显示的图像的按钮。再现按钮79包括在操作单元70中，并且是用于在摄像模式和再现模式之间切换的操作按钮。通过在数字照相机100处于摄像模式时按下再现按钮79，数字照相机100转变为再现模式，并且可以在显示单元28或外部装置300上显示记录介质200上所记录的图像中的最新图像。快速返回镜12根据来自系统控制单元50的指示由致动器(未示出)上下移动。通信端子10是数字照相机100与镜头(可拆卸)进行通信所用的通信端子。取景器16是用于通过观察聚焦屏113来确认通过镜头单元150获得的被摄体的光学图像的焦点和构图的查看型取景器。盖202是储存记录介质200的槽的盖。握持部95是具有在用户把持数字照相机100时能够容易地用右手抓握的形状的把持部。
图2是示出根据本典型实施例的数字照相机100的结构示例的框图。
在图2中，镜头单元150是包括可更换摄像镜头的镜头单元。
透镜103通常包括多个透镜，但这多个透镜被简化并且在图2中示出仅一个透镜。通信端子6是镜头单元150与数字照相机100进行通信所用的通信端子。通信端子10是数字照相机100与镜头单元150进行通信所用的通信端子。镜头单元150经由通信端子6和10与系统控制单元50进行通信，利用内部的镜头系统控制电路4经由光圈驱动电路2控制光圈1，并通过经由自动调焦(AF)驱动电路3使透镜103的位置移位来进行调焦。
自动曝光(AE)传感器17测量通过镜头单元150获得的被摄体的亮度。焦点检测单元11将散焦量信息输出至系统控制单元50。系统控制单元50基于散焦量信息来控制镜头单元150并进行相位差AF。
在曝光、实时取景摄像和运动图像拍摄时，根据从系统控制单元50发出的指示，通过致动器(未示出)使快速返回镜12(以下称为镜12)上下移动。镜12是用于将从透镜103入射的光束切换到取景器16和摄像单元22的镜。镜12通常被布置成反射光束并将光束引导到取景器16。当要进行摄像或实时取景显示时，镜12向上移动并且远离光束以将光束引导到摄像单元22(镜上升)。另外，镜12具有中央部允许光的一部分穿过的半透半反镜结构，由此镜12允许光的一部分入射到用于进行焦点检测的焦点检测单元11。
用户(拍摄者)可以通过经由五棱镜14和取景器16观察聚焦屏13来确认通过镜头单元150所获得的被摄体的光学图像的焦点和构图。
快门101是焦平面快门，其可以在系统控制单元50的控制下自由地控制摄像单元22的曝光时间。
摄像单元22是将光学图像转换成电气信号的包括电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器的图像传感器。在摄像单元22的摄像面上，二维地且周期性地布置有具有R、G和B的颜色分量的滤波器。在2×2个相邻滤波器中，布置了G分量滤波器作为处于对角关系的两个滤波器，并且布置了R分量滤波器和B分量滤波器作为其余的滤波器。另外，这样的2×2个滤波器排列在摄像单元22的摄像面上。这样的阵列通常被称为拜耳阵列。因此，由从摄像单元22输出的信号(模拟信号)表示的图像对应于具有拜耳阵列的像素信号。例如，模数(A/D)转换器23将从摄像单元22输出的1像素的模拟信号转换成10位的数字信号。在该阶段获得的图像数据是具有如上所述一个像素包括一个分量且一个分量具有10位的拜耳阵列的图像数据，并且是未显像的图像数据。因此，该阶段的图像数据将被称为RAW图像数据。在补偿缺陷像素之后获得的具有拜耳阵列的图像数据也可被视为RAW图像数据。在典型实施例中，A/D转换器23将模拟信号转换成10位的数字数据，但位数仅需是超过8位的位数，并且没有特别限制。随着位数变得更大，可以进行更高的灰度表示。
图像处理单元24对来自A/D转换器23的数据或来自存储器控制单元15的数据进行诸如预定像素插值或缩小等的调整大小处理以及颜色转换处理。图像处理单元24还使用拍摄图像的数据来进行预定计算处理。系统控制单元50基于所获得的计算结果来进行曝光控制和测距控制。由此进行通过镜头(TTL)方式的AF处理、AE处理和电子闪光灯预发光(EF)处理。图像处理单元24进一步使用拍摄图像的数据来进行预定计算处理，并且还基于所获得的计算结果来进行TTL方式的自动白平衡(AWB)处理。图像处理单元24进一步在系统控制单元50的控制下进行图像数据的编码/解码处理。编码包括联合图像专家组(JPEG)和高效率视频编码(HEVC)。JPEG是用于对一个颜色分量具有8位的图像数据进行编码的技术，并且HEVC是用于对一个颜色分量具有超过8位的位的图像数据进行编码的技术。
来自A/D转换器23的输出数据经由图像处理单元24和存储器控制单元15或者经由存储器控制单元15被直接写入存储器32。存储器32存储由摄像单元22获得并由A/D转换器23转换成数字数据的图像数据、以及要显示在显示单元28或外部装置300上的图像数据。存储器32具有足以存储预定数量的静止图像以及预定时间长度的运动图像和语音的存储容量。
另外，存储器32还用作图像显示所用的存储器(视频存储器)。数模(D/A)转换器19将存储器32中所存储的图像显示用数据转换成模拟信号，并将该模拟信号供给至显示单元28。以这种方式写入存储器32的显示用图像数据经由D/A转换器19由显示单元28显示。显示单元28在诸如液晶显示器(LCD)等的显示装置上进行与来自D/A转换器19的模拟信号相对应的显示。由A/D转换器23进行了一次A/D转换并被存储在存储器32中的数字信号由D/A转换器19进行D/A转换，并且被顺次传送至显示单元28并显示在显示单元28上。这实现了作为电子取景器的功能和实时取景显示。
经由取景器内显示单元驱动电路42在取景器内显示单元41上显示指示当前进行自动调焦的测距点的框(AF框)和指示照相机的设置状态的图标。经由取景器外显示单元驱动电路44在取景器外显示单元43上显示包括快门速度和光圈的照相机的各种设置值。
数字输出接口(I/F)90将存储器32中所存储的图像显示用数据在无需从数字信号转换的情况下供给至外部装置300。例如，数字输出I/F 90根据符合高清晰度多媒体接口(HDMI)(注册商标)标准的通信协议以流格式输出运动图像数据。以这种方式，将写入存储器32的显示用图像数据显示在外部装置300上。
非易失性存储器56是电可擦除/可记录存储器，并且例如使用电可擦除可编程只读存储器(EEPROM)。在非易失性存储器56中存储有用于操作系统控制单元50的常数和程序。程序是指用于执行在本典型实施例中以下将说明的各种流程图的程序。
系统控制单元50是包括至少一个处理器的控制单元，并且控制整个数字照相机100。通过执行上述的记录在非易失性存储器56中的程序，系统控制单元50实现以下将说明的本典型实施例中的各个处理。使用随机存取存储器(RAM)作为系统存储器52。用于操作系统控制单元50的常数、变量、以及从非易失性存储器56读出的程序被加载到系统存储器52上。系统控制单元50还通过控制存储器32、D/A转换器19、数字输出I/F 90和显示单元28等来进行显示控制。
系统计时器53是用于测量要用于各种类型的控制的时间或内置时钟的时间的时间测量单元。
模式选择开关60、第一快门开关62、第二快门开关64和操作单元70用作用于向系统控制单元50输入各种操作指示的操作构件。
模式选择开关60将系统控制单元50的操作模式切换为静止图像记录模式、运动图像拍摄模式和再现模式中的任何模式。静止图像记录模式包括诸如自动摄像模式、自动场景判断模式、手动模式、光圈优先模式(Av模式)和快门速度优先模式(Tv模式)等的模式。静止图像记录模式还包括诸如针对各个摄像场景具有不同的摄像设置的各种场景模式、程序AE模式和自定义模式等的模式。经由模式选择开关60，操作模式被直接切换到这些模式中的任何模式。可选地，可以以以下方式切换操作模式。模式选择开关60一旦将画面切换到摄像模式的列表画面。然后，使用另一操作构件来选择所显示的多个模式中的任何模式，使得操作模式切换到所选择的模式。运动图像拍摄模式可以类似地包括多个模式。
用户所要操作的快门按钮61包括第一快门开关62和第二快门开关64。第一快门开关62在用户所进行的快门按钮61的操作的中途接通(ON)。也就是说，第一快门开关62通过所谓的半按下(摄像准备指示)接通，并生成第一快门开关信号SW1。当输入第一快门开关信号SW1时，系统控制单元50开始AF处理、AE处理、AWB处理和EF处理的操作。第二快门开关64在快门按钮61的操作完成时接通。也就是说，第二快门开关64通过所谓的全按下(摄像指示)接通，并生成第二快门开关信号SW2。根据第二快门开关信号SW2，系统控制单元50开始从自摄像单元22读出信号起直至将图像数据写入到记录介质200上为止的一系列摄像处理的操作。
通过选择性地操作显示单元28或外部装置300上所显示的各种功能图标以针对各场景向操作单元70的操作构件分配适当功能，这些操作构件用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像馈送按钮、跳转按钮、缩小按钮和属性改变按钮。例如，当按下菜单按钮70e时，在显示单元28或外部装置300上显示用于使得能够进行各种设置的菜单画面。用户可以使用显示单元28或外部装置300上所显示的菜单画面、四方向(上下左右)按钮和设置按钮来直观地进行各种设置。
根据典型实施例的显示单元28具有标准动态范围(SDR)图像质量的图像表示功能。也就是说，显示单元28可以显示R、G和B的颜色分量各自具有8位(256灰度)的图像。当外部装置300连接至数字照相机100时，外部装置300代替显示单元28被设置为拍摄图像或实时图像的输出目的地装置。当用户对操作单元70进行操作以明确地选择显示单元28或外部装置300时，所选择的装置用作输出目的地装置。
操作单元70包括用作用于接收来自用户的操作的输入单元的各种操作构件。操作单元70至少包括以下的操作单元：快门按钮61、主电子拨盘71、电源开关72、副电子拨盘73、十字键74、设置按钮75、LV按钮76、放大按钮77、缩小按钮78和再现按钮79。十字键74是方向按钮，并且可以单独推按十字键74的上下左右部分。在本典型实施例中，十字键74被描述为一体形成的操作单元，但上按钮、下按钮、右按钮和左按钮可以是独立的按钮。在下文，上部或下部将被称为上下键，并且左部或右部将被称为左右键。操作单元70还包括以下的操作单元。
AF-ON(AF开启)按钮70b是包括在操作单元70中的推式按钮开关，并且可以通过被按下来发出AF执行指示。AF-ON按钮70b的按下方向与从透镜103入射到摄像单元22的被摄体光的方向(光轴)平行。
快速设置按钮70c(以下称为Q按钮70c)是包括在操作单元70中的推式按钮开关。通过按下快速设置按钮70c，显示指示在各操作模式中可设置的设置项的列表的快速设置菜单。例如，如果在实时取景摄像时的摄像待机期间按下快速设置按钮70c，则诸如电子前帘幕快门、监视器的亮度、LV画面的WB、两点放大和无声摄像等的设置项的列表以叠加在LV上的状态按列显示。通过使用上下键选择所显示的快速设置菜单的任意选项并按下设置按钮，用户可以改变关于所选择的设置项的设置或将数字照相机100转变为操作模式。
活动框切换按钮70d是包括在操作单元70中的推式按钮开关。通过在以下要说明的两点放大处理中被按下，活动框切换按钮70d可以切换处于放大状态的两个点中的活动放大位置(框)。分配给活动框切换按钮70d的功能根据操作模式而变化。如果在再现模式中按下活动框切换按钮70d，则可以将保护属性添加到正在显示的图像。
菜单按钮70e是包括在操作单元70中的推式按钮开关。当按下菜单按钮70e时，在显示单元28或外部装置300上显示用于使得能够进行各种设置的菜单画面。
功能按钮70f是包括在操作单元70中的三个推式按钮开关，并且向各个功能按钮70f分配了功能。各个功能按钮70f布置在把持握持部95的右手的手指(中指、无名指或小指)可操作的位置处。按下方向与从透镜103入射到摄像单元22的被摄体光的方向(光轴)平行。
信息按钮70g是包括在操作单元70中的推式按钮开关，并且用于各种类型的信息显示的切换。
电源控制单元80包括电池检测电路、直流(DC)-DC转换器、以及用于切换要被供给电力的块的开关电路。电源控制单元80检测是否安装了电池、电池的类型和剩余电池容量。电源控制单元80基于检测结果和来自系统控制单元50的指示来控制DC-DC转换器，并将所需电压在所需时间段期间供给至包括记录介质200的组件。
电源单元30包括一次电池(诸如碱性电池或锂电池等)、二次电池(诸如镍镉(NiCd)电池、镍金属氢化物(NiMH)电池或锂(Li)电池等)、以及交流(AC)适配器。记录介质I/F 18是与诸如存储卡或硬盘等的记录介质200的接口。记录介质200是诸如用于记录拍摄图像的存储卡等的记录介质，并且包括半导体存储器或磁盘。
通信单元54无线地或经由有线线缆连接，并且发送或接收视频信号和音频信号。通信单元54还可以与无线局域网(LAN)和因特网连接。通信单元54可以发送摄像单元22所拍摄到的图像(包括实时取景)和记录介质200上所记录的图像。通信单元54还可以从外部装置接收图像数据和其它各种类型的信息。
姿势检测单元55检测数字照相机100相对于重力方向的姿势。基于姿势检测单元55所检测到的姿势，可以判断摄像单元22所拍摄到的图像是在数字照相机100保持于横向方向的状态下拍摄到的图像、还是在数字照相机100保持于纵向方向的状态下拍摄到的图像。系统控制单元50可以将与姿势检测单元55所检测的姿势相对应的姿势信息添加到摄像单元22所拍摄到的图像的图像文件，或者记录处于旋转状态的图像。作为姿势检测单元55，可以使用加速度传感器或陀螺传感器。
作为操作单元70的一个操作构件，包括可以检测对显示单元28进行的触摸的触摸面板70a。触摸面板70a和显示单元28可以一体地形成。例如，触摸面板70a被配置为具有不干扰在显示单元28上进行的显示的光透射率，并且附接到显示单元28的显示面的上层。然后，触摸面板70a上的输入坐标和显示单元28上的显示坐标彼此关联。通过该结构，可以形成仿佛用户可以直接操作显示单元28上所显示的画面一样的图形用户界面(GUI)。系统控制单元50可以检测对触摸面板70a进行的以下操作或其状态。
·没有触摸触摸面板70a的手指或触笔新触摸触摸面板70a的操作，即，对触摸面板70a的触摸的开始(以下称为“触及”)。
·手指或触笔触摸触摸面板70a的状态(以下称为“触摸持续”)。
·手指或触笔在触摸触摸面板70a的同时在触摸面板70a上移动的操作(以下称为“触摸移动”)。
·已触摸触摸面板70a的手指或触笔分离的操作，即，对触摸面板70a的触摸的结束(以下称为“触摸停止”)。
·什么也没有触摸触摸面板70a的状态(以下称为“未触摸”)。
在检测到触及时，同时检测到触摸持续。在触及之后，除非检测到触摸停止，否则继续检测到触摸持续。在检测到触摸持续的状态下，检测到触摸移动。即使检测到触摸持续，除非触摸位置移动，否则没有检测到触摸移动。在检测到已触摸的所有手指或触笔的触摸停止之后，检测到未触摸。
经由内部总线向系统控制单元50通知这些操作和状态、以及触摸面板70a上的手指或触笔触摸的位置坐标。基于所通知的信息，系统控制单元50判断对触摸面板70a进行了什么类型的操作(触摸操作)。关于触摸移动，基于位置坐标的变化，还可以针对触摸面板70a上的各垂直分量/水平分量判断手指或触笔在触摸面板70a上移动的移动方向。在检测到进行触摸移动并持续了预定距离以上的情况下，判断为进行了滑动操作。在手指触摸触摸面板的状态下使手指快速地移动了一定量的距离、然后在该状态下分离手指的操作将被称为轻拂。换句话说，轻拂是使手指像轻弹一样在触摸面板70a上快速地移动的操作。如果检测到按预定速度以上进行了预定距离以上的触摸移动、并且在该状态下检测到触摸停止的情况下，则可以判断为进行了轻拂(可以判断为在滑动操作之后进行了轻拂)。此外，同时触摸多个位置(例如，两个点)并使这些触摸位置彼此更靠近的触摸操作将被称为“捏合(pinch-in)”，并且使这些触摸位置彼此远离的触摸操作将被称为“捏分(pinch-out)”。“捏分”和“捏合”将被统称为“捏操作”(或简称为“捏”)。作为触摸面板70a，可以使用以下各种类型中的任何类型的触摸面板：电阻式触摸面板、电容式触摸面板、表面声波式触摸面板、红外式触摸面板、电磁感应型触摸面板、图像识别型触摸面板和光学传感器型触摸面板。根据类型，一些触摸面板在检测与触摸面板的接触时检测到触摸，而其它触摸面板在检测手指或触笔向触摸面板的接近时检测到触摸。可以使用这两者中的任何类型的触摸面板。
应用示例不限于摄像设备主体，并且本发明还可应用于经由有线或无线通信与摄像设备(包括网络照相机)进行通信、并且远程地控制摄像设备的控制设备。远程地控制摄像设备的控制设备的示例包括智能电话、平板式个人计算机(PC)和台式PC。通过基于控制设备所进行的操作或控制设备所进行的处理从控制设备通知用于使摄像设备进行各种操作和设置的命令，可以远程地控制摄像设备。另外，控制设备能够经由有线或无线通信接收摄像设备所拍摄到的实时取景图像，并显示该实时取景图像。
以上给出了对将本发明应用于数字照相机的示例情况的说明，但本发明不限于此。例如，本发明可应用于包括显示单元的任何设备，诸如个人数字助理(PDA)、移动电话终端、便携式图像查看器、包括显示器的打印设备、数字相框、音乐播放器、游戏机和电子书阅读器等。
图3是示出数字照相机100和外部装置300的连接示例的图。当数字照相机100和外部装置300通过连接线缆302连接时，数字照相机100的显示单元熄灭，并且数字照相机100的显示切换到外部装置300的显示器301。
图4A1至4A3是在数字照相机100中要进行的LV摄像模式处理的流程图。通过系统控制单元50将非易失性存储器56中所记录的程序加载到系统存储器52上并执行该程序来实现该处理。
首先，将说明根据本典型实施例的高动态范围(HDR)摄像模式和SDR摄像模式。本典型实施例的数字照相机100可以根据用户所进行的菜单操作来设置HDR摄像模式或SDR摄像模式。这些模式是用于按照用户的意图设置最终图像数据是具有HDR图像质量的图像数据还是具有SDR图像质量的图像数据的模式。在以下处理中，根据所设置的模式来进行各种类型的控制。在下文，以HDR摄像模式或SDR摄像模式进行摄像有时将被描述为“HDR摄像”或“SDR摄像”。然而，由于如以下所述也可以设置仅采用RAW格式的记录，因此在以HDR摄像模式拍摄图像的情况下不总是记录HDR图像。
在步骤S401中，系统控制单元50判断用户使用操作单元70所进行的设置是否指示HDR摄像模式。在系统控制单元50判断为设置了HDR摄像模式的情况下(步骤S401中为“是”)，处理进入步骤S402。在系统控制单元50判断为设置了SDR摄像模式的情况下(步骤S401中为“否”)，处理进入步骤S422。
在步骤S402中，系统控制单元50判断外部装置300是否连接至数字照相机100。在系统控制单元50判断为连接了外部装置300的情况下(步骤S402中为“是”)，处理进入步骤S403。在系统控制单元50判断为未连接外部装置300的情况下(步骤S402中为“否”)，处理进入步骤S404。
在步骤S403中，系统控制单元50进行数字照相机100和外部装置300的连接处理。然后，系统控制单元50使处理进入步骤S404。以下将参考图5A至5C来说明该连接处理的详情。如果外部装置支持HDR连接，则进行HDR连接，并且如果外部装置不支持HDR连接，则进行SDR连接。
在步骤S404中，系统控制单元50使用图像处理单元24对通过利用A/D转换器23将摄像单元22所拍摄到的图像转换成数字信号而获得的实时RAW图像数据进行HDR图像质量的显像处理。在下文，通过HDR图像质量的显像处理所获得的图像将被称为HDR图像。
本典型实施例中的HDR图像数据是一个像素包括三个分量(Luv或YCbCr等)的数据，并且在本典型实施例中，各分量以10位(1024灰度)表示。将HDR图像所用的伽马曲线(例如，ITU-R推荐BT.2100的PQ或HLG)应用于HDR图像数据。
在步骤S405中，系统控制单元50判断显示LV图像的装置(显示单元28或外部装置300)是否支持HDR。在判断为该装置不支持HDR的情况下(步骤S405中为“否”)，处理进入步骤S406。在判断为该装置支持HDR的情况下(步骤S405中为“是”)，处理进入步骤S409。
在步骤S406中，系统控制单元50判断HDR辅助显示设置是否被设置为辅助1。在系统控制单元50判断为设置了辅助1的情况下(步骤S406中为“是”)，处理进入步骤S407。在系统控制单元50判断为设置了辅助2的情况下(步骤S406中为“否”)，处理进入步骤S408。辅助1是用于确认HDR图像的高亮度区域的设置，并且进行将大量灰度(代码值)分配给HDR图像的高亮度范围的处理。辅助2是用于确认HDR图像的中间亮度范围的设置，并且进行将大量灰度(代码值)分配给HDR图像的中间亮度区域的处理。
在步骤S407中，系统控制单元50根据辅助1的设置来对通过步骤S404的显像处理所获得的HDR图像数据进行HDR→SDR转换处理，并且显示具有SDR图像质量的LV图像数据，该具有SDR图像质量的LV图像数据是通过进行用于将图像大小转换成适合输出目的地装置(显示单元28或外部装置300)的大小的调整大小处理所获得的。然后，处理进入步骤S410。
在步骤S408中，系统控制单元50根据辅助2的设置来对通过步骤S404的显像处理所获得的HDR图像数据进行HDR→SDR转换处理，并且显示具有SDR图像质量的LV图像数据，该具有SDR图像质量的LV图像数据是通过进行用于将图像大小转换成适合输出目的地装置(显示单元28或外部装置300)的大小的调整大小处理所获得的。然后，处理进入步骤S410。
步骤S407和S408中的具有SDR图像质量的图像数据(SDR图像数据)是指一个分量具有8位的图像数据。将SDR图像所用的伽马曲线(例如，sRGB规格的伽马曲线)应用于具有SDR图像质量的图像数据。作为sRGB规格的伽马曲线，通常使用包括与暗部相对应的直线部分和与明部相对应的指数为2.4的弯曲部分的曲线，但可以使用指数为2.2的曲线作为简化的伽马曲线。
在步骤S409中，系统控制单元50将通过步骤S404的显像处理所获得的HDR图像数据调整大小为适合于输出目的地装置(显示单元28或外部装置300)的大小，并显示具有HDR图像质量的实时调整大小图像(下文中称为HDL_LV图像)。然后，处理进入步骤S410。
在步骤S410中，系统控制单元50判断是否按下了菜单按钮70e。在判断为按下了菜单按钮70e的情况下(步骤S410中为“是”)，处理进入步骤S411。在判断为未按下菜单按钮70e的情况下(步骤S410中为“否”)，处理进入步骤S412。在步骤S411中，系统控制单元50进行摄像菜单处理，并使处理进入步骤S412。以下将参考图6A和6B来说明摄像菜单处理的详情。
在步骤S412中，系统控制单元50判断是否按下了信息按钮70g。在判断为按下了信息按钮70g的情况下(步骤S412中为“是”)，处理进入步骤S413。在判断为未按下信息按钮70g的情况下(步骤S412中为“否”)，处理进入步骤S414。在步骤S413中，系统控制单元50切换摄像信息的显示，并且处理进入步骤S414。摄像信息包括直方图和高光警告表(highlight warning table)。
在步骤S414中，系统控制单元50基于是否接收到信号SW1来判断快门按钮61是否处于半按下状态。在判断为快门按钮61未被半按下的情况下(步骤S414中为“否”)，处理进入步骤S420。在判断为快门按钮61处于半按下状态的情况下(步骤S414中为“是”)，处理进入步骤S415。
在步骤S415中，系统控制单元50进行参考图2所述的AF/AE处理，并且处理进入步骤S416。在步骤S416中，系统控制单元50基于是否接收到信号SW2来判断快门按钮61是否处于全按下状态。在判断为快门按钮61不是处于全按下状态的情况下(步骤S416中为“否”)，处理进入步骤S417。在判断为快门按钮61处于全按下状态的情况下(步骤S416中为“是”)，处理进入步骤S418。在步骤S417中，系统控制单元50判断是否维持快门按钮61的半按下状态。在判断为维持半按下状态的情况下(步骤S417中为“是”)，处理返回到步骤S415。在判断为不维持半按下状态的情况下(步骤S417中为“否”)，处理进入步骤S420。在步骤S418中，系统控制单元50进行HDR摄像处理，并将符合预设记录格式的图像数据文件记录到记录介质上。图8A示出要记录的文件的数据结构。然后，系统控制单元50使处理进入步骤S419。以下将参考图7来说明HDR摄像处理的详情。然后，在步骤S419中，系统控制单元50进行快速回看显示处理，并使处理进入步骤S420。以下将参考图4B来说明快速回看显示处理的详情。
在步骤S420中，系统控制单元50判断是否按下了LV按钮76。在判断为按下了LV按钮76的情况下(步骤S420中为“是”)，处理进入步骤S421。在判断为未按下LV按钮76的情况下(步骤S420中为“否”)，处理进入步骤S422。
在步骤S421中，系统控制单元50按照HEVC(H.265)对通过步骤S404的显像处理所获得的具有HDR图像质量的图像数据(一个像素包括三个分量且一个分量具有10位的图像数据)进行压缩，并将压缩后的图像数据记录为HDR图像运动图像文件。然后，处理进入步骤S438。
在步骤S422中，系统控制单元50判断外部装置300是否连接至数字照相机100。在系统控制单元50判断为连接了外部装置300的情况下(步骤S422中为“是”)，处理进入步骤S423。在系统控制单元50判断为未连接外部装置300的情况下(步骤S422中为“否”)，处理进入步骤S424。在步骤S423中，系统控制单元50进行数字照相机100和外部装置300的连接处理，并使处理进入步骤S424。以下将参考图5A至5C来说明该连接处理的详情。由于设置了SDR摄像模式，因此与外部装置进行SDR连接。
在步骤S424中，系统控制单元50使用图像处理单元24将由摄像单元22拍摄到并由A/D转换器23转换成数字信号的图像显像成具有SDR图像质量的图像(一个像素包括三个分量，并且一个分量具有8位(256灰度))，并且处理进入步骤S425。在下文，通过SDR图像质量的显像处理所获得的图像将被称为SDR图像。
在步骤S425中，系统控制单元50将通过步骤S424的显像处理所获得的SDR图像调整大小为适合于输出目的地装置(显示单元28或外部装置300)的分辨率的大小，生成具有SDR图像质量的实时图像(SDR_LV图像)，并显示所生成的SDR_LV图像。
在步骤S426中，系统控制单元50判断是否按下了菜单按钮70e。在判断为按下了菜单按钮70e的情况下(步骤S426中为“是”)，处理进入步骤S427。在判断为未按下菜单按钮70e的情况下(步骤S426中为“否”)，处理进入步骤S428。在步骤S427中，系统控制单元50进行摄像菜单处理，并使处理进入步骤S428。以下将参考图6A和6B来说明S427中的摄像菜单处理的详情。
在步骤S428中，系统控制单元50判断是否按下了信息按钮70g。在判断为按下了信息按钮70g的情况下(步骤S428中为“是”)，处理进入步骤S429。在判断为未按下信息按钮70g的情况下(步骤S428中为“否”)，处理进入步骤S430。在步骤S429中，系统控制单元50切换摄像信息的显示，并且处理进入步骤S430。摄像信息包括直方图和高光警告表。
在步骤S430中，系统控制单元50判断快门按钮61是否处于半按下状态。在判断为快门按钮61不是处于半按下状态的情况下(步骤S430中为“否”)，处理进入步骤S436。在判断为快门按钮61处于半按下状态的情况下(步骤S430中为“是”)，处理进入步骤S431。
在步骤S431中，系统控制单元50进行参考图2所述的AF/AE处理，并且处理进入步骤S432。在步骤S432中，系统控制单元50基于是否接收到信号SW2来判断快门按钮61是否处于全按下状态。在系统控制单元50判断为快门按钮61不是处于全按下状态的情况下(步骤S432中为“否”)，处理进入步骤S433。在系统控制单元50判断为快门按钮61处于全按下状态的情况下(步骤S432中为“是”)，处理进入步骤S434。在步骤S433中，系统控制单元50基于是否接收到信号SW1来判断是否维持快门按钮61的半按下状态。在系统控制单元50判断为维持半按下状态的情况下(步骤S433中为“是”)，处理返回到步骤S431。在系统控制单元50判断为不维持半按下状态的情况下(步骤S433中为“否”)，处理进入步骤S436。
在步骤S434中，系统控制单元50进行SDR摄像处理，并且处理进入步骤S435。在SDR摄像处理中，系统控制单元50对通过SDR摄像所获得的RAW图像数据进行SDR图像质量的显像处理，通过对具有SDR图像质量的图像进行JPEG编码来生成JPEG图像数据，并且将该JPEG图像数据作为采用JPEG格式的JPEG文件记录到记录介质上。在进行了仅将SDR图像作为JPEG文件进行记录的设置作为记录设置的情况下，仅记录JPEG文件。在将JPEG文件和RAW图像文件的记录设置为记录设置的情况下，记录JPEG文件，并且将通过对通过SDR摄像所获得的RAW图像数据进行编码而获得的数据、以及JPEG图像数据按照图8A所示的RAW图像文件格式作为RAW图像文件记录到记录介质上。在RAW图像文件中，图8A所示的数据结构中的ImageData 809具有图8B所示的格式。更具体地，将通过以8位的精度对各个大小的显示用图像进行JPEG编码所获得的编码数据块集成到一个文件中并存储。然后，在步骤S435中，系统控制单元50进行快速回看显示处理，并且处理进入步骤S436。以下将参考图4B来说明快速回看显示处理的详情。
在步骤S436中，系统控制单元50判断是否按下了LV按钮76。在判断为按下了LV按钮76的情况下(步骤S436中为“是”)，处理进入步骤S437。在判断为未按下LV按钮76的情况下(步骤S436中为“否”)，处理进入步骤S438。在步骤S437中，系统控制单元50按照H264对通过步骤S425的SDR图像质量的显像处理所获得的SDR图像进行压缩，将压缩后的SDR图像记录为SDR运动图像文件，并使处理进入步骤S438。
在步骤S438中，系统控制单元50判断是否按下了再现按钮79。在系统控制单元50判断为按下了再现按钮79的情况下(步骤S438中为“是”)，处理进入步骤S439。在系统控制单元50判断为未按下再现按钮79的情况下(步骤S438中为“否”)，处理进入步骤S440。在步骤S439中，系统控制单元50进行再现模式处理，并且处理进入步骤S440。以下将参考图9A至9H以及图10A和10B来说明再现模式处理的详情。
在步骤S440，系统控制单元50判断是否发出了LV模式的结束指示。在判断为没有发出LV模式的结束指示的情况下(步骤S440中为“否”)，处理返回到步骤S401。在判断为发出了结束指示的情况下(步骤S440中为“是”)，处理结束。
图4B是示出系统控制单元50所进行的快速回看显示处理的流程图。通过系统控制单元50将非易失性存储器56中所记录的程序加载到系统存储器52上并执行该程序来实现该处理。
在步骤S451中，系统控制单元50判断快速回看显示的设置是否有效。在判断为快速回看显示的设置有效的情况下(步骤S451中为“是”)，处理进入步骤S452。在判断为快速回看显示的设置无效的情况下(步骤S451中为“否”)，处理结束。
在步骤S452中，系统控制单元50判断是否要以HDR摄像模式进行摄像。在判断为要以HDR摄像模式进行摄像的情况下(步骤S452中为“是”)，处理进入步骤S453。在判断为要以SDR摄像模式进行摄像的情况下(步骤S452中为“否”)，处理进入步骤S460。
在步骤S453中，系统控制单元50判断进行快速回看显示的装置(显示单元28或外部装置300)是否支持HDR。在判断为该装置不支持HDR的情况下(步骤S453中为“否”)，处理进入步骤S454。在判断为该装置支持HDR的情况下(步骤S453中为“是”)，处理进入步骤S457。
在步骤S454中，系统控制单元50判断是否进行了RAW静止图像拍摄。在判断为进行了RAW静止图像拍摄的情况下(步骤S454中为“是”)，处理进入步骤S455。在判断为进行了高效率图像文件格式(HEIF)静止图像拍摄的情况下(步骤S454中为“否”)，处理进入步骤S456。
在步骤S455中，系统控制单元50通过与步骤S406～S408同等的处理来对HDR RAW图像中的显示用HDR图像828进行HDR→SDR转换，将该图像调整大小为适合于输出目的地装置(显示单元28或外部装置300)的大小，显示具有SDR图像质量的图像，并使处理进入步骤S463。
在步骤S456中，系统控制单元50通过与步骤S406～S408同等的处理来对HEIF图像中的显示用HDR图像进行HDR→SDR转换，将该图像调整大小为适合于输出目的地装置(显示单元28或外部装置300)的大小，显示具有SDR图像质量的图像，并使处理进入步骤S463。
在步骤S457中，系统控制单元50判断是否进行了RAW静止图像拍摄。在判断为进行了RAW静止图像拍摄的情况下(步骤S457中为“是”)，处理进入步骤S458。在判断为进行了HEIF静止图像拍摄的情况下(步骤S457中为“否”)，处理进入步骤S459。在步骤S458中，系统控制单元50将HDR RAW图像中的显示用HDR图像828调整大小为适合于输出目的地装置(显示单元28或外部装置300)的大小，显示具有HDR图像质量的图像，并使处理进入步骤S463。在步骤S459中，系统控制单元50将HEIF图像中的显示用HDR图像调整大小为适合于输出目的地装置(显示单元28或外部装置300)的大小，显示具有HDR图像质量的图像，并使处理进入步骤S463。
在步骤S460中，外部装置300判断是否进行了RAW静止图像拍摄。在判断为进行了RAW静止图像拍摄的情况下(步骤S460中为“是”)，处理进入步骤S461。在判断为进行了HEIF静止图像拍摄的情况下(步骤S460中为“否”)，处理进入步骤S462。在步骤S461中，系统控制单元50将SDR RAW图像中的显示用SDR图像823调整为适合于输出目的地装置(显示单元28或外部装置300)的大小，显示具有SDR图像质量的图像，并使处理进入步骤S463。在步骤S462中，系统控制单元50将JPEG图像中的显示用SDR图像调整为适合于输出目的地装置(显示单元28或外部装置300)的大小，显示具有SDR图像质量的图像，并使处理进入步骤S463。
在步骤S463中，系统控制单元50判断是否按下了快门按钮61。在判断为未按下快门按钮61的情况下(步骤S463中为“否”)，处理进入步骤S464。在判断为按下了快门按钮61的情况下(步骤S463中为“是”)，处理结束。
在步骤S464中，系统控制单元50判断是否经过了被设置为快速回看显示时间的时间。在判断为未经过所设置的时间的情况下(步骤S464中为“否”)，处理返回到步骤S463。在判断为经过了所设置的时间的情况下(步骤S464中为“是”)，处理结束。
图5A是示出在数字照相机100和外部装置300连接的情况下的数字照相机100和外部装置300的控制过程的序列图。将假定数字照相机100和外部装置300经由HDMI连接来给出说明。
在步骤S501中，系统控制单元50控制数字输出I/F 90并发出+5V信号的发送开始指示。因此，数字输出I/F 90开始+5V信号的发送。所发送的+5V信号通过连接线缆302的+5V信号线(未示出)被发送至外部装置300。外部装置300接收到连接线缆302的+5V信号，并且处理进入步骤S502。
在步骤S502中，外部装置300判断为数字照相机100确认了外部装置300的连接，并且处理进入步骤S503。
在步骤S503中，外部装置300开始从连接线缆302的热插拔检测(HPD)信号线(未示出)发送HPD信号。数字照相机100的数字输出I/F 90经由连接线缆302接收所发送的HPD信号。如果数字输出I/F 90接收到HPD信号，则数字输出I/F 90向系统控制单元50通知HPD接收。
在步骤S504，系统控制单元50通过HPD的通知来检测来自外部装置300的连接响应，并且处理进入步骤S505。
在步骤S505中，系统控制单元50控制数字输出I/F 90以从连接线缆302发送扩展显示标识数据(EDID)请求信号。所发送的EDID请求信号通过连接线缆302的EDID信号线(未示出)被发送至外部装置300。外部装置300接收到该EDID请求信号，并且处理进入步骤S506。
在步骤S506中，外部装置300从连接线缆302的EDID信号线(未示出)发送EDID。数字照相机100的数字输出I/F 90经由连接线缆302接收到EDID。然后，如果数字输出I/F 90接收到EDID，则数字输出I/F 90向系统控制单元50通知EDID接收。
在步骤S507中，通过接收到EDID接收的通知，系统控制单元50指示数字输出I/F90将在步骤S506中接收到的EDID复制到存储器32中。在复制完成之后，系统控制单元50分析加载到存储器32上的EDID，并进行用于判断外部装置300可接收的视频信号的能力判断处理，并且处理进入步骤S508。
在步骤S508中，在主体设置指示HDR有效、并且在步骤S507中判断出的与外部装置300可接收的视频信号有关的能力指示支持HDR信号的情况下，系统控制单元50判断为向外部装置300输出HDR信号。在其它情况下，系统控制单元50判断为输出SDR信号，并且处理进入步骤S509。
在步骤S509中，系统控制单元50指示数字输出I/F 90开始发送在步骤S508中判断出的HDR或SDR视频信号。接收到视频信号发送开始指示的数字输出I/F 90通过连接线缆302开始视频信号的发送，并且处理进入步骤S510。
在步骤S510中，数字照相机100将视频信号输出至连接线缆302的转换最小化差分信号(TMDS)信号线(未示出)。外部装置300经由连接线缆302的TMDS信号线(未示出)接收到视频信号，并且处理进入步骤S511。
在步骤S511中，外部装置300分析在步骤S508中接收到的视频信号，并且将显示器301的驱动切换到可以显示视频信号的设置，并且处理进入步骤S512。在步骤S512中，外部装置300将在步骤S508中接收到的视频信号显示在外部装置300的显示器301上。
图5B是示出将数字照相机100和外部装置300的视频输出从SDR图像切换到HDR图像的处理的序列图。
在该序列中，数字照相机100和外部装置300之间的连接已在参考图5A所述的序列中完成。
在步骤S521中，系统控制单元50指示数字输出I/F 90发送SDR视频信号，并且处理进入步骤S522。
在步骤S522中，数字照相机100将SDR视频信号输出至连接线缆302的TMDS信号线(未示出)。外部装置300经由连接线缆302的TMDS信号线(未示出)接收到SDR视频信号，并且处理进入步骤S523。
在步骤S523中，外部装置300将在步骤S522中接收到的SDR视频显示在外部装置300的显示器301上。
在数字照相机100正在输出SDR信号时，通过重复步骤S521至S523，在外部装置300的显示器301上显示SDR图像。
在数字照相机100将向外部装置300的视频输出从SDR图像切换到HDR图像的情况下，执行步骤S524和后续步骤中的处理。
在步骤S524，系统控制单元50指示数字输出I/F 90停止SDR视频信号的发送，并且处理进入步骤S525。
在步骤S525中，系统控制单元50停止向连接线缆302的TMDS信号线(未示出)发送视频信号。外部装置300经由连接线缆302的TMDS信号线(未示出)停止SDR视频信号的接收，并且处理进入步骤S526。
在步骤S526中，由于停止了从数字照相机100接收视频，因此外部装置300停止在外部装置300的显示器301上显示视频。
在步骤S527中，系统控制单元50指示数字输出I/F 90发送HDR视频信号，并且处理进入步骤S528。
在步骤S528中，系统控制单元50将HDR视频信号输出至连接线缆302的TMDS信号线(未示出)。外部装置300经由连接线缆302的TMDS信号线(未示出)接收到HDR视频信号，并且处理进入步骤S529。
在步骤S529中，外部装置300分析在步骤S528中接收到的视频信号，并且将显示器301的驱动切换到可以显示HDR视频信号的设置，并且处理进入步骤S530。
在步骤S530中，外部装置300将在步骤S528中接收到的HDR视频信号显示在外部装置300的显示器301上。
此时，从步骤S529到步骤S530的处理所需的时间根据外部装置300的性能而变化，并且需要约1秒到5秒的时间，直到显示视频为止。
图5C是示出将数字照相机100和外部装置300的视频输出从HDR图像切换到SDR图像的处理的序列图。
在该序列中，数字照相机100和外部装置300之间的连接已在参考图5A所述的序列中完成。
在步骤S541中，系统控制单元50指示数字输出I/F 90发送HDR视频信号，并且处理进入步骤S542。在步骤S542中，系统控制单元50将HDR视频信号输出至连接线缆302的TMDS信号线(未示出)。外部装置300经由连接线缆302的TMDS信号线(未示出)接收到HDR视频信号，并且处理进入步骤S523。
在步骤S543中，外部装置300将在步骤S542中接收到的HDR视频显示在外部装置300的显示器301上。
在数字照相机100正在输出HDR信号的同时，通过重复步骤S541至S543，将HDR图像显示在外部装置300的显示器301上。
在数字照相机100将向外部装置300的视频输出从HDR图像切换到HDR图像的情况下，执行步骤S544和后续步骤中的处理。
在步骤S544中，系统控制单元50指示数字输出I/F 90停止HDR视频信号的发送，并且处理进入步骤S545。在步骤S545中，系统控制单元50停止向连接线缆302的TMDS信号线(未示出)发送视频信号。外部装置300经由连接线缆302的TMDS信号线(未示出)停止HDR视频信号的接收，并且处理进入步骤S546。
在步骤S546中，由于停止了从数字照相机100接收视频，因此外部装置300停止在外部装置300的显示器301上显示视频。
在步骤S547中，系统控制单元50指示数字输出I/F 90发送SDR视频信号，并且处理进入步骤S548。
在步骤S548中，系统控制单元50向连接线缆302的TMDS信号线(未示出)输出SDR视频信号。外部装置300经由连接线缆302的TMDS信号线(未示出)接收到SDR视频信号，并且处理进入步骤S549。
在步骤S549中，外部装置300分析在步骤S548中接收到的视频信号，并且将显示器301的驱动切换到可以显示SDR视频信号的设置，并且处理进入步骤S550。在步骤S550中，外部装置300将在步骤S548中接收到的SDR视频信号显示在外部装置300的显示器301上。
从步骤S549到步骤S550的处理所需的时间根据外部装置300的性能而变化，并且需要约1秒到5秒的时间，直到显示视频为止。
图6A和6B是示出图4A1至4A3的步骤S411和S427中的摄像菜单处理的详情的流程图。通过系统控制单元50将非易失性存储器56中所记录的程序加载到系统存储器52上并执行该程序来实现该处理。
在步骤S601中，系统控制单元50基于用户是否使HDR摄像模式有效来判断是否进行HDR摄像。在系统控制单元50判断为不进行HDR摄像的情况下(步骤S601中为“否”)，处理进入步骤S602。在步骤S602中，显示正常SDR摄像所用的菜单。在系统控制单元50判断为进行HDR摄像的情况下(步骤S601中为“是”)，处理进入步骤S603。在S603中，显示HDR摄像所用的菜单。在该步骤S603中，将不连同HDR摄像一起使用的功能以无效状态(诸如灰化状态等)显示在菜单上。
在步骤S604中，系统控制单元50判断用户是否选择了指示是否进行HDR摄像的设置项。在判断为选择了该设置项的情况下(步骤S604中为“是”)，系统控制单元50使处理进入步骤S605。在判断为未选择该设置项的情况下(步骤S604中为“否”)，系统控制单元50使处理进入步骤S610。在步骤S605中，系统控制单元50判断用户是否已将指示是否进行HDR摄像的设置切换到有效状态。在判断为该设置已切换到有效状态的情况下(步骤S605中为“是”)，系统控制单元50使处理进入步骤S606。在判断为该设置未被切换到有效状态的情况下(步骤S605中为“否”)，系统控制单元50使处理进入步骤S607。在步骤S606中，系统控制单元50将指示是否进行HDR摄像的设置改变为有效状态，并将设置值存储到系统存储器52中。
当指示是否进行HDR摄像的设置被设置为有效状态时，在步骤S607中，系统控制单元50判断用户是否将HDR辅助显示设置切换成改变。在判断为HDR辅助显示设置已被切换成改变的情况下(步骤S607中为“是”)，处理进入步骤S608。在判断为HDR辅助显示设置未被切换成改变的情况下(步骤S607中为“否”)，处理进入步骤S609。当指示是否进行HDR摄像的设置无效时，期望HDR辅助显示设置不可改变。
在步骤S608中，系统控制单元50将设置改变为指示是否进行摄像时的HDR辅助显示设置的设置，并将设置值存储到系统存储器52中。可能存在“进行”HDR辅助显示设置的两个或更多个变形。
以这种方式，在菜单画面上改变HDR摄像设置或HDR辅助显示设置的情况下，显示设置的改变结果可以在画面转变为实时取景画面的定时反映在显示中。在代替菜单画面而在实时取景画面上使用操作单元70的特定按钮来改变这些设置的情况下，改变结果可以在改变定时(按下该按钮的定时)反映在显示中。
在步骤S609中，系统控制单元50判断用户是否发出了HDR设置菜单显示处理的结束指示。在判断为发出了结束指示的情况下(步骤S609中为“是”)，系统控制单元50使处理进入步骤S610。
在步骤S610中，系统控制单元50判断用户是否选择了静止图像记录图像质量的设置项。在系统控制单元50判断为选择了该设置项的情况下(步骤S610中为“是”)，处理进入步骤S611。在系统控制单元50判断为未选择该设置项的情况下(步骤S610中为“否”)，处理进入步骤S651。
在步骤S611中，系统控制单元50判断指示用户是否输入了HDR摄像指示的设置。在系统控制单元50判断为输入了HDR摄像的指示的情况下(步骤S611中为“是”)，处理进入步骤S612。在系统控制单元50判断为未输入HDR摄像的指示的情况下(步骤S611中为“否”)，处理进入步骤S614。
在步骤S612中，系统控制单元50进行HDR摄像所用的画面显示。在步骤S613中，系统控制单元50接收HDR摄像所用的记录图像质量的用户选择。作为针对HDR摄像所要设置的记录图像质量，准备RAW图像文件、HDR静止图像文件、以及包括RAW图像文件+HDR静止图像文件的两个图像的同时输出作为文件格式。图像大小包括接近传感器读出时的像素数的大(Large)、稍小的中(Middle)和更小的小(Small)。此外，用于减小文件大小容量的用于对图像进行压缩的压缩率包括高图像质量(低压缩率)、标准(高压缩率)和低图像质量(高压缩率)。
在步骤S614中，系统控制单元50进行SDR摄像所用的画面显示。在步骤S615中，系统控制单元50接收SDR摄像所用的记录图像质量的用户选择。作为针对SDR摄像所要设置的记录图像质量，准备与HDR摄像的选项类似的选项。
在步骤S651中，系统控制单元50判断用户是否选择了运动图像记录图像质量的设置项。在系统控制单元50判断为选择了运动图像记录图像质量的设置项的情况下(步骤S651中为“是”)，处理进入步骤S652。在系统控制单元50判断为没有选择运动图像记录图像质量的设置项的情况下(步骤S651中为“否”)，处理进入步骤S657。
在步骤S652中，系统控制单元50判断用户是否进行了指示是否进行HDR摄像的设置。在该设置指示要进行HDR摄像的情况下(步骤S652中为“是”)，系统控制单元50使处理进入步骤S653。在该设置不指示要进行HDR摄像的情况下(步骤S652中为“否”)，系统控制单元50使处理进入步骤S655。
在步骤S653中，系统控制单元50进行HDR摄像所用的画面显示。在步骤S654中，系统控制单元50接收HDR摄像所用的记录图像质量的用户选择。作为针对HDR摄像所要设置的记录图像质量，准备RAW运动图像、RAW运动图像+代理运动图像、HDR运动图像文件、以及包括RAW运动图像+代理运动图像+HDR运动图像文件的三个图像的同时输出作为文件格式。图像大小包括8K、4K、全HD、HD和VGA。此外，用于减小文件大小的压缩率包括诸如ALL-I等的高图像质量(低压缩率)、以及诸如IPB等的标准到低图像质量(高压缩率)。除此之外，还进行帧速率的选择以及诸如NTSC/PAL等的广播方式的选择。
在步骤S655中，类似于步骤S653，系统控制单元50进行SDR摄像所用的画面显示。在步骤S656中，系统控制单元50接收SDR摄像所用的记录图像质量的用户选择。作为针对SDR摄像所要设置的记录图像质量，准备与HDR摄像的选项类似的选项。
在步骤S657中，系统控制单元50判断用户是否选择了HDR输出的设置项。在判断为用户选择了HDR输出的设置项的情况下(步骤S657中为“是”)，系统控制单元50使处理进入步骤S658。在判断为用户未选择该设置项的情况下(步骤S657中为“否”)，系统控制单元50使处理进入步骤S660。在步骤S658中，系统控制单元50判断用户是否已将HDR输出设置切换到有效状态。在判断为该设置已切换到有效状态的情况下(步骤S658中为“是”)，处理进入步骤S659。在判断为该设置未切换到有效状态的情况下(步骤S658中为“否”)，处理进入步骤S660。在步骤S659中，系统控制单元50将HDR输出设置改变为有效状态，并将设置值存储到系统存储器52中。
在步骤S660中，系统控制单元50判断用户是否选择了再现查看辅助的设置项。在判断为选择了再现查看辅助的设置项的情况下(步骤S660中为“是”)，系统控制单元50使处理进入步骤S661。在判断为未选择该设置项的情况下(步骤S660中为“否”)，系统控制单元50使处理进入步骤S663。在步骤S661中，系统控制单元50判断用户是否已将再现查看辅助设置切换到有效状态。在判断为该设置已切换到有效状态的情况下(步骤S661中为“是”)，处理进入步骤S662。在判断为该设置未切换到有效状态的情况下(步骤S661中为“否”)，处理进入步骤S663。在步骤S662中，系统控制单元50将再现查看辅助设置改变为有效状态，并将设置值存储到系统存储器52中。
在步骤S663中，系统控制单元50判断用户是否选择了传送时的SDR转换的设置项。在判断为选择了该设置项的情况下(步骤S663中为“是”)，系统控制单元50使处理进入步骤S664。在判断为未选择该设置项的情况下(步骤S663中为“否”)，系统控制单元50使处理进入步骤S665。在步骤S664中，系统控制单元50判断用户是否已将传送设置时的SDR转换切换到有效状态。在判断为该设置已切换为有效状态的情况下，在步骤S664中，系统控制单元50将传送设置时的SDR转换改变为有效状态，并使处理进入步骤S665。
在步骤S665中，系统控制单元50判断用户是否选择了与HDR摄像相关的另一设置项。在判断为选择了另一设置项的情况下(步骤S665中为“是”)，处理进入步骤S666。在判断为未选择另一设置项的情况下(步骤S665中为“否”)，处理进入步骤S667。在步骤S666中，系统控制单元50将另一处理改变为有效状态，并使处理进入步骤S667。
在步骤S667中，系统控制单元50判断用户是否发出了摄像菜单处理的结束指示。在判断为未发出结束指示的情况下(步骤S667中为“否”)，处理返回到步骤S660。在判断为发出了结束指示的情况下(步骤S667中为“是”)，处理结束。
图7是示出系统控制单元50所进行的HDR摄像处理的详情的流程图。图7示出使用图像处理单元24对写入存储器32中的RAW数据进行HDR显像的过程。
诸如数字照相机或数字摄像机等的摄像设备包括根据摄像时使用的光源来校正拍摄图像的色调的白平衡功能。白平衡功能是如下的功能：校正根据光源(诸如晴朗天气或多云天气等的自然光源、或者诸如荧光灯或白炽灯等的人工光源)而变化的色调的差异，并且不论光源如何都使白度均匀的功能。在步骤S701至S703中，计算白平衡处理所需的白平衡系数。在本典型实施例中，为了尽可能地避免诸如天空等的高亮度区域的灰度发生高光溢出，以比人的亮度变得适当的恰当曝光低的曝光进行摄像。
首先，在步骤S701中，系统控制单元50经由存储器控制单元15获取RAW图像数据。
在步骤S702中，系统控制单元50对为了计算白平衡系数所获取到的RAW图像数据进行判断发白的像素的白搜索框内判断处理。
在步骤S703中，系统控制单元50基于白搜索框内判断结果来计算白平衡系数。
将参考图12的流程图来说明步骤S702和S703中的处理的详情。
如上所述，在RAW图像数据中，一个像素仅包括R、G和B中的一个分量的信号。为了进行白搜索，系统控制单元50需要将信号转换成颜色信号。因此，在步骤S1201中，系统控制单元50进行DeBayer(去拜耳)处理，并针对一个像素生成R、G和B的所有通道的信号。DeBayer有数种方法。例如，可以通过使用低通滤波器的线性插值来生成信号。由于RAW图像数据通常受噪声影响，因此光学黑(OB)不是零并且具有值。因此，在步骤S1202中，系统控制单元50进行从经过了DeBayer的信号中减去与OB相对应的值的处理。然后，在步骤S1203中，系统控制单元50使用以下公式来根据所获取到的RGB信号计算颜色信号Cx和Cy。
[数学式1]
在该公式中，G1和G2表示采用拜耳阵列的2×2像素中的两个G分量值。另外，Cx表示色温，并且Cy表示绿色方向校正量。此外，Yi表示亮度值。
图13示出Cx-Cy平面。如图13所示，通过在从高色温(例如，白天等)到低色温(例如，黄昏等)的各种色温下使用摄像设备初步拍摄白色的图像、并在坐标上标绘颜色评价值Cx、Cy，可以定义用作用于检测白色的基准的白色轴1200。在实际光源中，白色包含轻微的变化。因此，在步骤S1204中，系统控制单元50在白轴1200的两侧提供一定程度的范围。包括在白轴的两侧设置的范围的框将被称为白搜索框1201。
在步骤S1205中，系统控制单元50针对经过了DeBayer的各像素在Cx-Cy坐标系上标绘颜色评价值，并且判断值是否落在白搜索框内。在步骤S1206中，系统控制单元50在落在白搜索框内的像素中进行在亮度方向上限制要积分的像素的明/暗部排除处理。该处理是为了防止由于太暗的颜色易受噪声影响而导致白平衡系数的计算精度下降所进行的。类似地，该处理是为了防止由以下原因引起的白平衡系数的计算精度下降而进行的：由于任何通道的传感器饱和而丢失R/G比或B/G比的平衡，导致太明亮的颜色远离正确颜色。此时，通过明/暗部排除处理所要排除的像素的亮度在SDR和HDR之间改变。换句话说，以下将说明的白平衡系数的计算所要使用的像素在SDR和HDR之间改变。这是由于与SDR相比，HDR具有更高的高亮度区域的再现性。在本典型实施例中，通过在SDR中在亮度侧以直至+1EV的亮度为对象的同时、在HDR中以直至+2EV的亮度为对象，例如，可以计算针对HDR而优化的白平衡系数。
在步骤S1207中，系统控制单元50根据落在白搜索框内且经过了明/暗部排除处理的Cx、Cy来计算颜色评价值的积分值SumR、SumG和SumB。然后，在步骤S1208中，系统控制单元50使用以下的公式来根据所计算出的积分值计算白平衡系数WBCoR、WBCoG和WBCoB。
[数学式2]
/>
在以上的公式中，由于一个颜色分量具有10位精度，因此在右边提供“1024”。
作为白平衡系数，可以计算由用户设置的摄像模式(SDR摄像或HDR摄像)所用的值，或者可以计算SDR和HDR这两者所用的值。
说明将返回到图7。在步骤S704至S706中，系统控制单元50计算灰度校正处理所需的灰度校正表。将参考图14的流程图来说明灰度校正的详情。
在步骤S1221中，系统控制单元50使用在图7的步骤S701至S703的处理中生成的WB系数来进行WB处理。在步骤S1222中，系统控制单元50进行直方图检测。具体地，系统控制单元50使用通过将在步骤S1221中获得的白平衡的增益值应用于整个图像数据、并进一步进行伽马校正处理而获得的像素值，来创建直方图作为亮度信息。使用查找表的已知方法可用于伽马校正处理。期望使用与在显像中使用的伽马特性相同的伽马特性。然而，为了节省处理时间或存储器容量，可以使用诸如使用线图近似的伽马特性等的简化的伽马特性。图像的边缘部分在许多情况下通常不重要，并且根据摄像镜头是受边缘处的光衰减影响的部分。因此，可以排除周边部分的像素来创建直方图。
在步骤S1223中，系统控制单元50进行面部检测预处理。该处理是以可以容易地检测到面部的方式对图像数据进行缩小处理或伽马处理的处理。在步骤S1224中，系统控制单元50使用已知的方法来对预处理后的图像数据执行面部检测处理。通过面部检测处理，获得被视为面部的区域(面部区域)的位置和大小、以及检测的可靠度。
在步骤S1225中，系统控制单元50计算用于补偿曝光校正量(减少量)的灰度校正量(灰度校正量(A))作为第一灰度校正量。此时，在校正图像的暗部以获得恰当曝光时，不校正处于等于或高于预定义的亮度水平的水平的高亮度像素(至少不完全补偿曝光校正量)，并且计算输入-输出特性的灰度校正量。这可以进一步防止经过了灰度校正的明部的高光溢出。可以预先准备灰度校正量作为与曝光校正量相对应的多个校正表。
在步骤S1226中，在通过步骤S1224中的面部检测处理所检测到的面部区域包括可靠度高于预设评价阈值的面部区域的情况下，系统控制单元50判断为检测到面部。在系统控制单元50判断为检测到面部的情况下(步骤S1226中为“是”)，处理进入步骤S1227。在系统控制单元50判断为没有检测到面部的情况下(步骤S1226中为“否”)，处理进入步骤S1231。
在步骤S1227中，系统控制单元50计算所检测到的面部区域的部分区域作为面部亮度获取区域。面部亮度获取区域是用于获取面部的明亮部分的亮度的区域。没有特别限制亮度获取区域的数量和位置。在步骤S1228中，系统控制单元50获得在各个面部亮度获取区域中所包括的R像素的平均值、G像素的平均值和B像素的平均值。此外，系统控制单元50以与直方图检测类似的方式对RGB像素的各平均值应用白平衡的增益值，进行伽马校正，然后使用以下公式将如此得到的值转换成亮度值Y。
Y＝0.299×R+0.587×G+0.114×B
作为在直方图检测和面部检测中要应用的白平衡的增益值，期望使用在对相同图像数据进行的WB处理中使用的增益值。理想上期望使用与在显像中使用的亮度伽马相同的亮度伽马，但可以使用诸如利用线图近似的伽马特性等的简化的伽马特性以节省处理时间或存储器容量。
在步骤S1229中，系统控制单元50将在步骤S1228中针对各个面部亮度区域所获得的亮度值转换成在恰当曝光时预期要获得的值。该处理是如下的处理：由于图像数据是以比恰当曝光低的曝光获得的，因此将所检测到的面部亮度校正为低于在以恰当曝光进行摄像的情况下获得的面部亮度。可以以曝光控制补偿所确定的曝光校正量(减少量)的方式进行亮度值的转换，或者可以使用在步骤S1225中计算出的灰度校正量来进行亮度值的转换。
在步骤S1230中，系统控制单元50计算所检测到的面部亮度的代表值。作为计算代表值的方法的示例，可以考虑如下的方法：获得所检测到的面部区域的面部亮度获取区域的各个亮度值的最大值，并将该最大值设置为代表值。
步骤S1231的处理是在步骤S1226中系统控制单元50判断为未检测到面部区域的情况下(步骤S1226中为“否”)要进行的处理。在步骤S1231中，系统控制单元50检测直方图特征量。直方图特征量例如可以是直方图中从暗部侧起累积频率为1％的像素所属的水平(SD)、或直方图中从明部侧起累积频率为1％的像素所属的水平(HL)。随后，在步骤S1232中，系统控制单元50将在步骤S1231中计算出的直方图特征量转换成在以恰当曝光的摄像中预期要获得的值。该处理是如下的处理：由于图像数据是以比恰当曝光低的曝光获得的，因此将所检测到的直方图特征量校正为低于在以恰当曝光进行摄像的情况下获得的直方图特征量。可以以曝光控制补偿所确定的曝光校正量(减少量)的方式进行亮度值的转换，或者可以使用在步骤S1225中计算出的灰度校正量来进行亮度值的转换。
在步骤S1233中，系统控制单元50计算目标校正量。系统控制单元50获得针对面部的代表亮度值或者直方图特征量的目标亮度水平。然后，系统控制单元50根据目标亮度水平以及图像数据中的亮度的最小值和最大值，通过样条插值，创建定义与输入亮度水平相对应的输出亮度水平的查找表(输入-输出特性)作为灰度校正量(B)。灰度校正量(B)是第二灰度校正量。
HDR中的目标灰度校正量可以不同于SDR中的目标灰度校正量。例如，图16A示出SDR中的外观的示例，并且16B示出HDR中的外观的示例。在这两个示例中，被摄体(人物)的亮度值是相同的值。然而，当在SDR中背景的亮度值最高达到100cd/m2的上限时，在HDR中亮度值变为超过100cd/m2的值。因此，即使被摄体的亮度值相同，HDR图像有时也看起来更暗。这被称为亮度对比度，并且是归因于人类的视觉特性的现象。例如，在图16A和16B中被摄体的亮度相同，但被摄体的亮度和背景的亮度之间的差在图16B中比在图16A中更大。在这种情况下，用户感觉到图16B中的被摄体比图16A中的被摄体更暗。换句话说，由于在HDR中可以将诸如天空等的高亮度区域表现得更明亮，因此HDR中的被摄体与SDR中的被摄体相比看起来更暗的可能性高。因此，在本典型实施例中，尽管在SDR的情况下使用如图15A所示的灰度特性，但通过在HDR的情况下使用如图15B所示的灰度特性来应用与图15A相比在更大程度上提升暗部的灰度校正量，可以获得期望的外观结果。作为灰度校正的示例，在本典型实施例中说明了用于补偿曝光不足的校正，但也可以在用于图片创建的亮度校正中进行类似的灰度校正。
可以将针对面部的代表亮度值或图像数据的直方图特征量的目标亮度水平设置为从经验上认为是可取的固定值，但可以根据代表亮度值或直方图特征量的值来设置不同的目标亮度水平。在这种情况下，针对要设置目标亮度水平的各参数(代表亮度值或直方图特征量)准备定义目标亮度水平相对于输入水平的关系的查找表，这就足够了。
用于将参数转换成以这种方式定义的目标亮度水平的校正特性是使用诸如样条插值等的方法获得的，并且根据需要被存储为要应用灰度校正量(B)的查找表(或关系表达式)。
在步骤S1234中，系统控制单元50将在步骤S1225中计算出的灰度校正量(A)和在步骤S1233中计算出的灰度校正量(B)进行合成。系统控制单元50例如通过首先将灰度校正量(A)应用于各输入亮度水平然后将灰度校正量(B)应用于校正后的亮度水平以获得结果亮度值，来创建与各输入亮度水平相对应的输出亮度水平的查找表。
在步骤S1235中，系统控制单元50进行对在步骤S1234中获得的合成校正量(合成灰度校正量)的上限值施加限制的处理(限制器处理)。通过将灰度校正量(A)和灰度校正量(B)进行合成，校正量变得更大，并且在校正后的图像中噪声量变得更有可能突出。因此，对整个校正量施加限制。可以通过准备在各亮度值中允许的最大校正量作为表、并用与最大校正量相对应的输出水平替代在步骤S1234中创建的查找表内的值中的超过最大校正量的输出水平，来实现限制器处理。作为灰度校正量，可以计算由用户设置的摄像模式(SDR摄像或HDR摄像)所用的值，或者可以计算SDR和HDR这两者所用的值。
说明将返回到图7。在步骤S707中，系统控制单元50使用所计算出的白平衡系数、灰度校正参数和各种HDR校正参数来对图像进行显像。使用颜色矩阵、照相机OETF曲线数据、颜色调整参数、降噪参数和锐度参数作为其它显像参数来生成HDR显像图像。作为照相机OETF(伽马曲线)，例如，假定ITU-R推荐BT.2100的感知量化(PQ)的电光传递函数(EOTF)的逆特性，但可以组合照相机设置作为光-光传递函数(OOTF)。可选地，可以类似地使用ITU-R推荐BT.2100的混合对数型伽马(HLG)的OETF。
在步骤S708中，系统控制单元50通过对在步骤S707中显像后的图像调整大小来生成多图片格式(MPF)图像作为诸如两画面比较图像等的简化显示所用的图像，并且以HEVC格式进行压缩编码。
在步骤S709中，系统控制单元50通过进一步对在步骤S708中生成的MPF图像调整大小来生成索引显示所要使用的缩略图图像，并且对该缩略图图像进行压缩。
在步骤S710中，系统控制单元50将在步骤S707中显像后的HDR图像作为主图像进行压缩。可以考虑各种压缩方法。例如，可以按照H.265(ISO/IEC23008-2HEVC)对10位的YUV422数据进行压缩。
在步骤S711中，系统控制单元50判断用户所设置的记录图像质量设置。在系统控制单元50判断为该设置是仅记录RAW图像的设置的情况下(步骤S711中为“RAW”)，处理进入步骤S712。在系统控制单元50判断为该设置是仅记录HDR图像的设置的情况下(步骤S711中为“HDR”)，处理进入步骤S713。在系统控制单元50判断为该设置是记录RAW图像和HDR图像的设置的情况下(步骤S711中为“RAW+HDR”)，处理进入步骤S714。
在步骤S712中，系统控制单元50在对RAW图像进行压缩并添加头部之后，将该RAW图像作为具有如图8A所示的结构的RAW图像文件经由记录介质I/F 18记录在记录介质200上。可以考虑数个压缩方法。使用作为无劣化的可逆压缩的无损压缩或者作为不可逆压缩但可以减小文件大小的有损压缩，这就足够了。另外，将在步骤S1205中获得的白平衡的白搜索框内判断结果、在步骤S704中获得的直方图和在步骤S705中获得的面部检测结果作为检测元数据记录在头部中。此时检测到的白搜索框内判断结果是在进行步骤S1206中的亮/暗部排除处理之前获得的判断结果。因此，在HDR摄像和SDR摄像中都记录相同的判断结果。在用户设置了HDR摄像模式的情况下，如图8C所示，诸如在图12中获得的白平衡系数和在图14中获得的灰度校正量等的HDR显像参数、以及在步骤S708中从HDR显像的图像数据生成的且以HEVC格式转换后的显示用MPF图像也一起被记录为元数据。如上所述，这些数据在HDR摄像和SDR摄像之间在内容上变化。在SDR摄像的情况下，记录在使用上述的白搜索框内判断和灰度特性的情况下设置的SDR显像参数。即使在HDR摄像的情况下，也可以通过对SDR进行步骤S702至S706中的处理来生成SDR显像参数，并且可以记录HDR显像参数和SDR显像参数这两者。由于生成HDR显像参数和SDR显像参数这两者涉及大的处理负荷，因此在诸如单次摄像时等的处理负荷具有相对较宽的余裕时可以进行这样的生成，并且在连续摄像时可以避免这样的生成。
当诸如单次摄像时等的处理负荷具有余裕时，除显示用HDR图像以外，可以使用SDR显像参数来创建具有SDR图像质量的主图像、MPF图像和缩略图图像，并且可以将显示用HDR图像和显示用SDR图像记录在同一文件中(图8D)。
当要显示缩略图时，由于该图像较小，因此可以识别出图像的概览，这就足够了。因此，可以使用SDR显像的图像仅创建在步骤S709中要创建的缩略图图像并存储该缩略图图像(图8E)。通过采用这样的配置，不支持作为HDR所用的压缩方法的H.265的解码的显示设备或PC可以仅显示缩略图图像。
在步骤S713中，系统控制单元50以HEVC格式进行所显像的HDR图像的压缩编码，添加静态元数据或动态元数据，并将如此得到的图像作为采用HEIF格式的HEIF文件经由记录介质I/F 18记录在记录介质200上。静态元数据包括符合CEA-861.3的显示器的三个原色、以及白色点的x和y坐标、以及主显示的最大亮度值、最小亮度值、内容最大亮度值(最大内容光水平)和帧平均亮度水平(最大帧平均光水平)。动态元数据包括在SMPTE ST 2094中定义的颜色体积转换的动态色调映射的元数据。期望深度等于或大于10位以使用PQ信号来表示HDR特性，但由于传统JPEG格式中的深度是8位，因此需要新采用静止图像HDR所用的容器。使用作为由运动图像专家组(MPEG)开发并在MPEG-H第12部分(ISO/IEC 23008-12)中定义的图像文件格式的HEIF的容器。HEIF具有这样的特征：不仅主图像，而且缩略图、多个时间相关图像、以及诸如可交换图像文件格式(EXIF)图像或可扩展元数据平台(XMP)等的元数据也可以存储在一个文件中。因此，也可以存储通过HEVC编码的10位的图像序列。因此，HEIF对于许多场合都是有用的。
在步骤S714和S715中，通过顺次进行步骤S712的处理和步骤S713的处理来记录RAW图像和HDR图像这两者。上述处理可以在摄像时作为一系列序列来进行，或者可以通过初步记录RAW图像并且之后基于用户操作进行显像处理来生成HDR图像或SDR图像。可选地，诸如PC等的外部设备可以取入上述RAW图像，进行显像处理，并且类似地生成HDR图像或SDR图像。
随后，图8A示出在上述记录处理中记录到记录介质200上的静止图像RAW图像数据的文件结构。以下举例说明的文件格式是在ISO/IEC14496-12中定义的ISO基媒体文件格式。因此，该文件格式具有树结构，并包括被称为盒(box)的各节点。各盒可以包括多个盒作为子元素。
图像数据801在开头包括用于描述文件类型的盒ftyp 802、包括所有元数据的盒moov 803、轨的媒体数据主体的盒mdat 808、以及其它的盒807。上述的盒moov 803包括存储MetaData(元数据)805的盒uuid 804和存储用于参考ImageData的信息的trak盒806作为子元素。在MetaData 805中，描述图像的元数据。例如，MetaData 805包括图像创建日期和时间、摄像条件、指示进行了HDR和SDR摄像中的哪个摄像的信息、上述的检测元数据、以及其它摄像信息。上述的盒mdat 808包括作为通过摄像所获得的静止图像数据的ImageData809作为子元素。
ImageData 809中所记录的图像数据在以SDR拍摄到的RAW图像和以HDR拍摄到的RAW图像之间变化。
图8B示出以SDR拍摄到的RAW图像中所记录的ImageData 809。这种情况下的ImageData 809包括以SDR图像质量显像并通过JPEG压缩的THM图像821、MPF图像822、主图像823、RAW图像824和RAW显像参数825。各SDR图像质量图像是一个颜色分量具有8位(256灰度)的图像。图8B的RAW显像参数825至少包括SDR显像所用的显像参数。
图8C示出当以HDR进行摄像时、在仅包括HDR图像作为显示用图像的RAW图像中所记录的ImageData 809。这种情况下的ImageData 809包括以HDR图像质量显像并通过HEVC压缩的THM图像826、MPF图像827、主图像828、RAW图像824和RAW显像参数825。各HDR图像质量图像是一个颜色分量具有10位(1024灰度)的图像。图8C、8D和8E中的RAW显像参数825至少包括HDR显像所用的显像参数。
图8D示出当以HDR进行摄像时、在包括HDR图像和SDR图像这两者作为显示用图像的RAW图像中所记录的ImageData 809。这种情况下的ImageData 809包括以SDR图像质量显像并通过JPEG压缩的THM图像821、MPF图像822、主图像823、以HDR图像质量显像并通过HEVC压缩的THM图像826、MPF图像827、主图像828、RAW图像824和RAW显像参数825。
图8E示出当以HDR进行摄像时、在仅包括THM图像作为SDR图像并且包括MPF图像和主图像作为显示用HDR图像的RAW图像中所记录的ImageData 809。这种情况下的ImageData809包括以SDR图像质量显像并通过JPEG压缩的THM图像821、以HDR图像质量显像并通过HEVC压缩的MPF图像827、主图像828和RAW图像824、以及RAW显像参数825。
在该示例中例示的文件格式是典型实施例其中之一，并且可以根据需要包括另一盒。此外，显示用图像可以包括在moov 803内的盒或者另一盒807中。
通过具有上述文件格式，将SDR图像所用的显像参数记录在作为SDR图像所拍摄的RAW图像的RAW图像文件中，并且将HDR图像所用的显像参数记录在作为HDR图像所摄像的RAW图像的RAW图像文件中。通过该配置，即使在随后对RAW图像进行显像的情况下，也可以使用反映在摄像时进行的设置的显像参数来进行显像。例如，进行RAW显像的设备(其可以是数字照相机100或诸如PC等的另一设备)通过参考RAW图像中的MetaData 805来判断RAW图像是作为HDR图像还是SDR图像所拍摄到的。然后，在判断为RAW图像是作为HDR图像所拍摄到的情况下，使用该文件中所包括的HDR图像所用的显像参数来将RAW图像显像为HDR图像。此外，在判断为RAW图像是作为SDR图像所拍摄到的情况下，使用该文件中所包括的SDR图像所用的显像参数来将RAW图像显像为SDR图像。为了能够进行这样的处理，根据本典型实施例的数字照相机100将SDR图像所用的显像参数记录在作为SDR图像所拍摄到的RAW图像的RAW图像文件中，并且将HDR图像所用的显像参数记录在作为HDR图像所拍摄到的RAW图像的RAW图像文件中。进行RAW显像的设备仅需要记录使用上述的HEIF的容器所显像的静止图像HDR图像。
此外，由于在HDR摄像和SDR摄像中都将相同的判断结果记录为检测元数据，因此使用所记录的检测数据，即使在HDR摄像模式中拍摄到的RAW图像的RAW图像文件也可被显像为SDR图像。因此，即使仅支持SDR图像的设备也可以适当地显示在HDR摄像模式中拍摄到的RAW图像的RAW图像文件。
图9A是示出系统控制单元50使用显示单元28所要进行的再现模式处理的详情的流程图。通过系统控制单元50将非易失性存储器56中所记录的程序加载到系统存储器52上并执行该程序来实现该处理。
在步骤S901中，系统控制单元50判断要进行索引再现还是要进行正常再现。在步骤S901中系统控制单元50判断为要进行索引再现的情况下(步骤S901中为“是”)，处理进入步骤S902。在该步骤S902中，系统控制单元50确定要再现的图像的数量。
在步骤S903中，系统控制单元50确定要再现的图像。然后，在步骤S904中，系统控制单元50进行要再现的图像的绘制处理。
在步骤S905中，系统控制单元50判断是否完成了要显示的所有图像的绘制。在判断为未完成绘制的情况下(步骤S905中为“否”)，处理返回到步骤S903，并继续绘制处理。在系统控制单元50判断为绘制已完成的情况下(步骤S905中为“是”)，处理进入步骤S906。在该步骤S906中，系统控制单元50进行向显示单元28输出图像的处理，并且结束显示处理。之后，系统控制单元50进行操作接收处理。
图9B是示出系统控制单元50使用显示单元28所要进行的再现模式处理中的绘制处理的详情的流程图。
在步骤S911中，系统控制单元50获取与要再现的图像有关的信息。在步骤S912中，系统控制单元50确定要再现的图像。在步骤S913中，系统控制单元50从记录介质200读出要再现的图像。在步骤S914中，系统控制单元50进行要再现的图像的展开处理。在步骤S915中，系统控制单元50从在步骤S914中经过了展开处理的图像数据收集各像素的数据。该图像数据例如对应于亮度信息，并且用于直方图处理或高光警告处理。
在步骤S916中，系统控制单元50判断要再现的图像是HDR图像还是HDR图像。在系统控制单元50判断为要再现的图像是HDR图像的情况下(步骤S916中为“是”)，处理进入步骤S917。在系统控制单元50判断为要再现的图像是SDR图像的情况下(步骤S916中为“否”)，处理进入步骤S920。在步骤S917中，系统控制单元50判断再现HDR辅助显示设置是否被设置为辅助1。在再现HDR辅助显示设置被设置为辅助1的情况下(步骤S917中为“是”)，处理进入步骤S918。在再现HDR辅助显示设置被设置为辅助2的情况下(步骤S917中为“否”)，处理进入步骤S919。在步骤S918中，系统控制单元50根据辅助1的设置来对在步骤S914中展开后的图像进行HDR→SDR转换处理。在步骤S919中，系统控制单元50根据辅助2的设置来对在步骤S914中展开后的图像进行HDR→SDR转换处理。
在步骤S920中，系统控制单元50进行在步骤S914中展开后的图像或者在步骤S918或S919中进行了SDR转换处理的图像向适合于显示单元28的大小的扩大/缩小处理。然后，在步骤S921中，系统控制单元50确定所生成的图像的布置，并结束绘制处理。
图9C至9H是示出系统控制单元50所要进行的要读取的图像的选择处理的详情的流程图。
在步骤S926中，系统控制单元50判断与所获取到的图像有关的信息，并判断所获取到的图像是否可再现。在判断为所获取到的图像可再现的情况下(步骤S926中为“是”)，处理进入步骤S927。在判断为所获取到的图像不可再现的情况下(步骤S926中为“否”)，处理进入步骤S936。
在步骤S927中，系统控制单元50判断要再现的图像是否是静止图像。在系统控制单元50判断为要再现的图像是静止图像的情况下(步骤S927中为“是”)，处理进入步骤S928。在系统控制单元50判断为要再现的图像不是静止图像的情况下(步骤S927中为“否”)，处理进入步骤S935。
在步骤S928中，系统控制单元50判断要再现的图像是否是RAW图像。在系统控制单元50判断为要再现的图像是RAW图像的情况下(步骤S928中为“是”)，处理进入步骤S929。在系统控制单元50判断为要再现的图像不是RAW图像的情况下(步骤S928中为“否”)，处理进入步骤S930。
在步骤S929中，系统控制单元50判断RAW图像是以HDR拍摄到的RAW图像还是以SDR拍摄到的RAW图像。系统控制单元50使用参考图8A已经说明的RAW文件中的元数据来进行该判断。在系统控制单元50判断为RAW图像是以HDR拍摄到的RAW图像的情况下(步骤S929中为“是”)，处理进入步骤S931。在系统控制单元50判断为RAW图像是以SDR拍摄到的RAW图像的情况下(步骤S929中为“否”)，处理进入步骤S932。
在步骤S930中，系统控制单元50判断被判断为不是RAW图像的静止图像是以HDR拍摄到的图像还是以SDR拍摄到的图像。在本典型实施例中，由于将以HDR拍摄到的图像记录为HEIF图像、并且将以SDR中拍摄到的图像记录为JPEG图像，因此通过判断静止图像是HEIF图像还是JPEG图像来判断静止图像是HDR图像还是SDR图像，但可以使用HEIF中的元数据来判断静止图像是HDR图像还是SDR图像。
在步骤S931中，系统控制单元50从以HDR拍摄到的RAW图像中选择再现时要使用的图像数据。在步骤S932中，系统控制单元50从以SDR拍摄到的RAW图像中选择再现时要使用的图像数据。在步骤S933中，系统控制单元50从HDR显像的静止图像中选择再现时要使用的图像数据。在步骤S934中，系统控制单元50从SDR显像的静止图像中选择再现时要使用的图像数据。在步骤S935中，系统控制单元50从运动图像文件中选择要显示的图像数据。在步骤S936中，系统控制单元50进行要再现的图像的非显示处理。在这种情况下，系统控制单元50显示指示不可再现的信息，以向用户通知图像是不可再现图像。
图9D示出系统控制单元50从以HDR拍摄到的RAW图像中选择再现时要使用的图像数据的过程。
在步骤S941中，系统控制单元50判断要进行索引再现还是要进行正常再现。在系统控制单元50判断为要进行索引再现的情况下(步骤S941中为“是”)，处理进入步骤S942。在判断为系统控制单元50判断为要进行正常再现的情况下(步骤S941中为“否”)，处理进入步骤S943。
在步骤S942中，系统控制单元50基于在索引再现时要再现的图像的数量来判断要使用的图像数据。在本典型实施例中，将36设置为阈值，但该图像数量是示例，并且要再现的图像的数量可以是由用户任意设置的，或者可以是根据显示单元28的大小来确定的。在系统控制单元50判断为要显示的图像的数量等于或大于36的情况下(步骤S942中为“是”)，处理进入步骤S945。在系统控制单元50判断为要显示的图像的数量小于36的情况下(步骤S942中为“否”)，处理进入步骤S944。
在步骤S943，系统控制单元50将“显示用HDR主图像(HEVC)”(828)确定为再现时要使用的图像数据。在步骤S944中，系统控制单元50将“显示用HDR MPF图像(HEVC)”(827)确定为再现时要使用的图像数据。在步骤S945中，系统控制单元50将“显示用HDR THM图像(HEVC)”(826)确定为再现时要使用的图像数据。
图9E示出在以HDR拍摄到的RAW图像包括显示用SDR图像的情况下、从RAW图像中选择在再现时要使用的图像数据的处理的过程。
在步骤S951中，系统控制单元50判断要进行索引再现还是要进行正常再现。在系统控制单元50判断为要进行索引再现的情况下(步骤S951中为“是”)，处理进入步骤S952。在系统控制单元50判断为要进行正常再现的情况下(步骤S951中为“否”)，处理进入步骤S953。
在步骤S952中，系统控制单元50基于索引再现时要再现的图像的数量来判断要使用的图像数据。在本典型实施例中，将36设置为判断时要使用的阈值。在系统控制单元50判断为要再现的图像的数量等于或大于36的情况下(步骤S952中为“是”)，处理进入步骤S955。在系统控制单元50判断为要再现的图像的数量小于36的情况下(步骤S952中为“否”)，处理进入步骤S954。
在步骤S953、S954和S955中，系统控制单元50确认要再现的RAW图像是否包括SDR图像。系统控制单元50使用参考图8A已说明的RAW文件中的元数据来进行该判断。
在步骤S956中，系统控制单元50将“显示用HDR主图像(HEVC)”(828)确定为再现时要使用的图像数据。在步骤S957中，系统控制单元50将“显示用SDR主图像(JPEG)”(823)确定为再现时要使用的图像数据。在步骤S958中，系统控制单元50将“显示用HDR MPF图像(HEVC)”(827)确定为再现时要使用的图像数据。在步骤S959中，系统控制单元50将“显示用SDR MPF图像(JPEG)”(822)确定为再现时要使用的图像数据。在步骤S960中，系统控制单元50将“显示用HDR THM图像(HEVC)”(826)确定为再现时要使用的图像数据。在步骤S961中，系统控制单元50将“显示用SDR THM图像(JPEG)”(821)确定为再现时要使用的图像数据。
图9F示出系统控制单元50从HDR显像的静止图像中选择再现时要使用的图像数据的过程。
在步骤S971中，系统控制单元50判断要进行索引再现还是要进行正常再现。在系统控制单元50判断为要进行索引再现的情况下(步骤S971中为“是”)，处理进入步骤S972。在系统控制单元50判断为要进行正常再现的情况下(步骤S971中为“否”)，处理进入步骤S973。
在步骤S972中，系统控制单元50基于索引再现时要再现的图像的数量来判断要使用的图像数据。在本典型实施例中，将36设置为图像数量的阈值。在系统控制单元50判断为要再现的图像的数量等于或大于36的情况下(步骤S972中为“是”)，处理进入步骤S975。在系统控制单元50判断为要再现的图像的数量小于36的情况下(步骤S972中为“否”)，处理进入步骤S974。
在步骤S973中，系统控制单元50将“HDR主图像(HEVC)”(未示出)确定为再现时要使用的图像数据。在步骤S974中，系统控制单元50将“HDR MPF图像(HEVC)”(未示出)确定为再现时要使用的图像数据。在步骤S975中，系统控制单元50将“HDR THM图像(HEVC)”(未示出)确定为再现时要使用的图像数据。
图9G示出从以SDR拍摄到的RAW图像中选择再现时要使用的图像数据的过程。
在步骤S981中，系统控制单元50判断要进行索引再现还是要进行正常再现。在系统控制单元50判断为要进行索引再现的情况下(步骤S981中为“是”)，处理进入步骤S982。在系统控制单元50判断为要进行正常再现的情况下(步骤S981中为“否”)，处理进入步骤S983。
在步骤S982中，系统控制单元50根据索引再现时要再现的图像的数量来判断要使用的图像数据。在本典型实施例中，将36设置为图像数量的阈值。在系统控制单元50判断为要显示的图像的数量等于或大于36的情况下(步骤S982中为“是”)，处理进入步骤S985。在系统控制单元50判断为要显示的图像的数量小于36的情况下(步骤S982中为“否”)，处理进入步骤S984。
在步骤S983中，系统控制单元50将“显示用SDR主图像(JPEG)”(823)确定为再现时要使用的图像数据。在步骤S984中，系统控制单元50将“显示用SDR MPF图像(JPEG)”(822)确定为再现时要使用的图像数据。在步骤S985中，系统控制单元50将“显示用SDR THM图像(JPEG)”(821)确定为再现时要使用的图像数据。
图9H示出从SDR显像的静止图像中选择再现时要使用的图像数据的过程。
在步骤S991中，系统控制单元50判断要进行索引再现还是要进行正常再现。在系统控制单元50判断为要进行索引再现的情况下(步骤S991中为“是”)，处理进入步骤S992。在系统控制单元50判断为要进行正常再现的情况下(步骤S991中为“否”)，处理进入步骤S993。
在步骤S992中，系统控制单元50基于索引再现时要再现的图像的数量来判断要使用的图像数据。在本典型实施例中，将36设置为图像数量的阈值。在系统控制单元50判断为要再现的图像的数量等于或大于36的情况下(步骤S992中为“是”)，处理进入步骤S995。在系统控制单元50判断为要再现的图像的数量小于36的情况下(步骤S992中为“否”)，处理进入步骤S994。
在步骤S993中，系统控制单元50将“SDR主图像(JPEG)”(未示出)确定为再现时要使用的图像数据。在步骤S994中，系统控制单元50将“SDR MPF图像(JPEG)”(未示出)确定为再现时要使用的图像数据。在步骤S995中，系统控制单元50将“SDR THM图像(JPEG)”(未示出)确定为再现时要使用的图像数据。
图10A是示出使用外部装置300的再现模式处理的详情的流程图。通过系统控制单元50将非易失性存储器56中所记录的程序加载到系统存储器52上并执行该程序来实现该处理。
在步骤S1001，系统控制单元50判断外部装置300是否连接至数字照相机100。在系统控制单元50判断为连接了外部装置300的情况下(步骤S1001中为“是”)，处理进入步骤S1002。在系统控制单元50判断为未连接外部装置300的情况下(步骤S1001中为“否”)，处理进入步骤S1005。
在步骤S1002中，系统控制单元50判断再现HDR设置是否有效。作为再现设置，可选择“进行HDR再现”、“不进行HDR再现”和“摄像模式同步”。在设置了“进行HDR再现”的情况下，如果外部装置300支持HDR，则不论要再现的图像是HDR图像还是SDR图像，都设置进行HDR输出的模式，并且“不进行HDR再现”变为用于进行SDR输出的模式。“摄像模式同步”是用于使再现时的输出与摄像模式同步的模式。更具体地，在“HDR摄像”被设置为“进行”的HDR摄像模式的情况下，在再现时还进行HDR输出。在“HDR摄像”被设置为“不进行”的SDR摄像模式的情况下，在再现时还设置用于进行SDR输出的模式。默认设置了“摄像模式同步”，并且即使用户改变摄像模式，在“摄像模式同步”中也维持再现设置。仅当用户将再现设置从“摄像模式同步”改变“进行HDR再现”或“不进行HDR再现”时，同步才中断。另外，代替“进行HDR再现”和“不进行HDR再现”，可以使用诸如“HEIF(再现)”和“JPEG(再现)”等的文件格式作为选项。以类似的方式，代替“进行HDR再现”和“不进行HDR再现”，可以使用诸如“HEIF(摄像)”和“JPEG(摄像)”等的文件格式作为选项。
在步骤S1002中，在“进行HDR再现”的情况下(步骤S1002中为“是”)，系统控制单元50使处理进入步骤S1003。在“不进行HDR再现”的情况下(步骤S1002中为“否”)，系统控制单元50使处理进入步骤S1005。在设置了“摄像模式同步”并且在步骤S606中设置“HDR摄像”是“进行”的情况下，系统控制单元50使处理进入步骤S1003。在“HDR摄像”是“不进行”的情况下，系统控制单元50使处理进入步骤S1005。
在步骤S1003中，系统控制单元50判断外部装置300是否是支持HDR的显示器。在系统控制单元50判断为外部装置300是支持HDR的显示器的情况下(步骤S1003中为“是”)，处理进入步骤S1004。在系统控制单元50判断为外部装置300不是支持HDR的显示器的情况下(步骤S1003中为“否”)，处理进入步骤S1005。
在步骤S1004中，系统控制单元50向外部装置300输出HDR信号。在步骤S1005中，系统控制单元50向外部装置300输出SDR信号。
由于步骤S1006至S1011与图9A的步骤S901至S906相同，因此将省略说明。
图10B是示出在将HDR信号输出至外部装置300的情况下要进行的绘制处理(步骤S1009)的详情的流程图。
由于步骤S1021至S1025、S1028和S1029与参考图9B所述的步骤S911至S915、S920和S921相同，因此将省略说明。
在步骤S1026中，系统控制单元50判断要再现的图像是HDR图像还是HDR图像。在系统控制单元50判断为要再现的图像是HDR图像的情况下(步骤S1026中为“是”)，处理进入步骤S1028。在系统控制单元50判断为要再现的图像是SDR图像的情况下(步骤S1026中为“否”)，处理进入步骤S1027。
在步骤S1027中，系统控制单元50进行SDR→HDR转换处理。后续的步骤S1028和S1029与图9B的步骤S920和S921相同。由于在将SDR信号输出至外部装置300的情况下要进行的绘制处理(步骤S1009)的详情与图9B相同，因此省略说明。
图11A是示出再现菜单处理的详情的流程图。通过系统控制单元50将非易失性存储器56中所记录的程序加载到系统存储器52上并执行该程序来实现该处理。
在步骤S1101中，系统控制单元50判断用户是否使用RAW显像的设置项(未示出)设置了RAW显像的执行。在系统控制单元50判断为不执行RAW显像的情况下(步骤S1101中为“否”)，处理进入步骤S1103。在系统控制单元50判断为执行RAW显像的情况下(步骤S1101中为“是”)，处理进入步骤S1102。
在步骤S1103中，系统控制单元50判断是否使用HDR文件的SDR转换的设置项(未示出)设置了HDR→SDR转换的执行。在系统控制单元50判断为不执行HDR→SDR转换的情况下(步骤S1103中为“否”)，处理进入步骤S1105。在系统控制单元50判断为执行HDR→SDR转换的情况下(步骤S1103中为“是”)，处理进入步骤S1104。
在步骤S1105中，系统控制单元50判断是否使用文件传送的设置项(未示出)设置了文件传送的执行。在系统控制单元50判断为不执行文件传送的情况下(步骤S1105中为“否”)，处理进入步骤S1107。在系统控制单元50判断为执行文件传送的情况下(步骤S1105中为“是”)，处理进入步骤S1106。
在步骤S1107中，系统控制单元50判断是否结束再现菜单处理。在系统控制单元50判断为不结束再现菜单处理的情况下(步骤S1107中为“否”)，处理返回到步骤S1101。在系统控制单元50判断为结束再现菜单处理的情况下(步骤S1107中为“是”)，系统控制单元50结束再现菜单处理。
在步骤S1106中，系统控制单元50进行用户所指定的图像文件的传送处理。当要传送HDR图像文件时，在目的地设备仅可以显示SDR图像文件的情况下，可以在照相机中执行步骤S1104中的HDR→SDR转换，并且可以将HDR图像文件作为SDR图像文件进行传送。
在步骤S1102中，系统控制单元50进行用户所指定的RAW图像文件的RAW显像。以下将参考图11B的框图来说明RAW显像处理的详情。图11B所示的各处理单元包括在图像处理单元24中，但可以通过系统控制单元50所要执行的程序来实现。
系统控制单元50读出记录介质200上所记录的所拍摄的RAW图像1101，并使图像处理单元24进行RAW显像处理。由于RAW图像是采用拜耳阵列的像素的集合，因此一个像素仅包括单个颜色分量的强度数据。作为RAW图像，存在作为SDR图像所拍摄到的RAW(SDR)图像和作为HDR图像所拍摄到的RAW(HDR)图像。在显像时，可以考虑原样对RAW(SDR)图像进行SDR显像的情况和对RAW(SDR)图像进行HDR显像的情况。相比之下，可以考虑对RAW(HDR)图像进行HDR显像的情况和对RAW(HDR)图像进行SDR显像的情况。白平衡单元1102进行使白部分变白的处理。在对RAW(HDR)图像进行HDR显像的情况下，使用作为文件中所记录的HDR显像元数据的HDR所用的白平衡系数来执行白平衡处理。相比之下，在对RAW(HDR)图像进行SDR显像的情况下，通过从作为文件中所存储的检测元数据的白搜索框内判断结果生成SDR所用的白平衡系数来执行白平衡处理。当然，在将HDR所用的白平衡系数和SDR所用的白平衡系数这两者都记录在RAW文件中的情况下，适当地使用所需的白平衡系数，这就足够了。
颜色插值单元1103通过进行降噪或对彩色马赛克图像进行插值来生成所有像素中的各像素均包括三个分量(例如，R、G和B的颜色信息)的彩色图像。所生成的彩色图像通过矩阵转换单元1104和伽马转换单元1105，并且生成基本彩色图像。之后，颜色亮度调整单元1106对彩色图像进行用于改善图像的外观的处理。例如，检测到夜晚场景，并根据该场景进行诸如饱和度增强等的图像校正。类似地执行灰度校正，但在对RAW(HDR)图像进行HDR显像的情况下，使用作为文件中所存储的HDR显像元数据的HDR所用的灰度校正量来执行灰度校正。相比之下，在对RAW(HDR)图像进行SDR显像的情况下，通过使用与文件中所记录的检测元数据相对应的面部检测结果和直方图计算SDR所用的灰度校正量来执行灰度校正。当然，在将HDR所用的灰度校正量和SDR所用的灰度校正量这两者都记录在RAW文件中的情况下，适当地使用所需的灰度校正量，这就足够了。
压缩单元1107使用诸如JPEG或HEVC等的方法来对经过了期望的颜色调整的高分辨率图像进行压缩，并且在记录单元1108中，生成要记录到诸如闪速存储器等的记录介质上的显像图像。由于上述的HEIF容器可以存储多个图像，因此除HDR显像的图像之外，还可以存储SDR显像的图像。
在步骤S1104中，系统控制单元50进行用户所指定的HDR图像文件的SDR转换。HDR图像是OETF是PQ、并且在诸如BT.2020等的颜色空间中生成色域的图像。因此，需要在诸如SDR的γ2.2或者sRGB等的颜色空间上进行色调映射和色域映射处理。作为具体方法，可以使用已知的技术。例如，如果以使恰当曝光与SDR中的恰当曝光一致的方式进行色调映射，则与SDR相比，可以获得具有均匀亮度的结果。
迄今为止，已经说明了本发明的期望的典型实施例，但本发明不限于这些典型实施例，并且可以在未背离本发明的主旨的范围的情况下进行各种修改和改变。例如，在上述典型实施例中，采用HEVC作为一个颜色分量具有超过8位的位的图像数据的编码方法，但没有特别限制编码的类型，只要可以对一个颜色分量具有超过8位的位的图像进行编码即可。在上述典型实施例中，已经给出了将本发明应用于数字照相机的情况的说明，但本发明可以应用于具有摄像功能的计算机(智能电话或配备有照相机的膝上型PC)，并且应用不限于上述典型实施例。
本发明不限于上述典型实施例，并且可以在未背离本发明的精神和范围的情况下进行各种改变和修改。因此，添加了所附权利要求书以阐述本发明的范围。
本申请要求2019年2月28日提交的日本专利申请2019-036856的利益，其全部内容通过引用而被包含于此。

Claims (10)

1.一种摄像设备，包括：
第一设置部件，用于在摄像之前进行与动态范围有关的设置；
第二设置部件，用于在所述摄像之前设置拍摄图像的记录格式；以及
第一记录部件，用于在所述第二设置部件设置了记录RAW图像数据的情况下，记录基于通过所述摄像所获得的图像信号的RAW图像数据，
其中，在所述第一设置部件进行了指示高动态范围即HDR的设置的情况下，所述第一记录部件将所述RAW图像数据与对应于所述HDR的显像信息相关联地进行记录，以及在所述第一设置部件进行了指示标准动态范围即SDR的设置的情况下，所述第一记录部件将所述RAW图像数据与对应于所述SDR的显像信息相关联地进行记录。
2.根据权利要求1所述的摄像设备，还包括显像部件，所述显像部件用于对所述RAW图像数据进行显像，
其中，所述显像部件使用基于所述第一设置部件所进行的设置的显像信息来对所述RAW图像数据进行显像。
3.根据权利要求2所述的摄像设备，其中，在对与对应于所述HDR的显像信息相关联的RAW图像数据进行显像的情况下，所述显像部件通过对所述RAW图像数据进行显像来生成HDR图像数据。
4.根据权利要求3所述的摄像设备，其中，在对与对应于所述SDR的显像信息相关联的RAW图像数据进行显像的情况下，所述显像部件通过对所述RAW图像数据进行显像来生成SDR图像数据。
5.根据权利要求3所述的摄像设备，还包括第二记录部件，所述第二记录部件用于以与所述HDR图像数据不同的文件格式来记录所述显像部件所生成的SDR图像数据。
6.根据权利要求3所述的摄像设备，还包括第二记录部件，所述第二记录部件用于将所述显像部件所生成的HDR图像数据记录为高效率图像文件格式即HEIF格式的文件。
7.根据权利要求2至6中任一项所述的摄像设备，还包括第一确定部件，所述第一确定部件用于确定在所述显像部件的显像中要使用的白平衡系数，
其中，对应于所述HDR的显像信息包括针对所述HDR所确定的白平衡系数，以及对应于所述SDR的显像信息包括针对所述SDR所确定的白平衡系数。
8.根据权利要求2至6中任一项所述的摄像设备，还包括第二确定部件，所述第二确定部件用于确定在所述显像部件的显像中要使用的灰度校正量，
其中，对应于所述HDR的显像信息包括针对所述HDR所确定的灰度校正量，并且对应于所述SDR的显像信息包括针对所述SDR所确定的灰度校正量。
9.根据权利要求2至6中任一项所述的摄像设备，其中，所述第一记录部件将所述RAW图像数据和不依赖于与所述动态范围有关的设置的共同元数据相关联地进行记录。
10.根据权利要求9所述的摄像设备，其中，所述共同元数据是所述RAW图像数据中的发白的像素的判断结果。
CN202080017030.7A 2019-02-28 2020-02-20 摄像设备和图像处理设备及其控制方法和存储介质 Active CN113491104B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-036856 2019-02-28
JP2019036856A JP7263053B2 (ja) 2019-02-28 2019-02-28 撮像装置、画像処理装置、それらの制御方法、プログラム
PCT/JP2020/006657 WO2020175298A1 (ja) 2019-02-28 2020-02-20 撮像装置、画像処理装置、それらの制御方法、プログラム

Publications (2)

Publication Number Publication Date
CN113491104A CN113491104A (zh) 2021-10-08
CN113491104B true CN113491104B (zh) 2023-07-18

Family

ID=72239084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080017030.7A Active CN113491104B (zh) 2019-02-28 2020-02-20 摄像设备和图像处理设备及其控制方法和存储介质

Country Status (4)

Country Link
US (1) US11750934B2 (zh)
JP (1) JP7263053B2 (zh)
CN (1) CN113491104B (zh)
WO (1) WO2020175298A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD921084S1 (en) 2019-09-13 2021-06-01 Gopro, Inc. Camera housing
USD911411S1 (en) 2019-09-13 2021-02-23 Gopro, Inc. Camera housing
USD946072S1 (en) 2020-08-10 2022-03-15 Gopro, Inc. Camera housing
USD953404S1 (en) * 2020-08-14 2022-05-31 Gopro, Inc. Camera housing
JP2023089743A (ja) * 2021-12-16 2023-06-28 キヤノン株式会社 画像処置装置とその制御方法、撮像装置、及び、プログラム
JP2023098173A (ja) * 2021-12-28 2023-07-10 キヤノン株式会社 撮像装置、制御方法、及びプログラム
CN117492621B (zh) * 2024-01-03 2024-03-29 深圳市永迦电子科技有限公司 一种数码云相框智能照片优化处理系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1929535A (zh) * 2005-09-07 2007-03-14 索尼株式会社 成像装置、图像处理装置、图像处理方法及计算机程序
CN101365071A (zh) * 2007-09-27 2009-02-11 豪威科技有限公司 双模式相机方案、设备、系统及方法
JP2014150370A (ja) * 2013-01-31 2014-08-21 Canon Inc 撮像装置、その制御方法及びプログラム
CN104365082A (zh) * 2012-05-31 2015-02-18 奥林巴斯映像株式会社 摄像装置、图像处理装置、记录有图像文件的记录介质、记录方法、图像再现方法以及程序
JP2016149753A (ja) * 2015-02-10 2016-08-18 株式会社Ｊｖｃケンウッド 表示システム、処理装置、表示装置、表示方法、及びプログラム
JP2018007246A (ja) * 2016-06-27 2018-01-11 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
WO2018021261A1 (ja) * 2016-07-27 2018-02-01 パナソニックＩｐマネジメント株式会社 画像処理装置、再生装置、画像処理方法、および、再生方法
WO2018062062A1 (ja) * 2016-09-29 2018-04-05 パナソニックＩｐマネジメント株式会社 再生方法、生成方法、再生装置、生成装置、および記録媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4733419B2 (ja) * 2005-04-26 2011-07-27 富士フイルム株式会社 合成画像データ生成装置およびその制御方法ならびにその制御プログラム
CN101420531A (zh) * 2007-10-23 2009-04-29 鸿富锦精密工业（深圳）有限公司 高动态范围图片撷取装置及方法
US10255888B2 (en) * 2012-12-05 2019-04-09 Texas Instruments Incorporated Merging multiple exposures to generate a high dynamic range image
JP2015088784A (ja) 2013-10-28 2015-05-07 キヤノン株式会社 撮像装置
US10271054B2 (en) 2014-02-25 2019-04-23 Apple, Inc. Display-side adaptive video processing
JP6375806B2 (ja) * 2014-09-11 2018-08-22 株式会社ソシオネクスト 画像処理装置、方法、及び撮像装置
EP3251082A1 (en) * 2015-01-30 2017-12-06 Koninklijke Philips N.V. Simple but versatile dynamic range coding
GB2538997A (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy A method, an apparatus, a computer program for video coding
JP6237797B2 (ja) * 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
JP6647162B2 (ja) 2016-07-08 2020-02-14 三菱電機株式会社 映像記録装置、映像再生装置、記録方法、及び再生方法
US10965879B2 (en) 2017-03-15 2021-03-30 Sony Corporation Imaging device, video signal processing device, and video signal processing method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1929535A (zh) * 2005-09-07 2007-03-14 索尼株式会社 成像装置、图像处理装置、图像处理方法及计算机程序
CN101365071A (zh) * 2007-09-27 2009-02-11 豪威科技有限公司 双模式相机方案、设备、系统及方法
CN104365082A (zh) * 2012-05-31 2015-02-18 奥林巴斯映像株式会社 摄像装置、图像处理装置、记录有图像文件的记录介质、记录方法、图像再现方法以及程序
JP2014150370A (ja) * 2013-01-31 2014-08-21 Canon Inc 撮像装置、その制御方法及びプログラム
JP2016149753A (ja) * 2015-02-10 2016-08-18 株式会社Ｊｖｃケンウッド 表示システム、処理装置、表示装置、表示方法、及びプログラム
JP2018007246A (ja) * 2016-06-27 2018-01-11 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
WO2018021261A1 (ja) * 2016-07-27 2018-02-01 パナソニックＩｐマネジメント株式会社 画像処理装置、再生装置、画像処理方法、および、再生方法
WO2018062062A1 (ja) * 2016-09-29 2018-04-05 パナソニックＩｐマネジメント株式会社 再生方法、生成方法、再生装置、生成装置、および記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
利用数码底片获得高品质影像――兼谈HDR影像的制作;朱清宇;《照相机》;20090501(第05期);全文 *

Also Published As

Publication number Publication date
US20220053118A1 (en) 2022-02-17
CN113491104A (zh) 2021-10-08
US11750934B2 (en) 2023-09-05
JP7263053B2 (ja) 2023-04-24
WO2020175298A1 (ja) 2020-09-03
JP2020141335A (ja) 2020-09-03

Similar Documents

Publication Publication Date Title
CN113491104B (zh) 摄像设备和图像处理设备及其控制方法和存储介质
JP7313893B2 (ja) 撮像装置及び記録制御方法及びプログラム
JP7365133B2 (ja) 通信装置およびその制御方法、プログラム
JP2021124638A (ja) 表示制御装置、表示制御方法、プログラムおよび記憶媒体
CN110049258B (zh) 电子设备及其控制方法和计算机可读介质
JP2024015185A (ja) 撮像装置及びその制御方法及びプログラム
JP7091068B2 (ja) 電子機器
CN113491103B (zh) 摄像设备及其控制方法和存储介质
US11165970B2 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
JP2020141334A (ja) 撮像装置及びその制御方法及びプログラム
JP7493984B2 (ja) 電子機器
JP2019122029A (ja) 電子機器
JP2019118058A (ja) 電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant