CN113225475A - 显示控制设备、显示控制方法和计算机可读介质 - Google Patents

显示控制设备、显示控制方法和计算机可读介质 Download PDF

Info

Publication number
CN113225475A
CN113225475A CN202110163688.5A CN202110163688A CN113225475A CN 113225475 A CN113225475 A CN 113225475A CN 202110163688 A CN202110163688 A CN 202110163688A CN 113225475 A CN113225475 A CN 113225475A
Authority
CN
China
Prior art keywords
image
luminance
control unit
system control
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110163688.5A
Other languages
English (en)
Inventor
梨泽洋明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN113225475A publication Critical patent/CN113225475A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/06—Colour space transformation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明提供显示控制设备、显示控制方法和计算机可读介质。显示控制设备包括：显示控制器，其被配置为将图形图像与HDR图像一起显示在显示单元上，其中，所述显示控制器还被配置为在所述HDR图像的亮度是第一亮度的情况下，以第二亮度显示所述图形图像，以及在所述HDR图像的亮度是高于所述第一亮度的第三亮度的情况下，以高于所述第二亮度的第四亮度显示图形图像。

Description

显示控制设备、显示控制方法和计算机可读介质
技术领域
本发明涉及显示控制设备、显示控制方法和计算机可读介质。
背景技术
近年来，LED元件等的进步引起了支持HDR(高动态范围)的显示器的更广泛使用，该HDR使得能够通过将黑色的亮度调整为更暗来增强上限亮度(最大亮度；峰值亮度)。支持HDR的显示器能够显示具有高动态范围(HDR)的图像数据，而无需压缩图像数据。在HDR中，可以以更高的真实感(以改进的灰度性)再现诸如蓝天中的云和夜景中的霓虹灯等的在传统动态范围(在下文中称为SDR：标准动态范围)中对比度降低的场景。虽然这种HDR主要用于要记录在蓝光盘等上的运动图像中，但是期望其未来的应用扩展为静止图像。
在摄像设备的背面液晶显示器等上，当重放并显示所拍摄的图像时，拍摄信息(速度、光圈值、ISO感光度和图像名称)以及重放期间的状态信息的OSD(图形图像)等经常叠加显示在所拍摄的图像上。
日本特开2019-057824公开了从显示设备接收峰值亮度或伽马并在判断为OSD的亮度将变得更暗时预先将OSD调整为更亮，并且还公开了判断图像和OSD中的哪个重要，从而将OSD调整为适合其中一者的亮度。WO 2016/038950公开了当将具有SDR的OSD(100cd/m2)转换为HDR数据时，将OSD的亮度灰度值设置为漫反射白色(Diffuse White)(其对应于图像中的主导白色(dominant white)(300至500cd/m2))。
然而，日本特开2019-057824和WO 2016/038950中所公开的传统技术的问题在于，当相对于背面图像将OSD显示为亮或暗时，OSD的可视性差。
发明内容
考虑到这一点，本发明的目的是以合适亮度显示OSD。
本发明在其第一方面提供一种显示控制设备，包括：显示控制器，其被配置为将图形图像与HDR图像一起显示在显示单元上，其中，所述显示控制器还被配置为(1)在所述HDR图像的亮度是第一亮度的情况下以第二亮度显示所述图形图像，以及(2)在所述HDR图像的亮度是高于所述第一亮度的第三亮度的情况下以高于所述第二亮度的第四亮度显示所述图形图像。
本发明提供一种显示控制方法，包括：将图形图像与HDR图像一起显示在显示单元上；在所述HDR图像的亮度是第一亮度的情况下，以第二亮度显示所述图形图像；以及在所述HDR图像的亮度是高于所述第一亮度的第三亮度的情况下，以高于所述第二亮度的第四亮度显示所述图形图像。
本发明提供一种存储程序的计算机可读介质，其中，所述程序使计算机执行上述的显示控制方法。
通过以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1A和1B是根据第一实施例的数字照相机的外观图；
图2是示出根据第一实施例的数字照相机的结构的框图；
图3是示出根据第一实施例的外部装置连接的图；
图4A是示出根据第一实施例的LV拍摄模式处理的流程图；
图4B是示出根据第一实施例的快速回放显示处理的流程图；
图5A至5C是根据第一实施例的连接处理的序列图；
图6A是示出根据第一实施例的拍摄菜单处理的流程图；
图6B是示出根据第一实施例的拍摄菜单处理的流程图；
图7A是示出根据第一实施例的HDR拍摄处理的流程图；
图7B是示出根据第一实施例的HDR拍摄处理的流程图；
图7C是示出根据第一实施例的CxCy平面的图；
图7D是示出根据第一实施例的HDR拍摄处理的流程图；
图7E是示出根据第一实施例的显示图像的示例的图；
图7F是示出根据第一实施例的显示图像的示例的图；
图7G是示出根据第一实施例的灰度校正量的示例的图；
图7H是示出根据第一实施例的灰度校正量的示例的图；
图8A至8E是示出根据第一实施例的文件的配置示例的图；
图9A是示出根据第一实施例的重放模式处理的流程图；
图9B是示出根据第一实施例的重放模式处理的流程图；
图9C是示出根据第一实施例的重放模式处理的流程图；
图9D是示出根据第一实施例的重放模式处理的流程图；
图9E是示出根据第一实施例的重放模式处理的流程图；
图9F是示出根据第一实施例的重放模式处理的流程图；
图9G是示出根据第一实施例的重放模式处理的流程图；
图9H是示出根据第一实施例的重放模式处理的流程图；
图10A是示出根据第一实施例的重放模式处理的流程图；
图10B是示出根据第一实施例的重放模式处理的流程图；
图11A是示出根据第一实施例的重放菜单处理的流程图；
图11B是根据第一实施例的与RAW显像处理有关的功能框图；
图12A是示出根据第一实施例的OSD亮度设置处理的流程图；
图12B是示出根据第一实施例的OSD亮度设置处理的流程图；
图12C是示出根据第一实施例的OSD亮度设置处理的流程图；
图13A至13E是示出OSD信息显示的示例的图；
图14是示出根据第一实施例的OSD信息显示的图；
图15是示出根据第二实施例的拍摄条件与亮度灰度值之间的对应关系的图。
图16是示出根据第二实施例的亮度变化的流程图；
图17A至17C是示出根据第三实施例的显示图像的示例的图；
图18是示出根据第三实施例的OSD亮度设置处理的流程图；
图19A和19B是示出根据第四实施例的显示图像的示例的图；以及
图20是示出根据第四实施例的OSD亮度设置处理的流程图。
具体实施方式
在下文中，将参考附图详细描述本发明的实施例。应当理解，以下描述的实施例仅表示实现本发明的方法的示例，并且可以根据应用本发明的设备的结构以及各种条件而适当地校正或修改。另外，各个实施例也可以适当地组合。
(第一实施例)
在下文中，将参考附图描述本发明的优选实施例。图1A和1B示出作为可以应用本发明的设备的示例的数字照相机100的外观。图1A是数字照相机100的正面透视图，而图1B是数字照相机100的背面透视图。
显示单元28是设置在数字照相机100的背面上的显示器，用于显示图像和各种类型的信息。取景器外显示单元43是设置在数字照相机100的上表面上的显示器，用于显示数字照相机100的诸如快门速度和光圈等的各种设置值。端子盖40是用于保护用于将数字照相机100连接到外部装置的连接线缆等的连接器(未示出)的盖。快速返回镜12在来自系统控制单元50(将在后面描述)的指示下由致动器(未示出)升高和降低。通信端子10是由数字照相机100用于与镜头单元150(将在后面描述；可安装且可拆卸)通信的通信端子。目镜取景器16是用于通过观察聚焦屏13(将在后面描述)来检查通过镜头单元150所获得的被摄体的光学图像的焦点和构图的内窥型取景器。盖202是储存记录介质200(将在后面描述)的槽的盖。握持部91是构成为在保持数字照相机100时容易被用户的右手握持的形状的保持部。
另外，数字照相机100具有模式切换开关60、快门按钮61、主电子拨盘71、电源开关72、副电子拨盘73、四向键74、设置按钮75和LV按钮76。数字照相机100还具有放大按钮77、缩小按钮78和重放按钮79。数字照相机100可以具有其它操作构件。各种操作构件将在后面描述。
图2是示出数字照相机100的结构示例的框图。
镜头单元150是安装有可更换拍摄镜头的镜头单元。虽然透镜103通常由多个透镜构成，但是在图2中，透镜103以简化的方式仅示出一个透镜。通信端子6是由镜头单元150用于与数字照相机100通信的通信端子，并且通信端子10是由数字照相机100用于与镜头单元150通信的通信端子。镜头单元150经由通信端子6和10与系统控制单元50通信。另外，镜头单元150使用内部的镜头系统控制电路4经由光圈驱动电路2控制光圈1。此外，镜头单元150通过使用镜头系统控制电路4经由AF驱动电路3对透镜103的位置进行移位来进行调焦。
AE(自动曝光)传感器17测量通过镜头单元150的被摄体(被摄体光)的亮度。
焦点检测单元11将关于散焦量的信息输出到系统控制单元50。系统控制单元50基于散焦量信息控制镜头单元150以进行相位差AF。
在曝光、实时取景拍摄和运动图像拍摄等期间，快速返回镜12(在下文中，镜12)在来自系统控制单元50的指示下由致动器(未示出)升高和降低。镜12是用于在取景器16侧和摄像单元22侧之间切换从透镜103入射的光束的镜。虽然镜12通常被布置为将光束引导(反射)至取景器16(镜下降)，但是当进行拍摄和实时取景显示时，镜12向上翻转以将光束引导至摄像单元22并且从光束内部退避(镜上升)。另外，镜12被配置为半透半反镜，以使得光可以部分地透过其中央部，并且镜12使光束的一部分透过并入射至焦点检测单元11以进行焦点检测。
通过经由五棱镜14和取景器16观察聚焦屏13，拍摄者可以检查通过镜头单元150所获得的被摄体的光学图像的焦点和构图。
快门101是能够在系统控制单元50的控制下自由地控制摄像单元22的曝光时间的焦平面快门。
摄像单元22是由诸如CCD、CMOS等的将光学图像转换为电信号的装置构成的摄像元件。A/D转换器23将从摄像单元22输出的模拟信号转换为数字信号。
图像处理单元24对来自A/D转换器23的数据或来自存储器控制单元15的数据进行规定的处理(像素插值、诸如缩小等的大小调整处理、以及颜色转换处理等)。另外，图像处理单元24使用拍摄图像的图像数据进行规定的运算处理，并且系统控制单元50基于由图像处理单元24所获得的计算结果进行曝光控制和测距控制。因此，进行TTL(通过镜头)方式中的诸如AF(自动调焦)处理、AE处理和EF(闪光前预发光)处理等的处理。图像处理单元24还使用拍摄图像的图像数据进行规定的运算处理，并且基于所获得的计算结果进行TTL方式中的AWB(自动白平衡)处理。
来自A/D转换器23的输出数据经由图像处理单元24和存储器控制单元15被写入存储器32，或者经由存储器控制单元15被直接写入存储器32。存储器32存储由摄像单元22获得并由A/D转换器23转换为数字数据的图像数据和要在显示单元28上显示的图像数据。存储器32具有用于存储规定数量的静止图像以及规定时间的运动图像和音频的足够的存储容量。
另外，存储器32还兼作图像显示所用的存储器(视频存储器)。D/A转换器19将存储在存储器32中的用于图像显示的数据转换为模拟信号，并且将该模拟信号供应至显示单元28。以这种方式，通过显示单元28经由D/A转换器19显示已写入存储器32的用于显示的图像数据。显示单元28根据来自D/A转换器19的模拟信号在诸如LCD等的显示器上进行显示。通过使已经进行了A/D转换器23的A/D转换的数字信号进行D/A转换器19的D/A转换并保存在存储器32中，并且将进行了D/A转换的信号顺次发送到显示单元28并显示该信号，可以实现电子取景器功能并且可以进行实时图像显示(实时取景显示)。在下文中，通过实时取景显示所显示的图像将被称为“LV图像”。
取景器内显示单元41经由取景器内显示单元驱动电路42显示指示当前正在进行自动调焦的测距点的框(AF框)、以及表示照相机的设置状态的图标等。
取景器外显示单元43经由取景器外显示单元驱动电路44显示数字照相机100的包括快门速度和光圈的各种设置值。
数字输出I/F 90将存储在存储器32中的用于图像显示的数据在不修改数字信号的形式的情况下供应至外部装置300。以这种方式，已经写入存储器32中的用于显示的图像数据由外部装置300显示。
非易失性存储器56是电可擦除且可记录存储器，并且例如使用EEPROM。系统控制单元50的操作所用的常数和程序等被存储在非易失性存储器56中。在这种情况下，程序是指用于执行本实施例中稍后描述的各种流程图的程序。
系统控制单元50是由至少一个处理器或一个电路构成的控制单元，并且控制整个数字照相机100。系统控制单元50通过执行记录在上述非易失性存储器56中的程序来实现本实施例(将在后面描述)的各个处理步骤。系统存储器52例如是RAM，并且系统控制单元50将系统控制单元50的操作所用的常数和变量、以及从非易失性存储器56读取的程序等展开在系统存储器52上。另外，系统控制单元50还通过控制存储器32、D/A转换器19和显示单元28等来进行显示控制。
系统计时器53是用于测量在各种控制中使用的时间和测量与内部时钟相对应的时间的时间测量单元。
电源控制单元80由电池检测电路、DC-DC转换器、以及用于在被通电的块之间切换的切换电路等构成，并且检测是否安装了电池、电池的类型、以及剩余电池电量等。另外，电源控制单元80基于检测结果和来自系统控制单元50的指示控制DC-DC转换器，并且在必要的时间段内向包括记录介质200的各个单元供应必要的电压。电源单元30由诸如碱性电池、锂电池等的一次电池、诸如NiCd电池、NiMH电池、或Li电池等的二次电池、或者AC适配器等构成。
记录介质I/F 18是与作为存储卡或硬盘等的记录介质200的接口。记录介质200是用于记录所拍摄的图像的诸如存储卡等的记录介质，并且由半导体存储器、或磁盘等构成。
通信单元54将视频信号和音频信号发送到无线地或通过有线线缆连接的外部装置以及从无线地或通过有线线缆连接的外部装置接收视频信号和音频信号。通信单元54还能够连接到无线LAN(局域网)或因特网。另外，通信单元54还能够经由蓝牙(注册商标)或蓝牙低功耗与外部装置通信。通信单元54能够发送由摄像单元22拍摄的图像(包括LV图像)和记录在记录介质200上的图像，并且从外部装置接收图像数据和各种其它类型的信息。
姿势检测单元55检测数字照相机100相对于重力方向的姿势。基于由姿势检测单元55检测到的姿势，可以判断由摄像单元22拍摄的图像是在水平保持数字照相机100的同时拍摄的图像还是在垂直保持数字照相机100的同时拍摄的图像。系统控制单元50可以将与由姿势检测单元55检测到的姿势相对应的姿势信息添加到已由摄像单元22拍摄的图像(拍摄图像)的图像文件，并记录图像的旋转版本等。加速度传感器、或陀螺仪传感器等可以用作姿势检测单元55。还可以使用构成姿势检测单元55的加速度传感器或陀螺仪传感器来检测数字照相机100的动作(平摇、俯仰、抬起以及是否静止等)。
操作单元70用于向系统控制单元50输入各种操作指示。操作单元70包括各种操作构件作为用于接受来自用户的操作(用户操作)的输入单元。例如，操作单元70包括推式按钮、旋转拨盘和触摸传感器等。具体地，操作单元70包括模式切换开关60、快门按钮61、主电子拨盘71、电源开关72、副电子拨盘73和四向键74。另外，操作单元70包括设置按钮75、LV按钮76、放大按钮77、缩小按钮78和重放按钮79。此外，操作单元70包括AF开启按钮70b、快速设置按钮70c、活动框切换按钮70d、菜单按钮70e、功能按钮70f和信息按钮70g。通过选择和操作显示在显示单元28或外部装置300上的各种功能图标，操作单元70的各个操作构件被适当地分配用于各个场景的功能，并且用作各种功能按钮之一。功能按钮的示例包括结束按钮、返回按钮、图像给送按钮、跳转按钮、缩小按钮和属性改变按钮。例如，当按下菜单按钮70e时，在显示单元28或外部装置300上显示使得能够配置各种设置的菜单画面。用户可以使用显示单元28或外部装置300上显示的菜单画面以及四向键74和设置按钮75来直观地配置各种设置。
模式切换开关60是用于在各种模式之间切换的操作构件。模式切换开关60将系统控制单元50的操作模式切换为静止图像记录模式、运动图像拍摄模式和重放模式等中的任一个。包括在静止图像记录模式中的模式是自动拍摄模式、自动场景判断模式、手动模式、光圈优先模式(Av模式)、快门速度优先模式(Tv模式)和程序AE模式。其它可用模式包括构成用于不同拍摄场景的拍摄设置的各种场景模式以及定制模式。使用模式切换开关60，用户可以直接切换为这些模式中的任一个。可选地，在使用模式切换开关60临时切换为拍摄模式列表画面之后，可以使用另一操作构件来选择性地切换为多个所显示的模式中的任一个。以同样的方式，运动图像拍摄模式也可以包括多个模式。
快门按钮61是用于发出拍摄指示的操作构件。快门按钮61包括第一快门开关62和第二快门开关64。第一快门开关62通过由所谓的半按下(拍摄准备指示)对快门按钮61的操作而在中途接通，并且生成第一快门开关信号SW1。根据第一快门开关信号SW1，系统控制单元50开始AF处理、AE处理、AWB处理和EF处理等的操作。在通过所谓的全按下(拍摄指示)完成快门按钮61的操作时接通第二快门开关64，并且生成第二快门开关信号SW2。根据第二快门开关信号SW2，系统控制单元50开始从读取来自摄像单元22的信号到将图像数据写入记录介质200的一系列摄像处理操作。
主电子拨盘71是旋转操作构件，并且通过转动主电子拨盘71，可以改变诸如快门速度和光圈等的设置值。电源开关72是用于接通和断开数字照相机100的电源的操作构件。副电子拨盘73是旋转操作构件，并且通过转动副电子拨盘73，可以进行诸如移动选择框和给送图像等的操作。四向键74被构造成使得上部、下部、左部和右部分别是可按下的。四向键74使得能够进行与四向键74的被按下部分相对应的处理。设置按钮75是主要用于确定所选项的按钮。
LV按钮76是用于在静止图像拍摄模式下开启和关闭实时取景(在下文中，LV)的按钮。在运动图像拍摄模式下，LV按钮76用于发出开始和停止运动图像拍摄(记录)的指示。放大按钮77是用于在拍摄模式下的实时取景显示期间开启和关闭放大模式并且在放大模式下改变放大率的操作按钮。在重放模式下，放大按钮77用作用于放大重放图像或者增加重放图像的放大率的放大按钮。缩小按钮78是用于减小放大后的重放图像的放大率并减小所显示的图像的按钮。重放按钮79是用于在拍摄模式与重放模式之间切换的操作按钮。通过在拍摄模式下按下重放按钮79，可以转变到重放模式，并且可以在显示单元28上显示记录在记录介质200中的图像中的最新图像。
AF开启按钮70b是用于指示执行AF的按钮。AF开启按钮70b的按下方向与从透镜103入射到摄像单元22的被摄体光的方向(光轴)平行。
快速设置按钮70c(在下文中，Q按钮70c)是用于显示快速设置菜单的按钮，该快速设置菜单是在各个操作模式下可配置的设置项的列表。例如，当在实时取景拍摄中在等待拍摄的同时被按下时，以单行叠加在LV上的方式显示诸如电子前帘快门、监视器的亮度、LV画面的WB、分屏显示缩放和无声拍摄等的设置项的列表。通过使用四向键74选择所显示的快速设置菜单中的任何选项并按下设置按钮75，用户可以针对所选设置项来改变设置或进行到操作模式的转变。
活动框切换按钮70d是用于在分屏显示缩放处理中的两个缩放位置的活动缩放位置(框)之间切换的按钮。另外，根据操作模式分配不同的功能，并且当在重放模式下按下时，可以将保护属性赋予正在显示的图像。
菜单按钮70e是用于使显示单元28或外部装置300显示使得能够配置各种设置的菜单画面的按钮。
功能按钮70f是使得能够将不同的功能分配给各个按钮的按钮。各个功能按钮70f布置在可以通过保持握持部91的右手的手指(中指、无名指或小指)操作按钮的位置，并且按下方向与从透镜103入射到摄像单元22的被摄体光的方向(光轴)平行。
信息按钮70g是用于在各种信息显示等之间切换的按钮。
触摸面板70a检测相对于触摸面板70a的接触。触摸面板70a和显示单元28可以一体地构造。例如，触摸面板70a被配置为使得光的透射率不妨碍显示单元28的显示，并且被安装到显示单元28的显示面的上层。随后，触摸面板70a上输入坐标和显示单元28上的显示坐标彼此相关联。因此，可以提供GUI(图形用户界面)，其使得用户能够感觉好像可以直接操纵显示在显示单元28上的画面。系统控制单元50能够检测针对触摸面板70a的以下操作或触摸面板70a的以下状态。
·先前未与触摸面板70a触摸的手指或笔新触摸触摸面板70a的状态，或者换句话说，触摸的开始(在下文中称为触及(touch-down))
·手指或笔正在触摸触摸面板70a的状态(在下文中称为触摸持续(touch-on))
·手指或笔在与触摸面板70a触摸时正在移动的状态(在下文中称为触摸移动(touch-move))
·先前与触摸面板70a触摸的手指或笔与触摸面板70a分离的状态，换句话说，触摸的结束(在下文中称为触摸停止(touch-up))。
·没有东西触摸触摸板70a的状态(在下文中称为未触摸(touch-off))
当检测到触及时，同时检测到触摸持续。通常，在触及之后，除非检测到触摸停止，否则连续地检测到触摸持续。当检测到触摸移动时，同样地同时检测到触摸持续。即使检测到触摸持续，除非触摸位置移动，否则也不会检测到触摸移动。在检测到所有先前触摸的手指或笔的触摸停止时，检测到未触摸。
通过内部总线向系统控制单元50通知上述操作和状态以及手指或笔触摸触摸面板70a的位置坐标。另外，基于所通知的信息，系统控制单元50判断在触摸面板70a上进行了哪种操作(触摸操作)。关于触摸移动，可以基于位置坐标的变化针对触摸面板70a上的垂直分量和水平分量中的各个来判断手指或笔在触摸面板70a上移动的移动方向。当检测到至少规定距离的触摸移动时，判断为进行了滑动操作。涉及在保持手指与触摸面板70a触摸的同时使手指在触摸面板70a上快速移动一定距离然后释放手指的操作被称为轻拂。换句话说，轻拂是指手指快速跟踪触摸面板70a就好像在触摸面板70a上轻拂一样的操作。当检测到以至少规定速度的至少规定距离的触摸移动，之后检测到触摸停止时，可以判断为进行了轻拂(可以判断为在滑动操作之后发生了轻拂)。此外，涉及将同时触摸多个位置(例如，两个点)并使各个触摸位置彼此靠近的触摸操作称为捏合(pinch-in)，而将各个触摸位置彼此远离的触摸操作称为分开(pinch-out)。分开和捏合统称为捏分(pinch)操作(或简称为捏分)。作为触摸面板70a，可以使用采用包括电阻膜方式、电容方式、表面声波方式、红外方式、电磁感应方式、图像识别方式和光学传感器方式的各种方式中的任一种的触摸面板。可以采用当与触摸面板进行接触时检测到触摸的方式以及当手指或笔接近触摸面板时检测到触摸的方式中的任一种。
另外，除了摄像设备主体之外，本发明还可以应用于通过经由有线或无线通信与摄像设备(包括网络照相机)通信来远程控制摄像设备的控制设备(显示控制设备)。远程控制摄像设备的设备的示例包括智能电话、平板PC和台式PC。通过基于控制设备所进行的操作和处理，从控制设备将用于进行各种操作的命令通知至摄像设备并配置设置，可以远程控制摄像设备。此外，控制设备可以被配置为经由有线或无线通信接收由摄像设备拍摄的实时取景图像并显示实时取景图像。
此外，虽然在上述实施例中说明了将本发明应用于数字照相机的示例，但本发明不限于该示例。具体地，本发明可以应用于诸如PDA、移动电话终端、移动图像观看器、配备有显示器的打印机设备、数码相框、音乐播放器、游戏装置和电子书阅读器等的包括显示单元的任何设备。
图3是示出数字照相机100和外部装置300的图。当通过连接线缆302将数字照相机100和外部装置300连接时，数字照相机100的显示单元28关闭(不显示)，并且显示在显示单元28上的画面显示在外部装置300的显示器301上。
<LV拍摄模式处理>
图4A是示出由数字照相机100进行的LV拍摄模式处理的流程图。当系统控制单元50将记录在非易失性存储器56中的程序展开在系统存储器52上并执行该程序时，实现该处理。
在S401中，系统控制单元50判断是否设置了HDR拍摄模式。当设置HDR拍摄模式时，系统控制单元50进入S402，否则(当设置SDR拍摄模式时)，系统控制单元50进入S422。
在S402中，系统控制单元50判断数字照相机100是否连接到外部装置300。当连接时，系统控制单元50进入S403，否则，系统控制单元50进入S404。
在S403中，系统控制单元50进行数字照相机100与外部装置300之间的连接处理。稍后将参考图5A至5C描述连接处理的详情。在本实施例中，假定当外部装置支持HDR连接时将形成HDR连接，而当外部装置不支持HDR连接时将形成SDR连接。
在S404中，系统控制单元50(图像处理单元24)以HDR(以HDR图像质量)对已由摄像单元22拍摄并通过A/D转换器23转换为数字信号的图像进行显像。
在S405中，系统控制单元50判断用以显示LV图像的显示单元28或外部装置300是否支持HDR(支持HDR显示)。当支持HDR时，系统控制单元50进入S409，否则，系统控制单元50进入S406。
在S406中，系统控制单元50判断HDR辅助显示的设置是“辅助1”还是“辅助2”。当HDR辅助显示的设置为“辅助1”时，系统控制单元50进入S407，但是当HDR辅助显示的设置为“辅助2”时，系统控制单元50进入S408。在这种情况下，HDR辅助显示是指如下功能：在将HDR图像转换为SDR图像时，使得通过使HDR图像的特定范围优先的情况下将HDR图像转换为SDR图像，用户能够确认HDR图像数据的灰度性。在本实施例中，HDR辅助显示的设置可以在“辅助1”和“辅助2”的两个设置之间切换(改变)。“辅助1”是高亮度优先设置，而“辅助2”是低亮度优先设置。应当注意，HDR辅助显示的设置可以通过用户操作来修改。另外，HDR图像是指动态范围比规定范围宽的图像。此外，SDR图像是指动态范围比规定范围窄的图像。
在S407中，系统控制单元50根据“辅助1”的设置对在S404中显像的HDR LV图像进行SDR转换处理(从HDR转换为SDR的处理)，并且在显示单元28或外部装置300上以SDR(以SDR图像质量)显示LV图像。假定系统控制单元50还将进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S408中，系统控制单元50根据“辅助2”的设置对在S404中显像的HDR LV图像进行SDR转换处理(从HDR转换为SDR的处理)，并且在显示单元28或外部装置300上以SDR显示LV图像。假定系统控制单元50也以与S407同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S409中，系统控制单元50在不修改HDR的情况下在显示单元28或外部装置300上显示在S404中显像的HDR LV图像。假定系统控制单元50以与S407同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S410中，系统控制单元50判断是否按下了菜单按钮70e。当按下菜单按钮70e时，系统控制单元50进入S411，否则，系统控制单元50进入S412。
在S411中，系统控制单元50进行拍摄菜单处理并且进入S412。稍后将参考图6A和6B描述拍摄菜单处理的详情。
在S412中，系统控制单元50判断是否按下了信息按钮70g。当按下信息按钮70g时，系统控制单元50进入S413，否则，系统控制单元50进入S414。
在S413中，系统控制单元50切换拍摄信息的显示。拍摄信息的示例包括直方图和高亮警告。
在S414中，系统控制单元50判断快门按钮61是否处于半按下(SW1)状态。当快门按钮61处于半按下状态时，系统控制单元50进入S415，否则，系统控制单元50进入S420。
在S415中，系统控制单元50进行先前描述的AF处理/AE处理。
在S416中，系统控制单元50判断快门按钮61是否处于完全按下(SW2)状态。当快门按钮61处于完全按下状态时，系统控制单元50进入步骤S418，否则，系统控制单元50进入步骤S417。
在S417中，系统控制单元50判断是否维持快门按钮61的半按下(SW1)状态。当维持时，系统控制单元50进入S415，否则，系统控制单元50进入S420。
在S418中，系统控制单元50进行HDR拍摄处理。稍后将参考图7A至7H描述HDR拍摄处理的详情。
在S419中，系统控制单元50进行快速回放显示处理。稍后将参考图4B描述快速回放显示处理的详情。
在S420中，系统控制单元50判断是否按下了LV按钮76(运动图像按钮)。当按下了LV按钮76时，系统控制单元50进入S421，否则，系统控制单元50进入S438。
在S421中，系统控制单元50使在S404中以HDR显像的图像进行HEVC压缩，并且将该图像记录为HDR运动图像文件。
在S422中，系统控制单元50判断数字照相机100是否连接到外部装置300。当连接时，系统控制单元50进入S423，否则，系统控制单元50进入S424。
在S423中，系统控制单元50进行数字照相机100与外部装置300之间的连接处理。稍后将参考图5A至5C描述连接处理的详情。在这种情况下，由于拍摄模式是SDR拍摄模式，因此数字照相机100和外部装置300将通过SDR连接来连接。
在S424中，系统控制单元50(图像处理单元24)以SDR(以SDR图像质量)对由摄像单元22拍摄并由A/D转换器23转换为数字信号的图像进行显像。
在S425中，系统控制单元50在不修改SDR的情况下在显示单元28或外部装置300上显示在S424中显像的SDR LV图像。假定系统控制单元50以与S407同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
由于S426至S433的处理步骤与先前描述的S410至S417的处理步骤相同，因此将省略其描述。
在S434中，系统控制单元50进行SDR拍摄处理。以与稍后参考图7A至7H描述的HDR拍摄处理同样的方式进行SDR拍摄处理。然而，在SDR拍摄处理的情况下，在S710中，系统控制单元50压缩不是经过了S707中的HDR显像而是经过了SDR显像的SDR图像来作为主图像。
在S435中，系统控制单元50进行快速回放显示处理。稍后将参考图4B描述快速回放显示处理的详情。
在S436中，系统控制单元50判断是否按下了LV按钮76。当按下了LV按钮76时，系统控制单元50进入S437，否则，系统控制单元50进入S438。
在S437中，系统控制单元50使在S424中以SDR显像的图像进行H264压缩，并且将该图像记录为SDR运动图像文件。
在S438中，系统控制单元50判断是否按下了重放按钮79。当按下了重放按钮79时，系统控制单元50进入S439，否则，系统控制单元50进入S440。
在S439中，系统控制单元50进行重放模式处理。稍后将参考图9A至9H以及图10A和10B描述重放模式处理的详情。
在S440中，判断是否要结束LV拍摄模式处理。当要结束LV拍摄模式处理时，系统控制单元50结束当前处理流程，否则，系统控制单元50进入S401。
《快速回放显示处理(S419、S435)》
图4B是示出根据本实施例的快速回放显示处理(S419、S435)的流程图。当系统控制单元50将记录在非易失性存储器56中的程序展开在系统存储器52上并执行该程序时，实现该处理。
在S451中，系统控制单元50判断快速回放显示是否被设置为“可用”。当快速浏览显示被设置为“可用”时，系统控制单元50进入S452，否则(当快速浏览显示被设置为“不可用”时)系统控制单元50结束当前处理流程。
在S452中，系统控制单元50判断是否在HDR拍摄模式下进行了拍摄。当在HDR拍摄模式下进行了拍摄时，系统控制单元50进入S453，否则(当在SDR拍摄模式下进行了拍摄时)，系统控制单元50进入S460。
在S453中，系统控制单元50判断用以进行快速回放显示的显示单元28或外部装置300是否支持HDR。当支持HDR时，系统控制单元50进入S457，否则，系统控制单元50进入S454。
在S454中，系统控制单元50判断是否通过RAW静止图像拍摄进行了拍摄。在RAW静止图像拍摄的情况下，系统控制单元50进入S455，否则(在HEIF静止图像拍摄的情况下)，系统控制单元50进入S456。
在S455中，系统控制单元50将RAW图像文件中的用于显示的HDR图像转换为SDR图像(从HDR转换为SDR)并且在显示单元28或外部装置300上以SDR显示转换后的图像。系统控制单元50可以进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S456中，系统控制单元50将HEIF图像文件中的用于显示的HDR图像转换为SDR图像(从HDR转换为SDR)，并且在显示单元28或外部装置300上以SDR显示转换后的图像。系统控制单元50可以以与S455同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S457中，系统控制单元50以与S454同样的方式判断是否通过RAW静止图像拍摄进行了拍摄。在RAW静止图像拍摄的情况下，系统控制单元50进入S458，否则(在HEIF静止图像拍摄的情况下)，系统控制单元50进入S459。
在S458中，系统控制单元50在显示单元28或者外部装置300上以HDR显示RAW图像文件中的用于显示的HDR图像。系统控制单元50可以以与S455同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S459中，系统控制单元50在显示单元28或外部装置300上以HDR显示HEIF图像文件中的用于显示的HDR图像。系统控制单元50可以以与S455同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S460中，系统控制单元50判断是否通过RAW静止图像拍摄进行了拍摄。在RAW静止图像拍摄的情况下，系统控制单元50进入S461，否则(在JPEG静止图像拍摄的情况下)，系统控制单元50进入S462。
在S461中，系统控制单元50在显示单元28或外部装置300上以SDR显示RAW图像文件中的用于显示的SDR图像。系统控制单元50可以以与S455同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S462中，系统控制单元50在显示单元28或外部装置300上以SDR显示JPEG图像文件中的用于显示的SDR图像。系统控制单元50可以以与S455同样的方式进行向适合于显示单元28或外部装置300的大小的大小调整处理。
在S463中，系统控制单元50判断快门按钮61是否被按下(半按下(SW1))。当按下了快门按钮61时，系统控制单元50结束当前处理流程，否则，系统控制单元50进入S464。
在S464中，系统控制单元50判断快速回放显示(通过快速回放显示处理进行显示)的时间是否已经达到或超过至少规定设置时间。当达到或超过规定设置时间或更长时间时，系统控制单元50结束当前处理流程，否则，系统控制单元50进入S463。应当注意，设置时间可以由用户配置和改变。
《连接处理(S403、S423)》
图5A是示出当数字照相机100和外部装置300彼此连接时的连接处理(S403、S423)的序列图。将基于数字照相机100和外部装置300彼此连接的假定来描述本实施例。
在S501中，系统控制单元50控制数字输出I/F 90并开始向外部装置300发送+5V信号。所发送的+5V信号通过连接线缆302的+5V信号线(未示出)发送到外部装置300。外部装置300接收连接线缆302的+5V信号，并且进入S502。
在S502中，外部装置300检测到数字照相机100经由连接线缆302连接到外部装置300，并且进入S503。
在S503中，外部装置300开始经由连接线缆302的HPD信号线(未示出)向数字照相机100发送HPD信号(热插拔检测信号)。数字照相机100的数字输出I/F 90经由连接线缆302接收所发送的HPD信号。在接收到HPD信号时，数字输出I/F 90向系统控制单元50通知HPD信号的接收，并且进入S504。
在S504中，系统控制单元50基于HPD信号的接收的通知来检测外部装置300的连接，并且进入S505。
在S505中，系统控制单元50控制数字输出I/F 90并从连接线缆302发送EDID(扩展显示识别数据)请求信号。所发送的EDID请求信号通过连接线缆302的EDID信号线(未示出)发送到外部装置300。外部装置300接收EDID请求信号，并且进入S506。
在S506中，外部装置300从连接线缆302的EDID信号线(未示出)发送EDID。数字照相机100的数字输出I/F 90经由连接线缆302接收所发送的EDID。一旦接收到EDID，数字输出I/F 90向系统控制单元50通知接收到EDID，并且进入S507。
在S507中，系统控制单元50向数字输出I/F 90发出指示，以将在S506中接收到的EDID复制到存储器32。在拷贝完成之后，系统控制单元50分析在存储器上展开的EDID，判断可以由外部装置300接受的视频信号(外部装置300的能力)，并且进入S508。
在S508中，系统控制单元50判断是输出HDR信号还是SDR信号。在本实施例中，在数字照相机100的设置为启用HDR并且外部装置300支持HDR的情况下，系统控制单元50向外部装置300输出HDR信号，否则，输出SDR信号。外部装置300支持HDR的情况的示例包括如S507中所判断的可以由外部装置300接受的视频信号中包括HDR信号的情况。
在S509中，系统控制单元50向数字输出I/F 90发出用以开始发送在S508中所判断的信号的指示。已经接收到用以开始发送的指示的数字输出I/F 90经由连接线缆302开始发送视频信号(SDR信号或HDR信号)，并且进入S510。
在S510中，系统控制单元50经由连接线缆302的TMDS(Transition MinimizedDifferential Signaling，最小化传输差分信号)信号线(未示出)将视频信号输出到外部装置300。外部装置300经由连接线缆302的TMDS信号线(未示出)接收视频信号，并且进入S511。
在S511中，外部装置300分析在S510中接收到的视频信号，将显示器301的驱动切换为使得能够显示视频信号的设置，并且进入S512。
在S512中，外部装置300在外部装置300的显示器301上显示在S510中接收到的视频信号。
图5B和5C是示出在数字照相机100和外部装置300彼此连接并且在外部装置300上显示视频的状态下当视频输出从SDR图像切换为HDR图像时(或者当视频输出从HDR图像切换为SDR图像时)的处理的图。
图5B是示出用于将从数字照相机100到外部装置300的视频输出从SDR图像切换为HDR图像的处理的序列图。在这种情况下，假定数字照相机100和外部装置300之间的连接已经完成。
在S521中，系统控制单元50向数字输出I/F 90发出用以发送SDR视频信号(SDR信号)的指示，并且进入S522。
在S522中，系统控制单元50经由连接线缆302的TMDS信号线(未示出)将SDR视频信号输出到外部装置300。外部装置300经由连接线缆302的TMDS信号线(未示出)接收SDR视频信号，并且进入S523。
在S523中，外部装置300在外部装置300的显示器301上显示在S522中接收到的SDR视频信号。当数字照相机100正输出SDR视频信号时，通过重复S521至S523的处理步骤，在外部装置300的显示器301上显示SDR图像。当数字照相机100将到外部装置300的视频输出从SDR图像切换为HDR图像时，执行S524以及此后的处理步骤。
在S524中，系统控制单元50控制数字输出I/F 90并发出暂停SDR视频信号的输出的指示，并且进入S525。
在S525中，系统控制单元50发出经由连接线缆302的TMDS信号线(未示出)发出意思是要暂停视频信号的发送(输出)的通知。外部装置300经由连接线缆302的TMDS信号线(未示出)接收意思是要暂停SDR视频信号的发送的通知，并且进入S526。
在S526中，由于来自数字照相机100的视频的接收被暂停，因此外部装置300暂停在外部装置300的显示器301上显示视频，并且进入S527。
在S527中，系统控制单元50向数字输出I/F 90发出用以发送HDR视频信号的指示，并且进入S528。
在S528中，系统控制单元50经由连接线缆302的TMDS信号线(未示出)输出HDR视频信号。外部装置300经由连接线缆302的TMDS信号线(未示出)接收HDR视频信号，并且进入S529。
在S529中，外部装置300分析在S528中接收到的视频信号，将显示器301的驱动切换为用于显示HDR视频信号的设置，并且进入S530。
在S530中，外部装置300在外部装置300的显示器301上显示在S528中接收到的HDR视频信号。此时，由于S529至S530的处理时间根据外部装置300的性能而不同，因此直到显示视频为止，可能需要约1至5秒。
图5C是示出用于将从数字照相机100到外部装置300的视频输出从HDR图像切换为SDR图像的处理的序列图。在这种情况下，假定数字照相机100和外部装置300之间的连接已经完成。
在S541中，系统控制单元50向数字输出I/F 90发出用以发送HDR视频信号(HDR信号)的指示，并且进入S542。
在S542中，系统控制单元50经由连接线缆302的TMDS信号线(未示出)向外部装置300输出HDR视频信号。外部装置300经由连接线缆302的TMDS信号线(未示出)接收HDR视频信号，并且进入S543。
在S543中，外部装置300在外部装置300的显示器301上显示在S542中接收到的HDR视频信号。当数字照相机100正输出HDR视频信号时，通过重复处理步骤S541至S543，在外部装置300的显示器301上显示HDR图像。当数字照相机100将到外部装置300的视频输出从HDR图像切换为SDR图像时，执行S544以及此后的处理步骤。
在S544中，系统控制单元50向数字输出I/F 90发出用以暂停HDR视频信号的输出的指示，并且进入S545。
在S545中，系统控制单元50经由连接线缆302的TMDS信号线(未示出)，发出意思是要暂停视频信号的发送(输出)的通知。外部装置300经由连接线缆302的TMDS信号线(未示出)接收意思是要暂停HDR视频信号的发送的通知，并且进入S546。
在S546中，由于来自数字照相机100的视频的接收被暂停，因此外部装置300暂停在外部装置300的显示器301上显示视频，并且进入S547。
在S547中，系统控制单元50向数字输出I/F 90发出用以发送SDR视频信号的指示，并且进入S548。
在S548中，数字照相机100经由连接线缆302的TMDS信号线(未示出)输出SDR视频信号。外部装置300经由连接线缆302的TMDS信号线(未示出)接收SDR视频信号，并且进入S549。
在S549中，外部装置300分析在S548中接收到的视频信号，将显示器301的驱动切换为用于显示SDR视频信号的设置，并且进入S550。
在S550中，外部装置300在外部装置300的显示器301上显示在S548中接收到的SDR视频信号。此时，由于S549至S550的处理时间根据外部装置300的性能而不同，因此直到显示视频为止，可能需要约1至5秒。
《拍摄菜单处理(S411、S427)》
图6A和6B是示出根据本实施例的拍摄菜单处理的详情的流程图。当系统控制单元50将记录在非易失性存储器56中的程序展开到系统存储器52上并执行该程序时，实现该处理。
在S601中，系统控制单元50判断是否设置了HDR拍摄模式。当设置了HDR拍摄模式时，系统控制单元50进入S603，否则(当设置了SDR拍摄模式时)，系统控制单元50进入S602。
在S602中，系统控制单元50显示在正常SDR拍摄期间要使用的菜单。在S603中，系统控制单元50通过将在HDR拍摄期间不并用的功能改变为禁用状态(变灰色)来显示菜单。
在S604中，系统控制单元50判断用户是否选择了与HDR拍摄有关的设置项。当用户选择了与HDR拍摄有关的设置项时，系统控制单元50进入S605，否则，系统控制单元50进入S610。
在S605中，系统控制单元50判断用户是否将与是否要进行HDR拍摄有关的设置切换为“启用”。当用户将设置切换为“启用”时，系统控制单元50进入S606，否则，系统控制单元50进入S607。
在S606中，系统控制单元50将与是否要进行HDR拍摄有关的设置改变为“启用”，并将设置值记录在系统存储器52中。
在S607中，系统控制单元50判断用户是否改变了HDR辅助显示的设置。当用户改变了设置时，系统控制单元50进入S608，否则，系统控制单元50进入S609。当与是否要进行HDR拍摄有关的设置被“禁用”时，HDR辅助显示的设置期望不可改变。
在S608中，系统控制单元50改变拍摄期间的HDR辅助显示的设置，并将设置值记录在系统存储器52中。当HDR辅助显示的设置为“启用”时，至少两个设置值(选项)可作为变量而可用。
在S609中，系统控制单元50判断用户是否发出了HDR设置的结束指示。当尚未发出结束指示时，系统控制单元50进入S604，而当已经发出结束指示时，系统控制单元50进入S610。
在S610中，系统控制单元50判断用户是否选择了与静止图像记录图像质量有关的设置项。当用户选择了与静止图像记录图像质量有关的设置项时，系统控制单元50进入S611，否则，系统控制单元50进入S651(图6B)。
在S611中，系统控制单元50判断是否设置了HDR拍摄模式。当设置了HDR拍摄模式时，系统控制单元50进入S612，否则(当设置了SDR拍摄模式时)，系统控制单元50进入S614。
在S612中，系统控制单元50显示用于HDR拍摄的设置画面。在S613中，系统控制单元50通过用户选择接受用于HDR拍摄的记录图像质量。假定作为用于HDR拍摄的记录图像质量，可以通过用户选择“RAW图像”、“HDR静止图像文件”和“RAW+HDR静止图像文件的双图像同时输出”中的任一个。另外，假定作为图像大小，可以选择接近传感器读取期间的像素数的“大”、稍较小的“中”、以及进一步较小的“小”等中的任一个。此外，假定作为要减小(压缩)文件大小容量的压缩率，可以选择“高图像质量(低压缩率)”、“标准(高压缩率)”和“低图像质量(高压缩率)”中的任一个。
在S614中，系统控制单元50显示用于SDR拍摄的设置画面。在S615中，系统控制单元50通过用户选择接受用于SDR拍摄的记录图像质量。假定以与上述方式同样的方式提供用于设置用于SDR拍摄的记录图像质量等的多个选项。
在S651(图6B)中，系统控制单元50判断用户是否选择了与运动图像记录图像质量有关的设置项。当用户选择了与运动图像记录图像质量有关的设置项时，系统控制单元50进入S652，否则，系统控制单元50进入S657。
在S652中，系统控制单元50判断是否设置了HDR拍摄模式。当设置了HDR拍摄模式时，系统控制单元50进入S653，否则(当设置了SDR拍摄模式时)，系统控制单元50进入S655。
在S653中，系统控制单元50显示用于HDR拍摄的设置画面。在S654中，系统控制单元50通过用户选择而接受用于HDR拍摄的记录图像质量。假定作为设置用于HDR拍摄的记录图像质量，用户可以选择“RAW运动图像”、“RAW运动图像+代理运动图像”、“HDR运动图像文件”和“RAW+代理运动图像+HDR运动图像文件的三图像同时输出”中的任一个。另外，假定作为图像大小，可以选择“8K”、“4K”、“全HD”、“HD”和“VGA”等中的任一个。此外，假定作为要减小(压缩)文件大小容量的压缩率，可以选择诸如ALL-I等的“高图像质量(低压缩率)”、诸如IPB等的“标准”、以及“低图像质量(高压缩率)”等中的任一个。另外，可以使帧频和广播系统(NTSC、PAL等)可选。
在S655中，系统控制单元50显示用于SDR拍摄的设置画面。在S656中，系统控制单元50通过用户选择接受用于SDR拍摄的记录图像质量。假定以与HDR拍摄同样的方式提供用于设置用于SDR拍摄的记录图像质量的多个选项。
在S657中，系统控制单元50判断用户是否选择了HDR输出的设置项。当用户选择了HDR输出的设置项时，系统控制单元50进入S658，否则，系统控制单元50进入S660。
在S658中，系统控制单元50判断用户是否已将HDR输出设置切换为“启用”。当用户将设置切换为“启用”时，系统控制单元50进入S659，否则，系统控制单元50进入S660。
在S659中，系统控制单元50将HDR输出设置改变为“启用”，并将设置值记录在系统存储器中。
在S660中，系统控制单元50判断用户是否选择了用于重放期间的观看辅助的设置项。当用户选择了用于重放期间的观看辅助的设置项时，系统控制单元50进入S661，否则，系统控制单元50进入S663。
在S661中，系统控制单元50判断用户是否已将重放期间的观看辅助的设置切换为“启用”。当用户将设置切换为“启用”时，系统控制单元50进入S662，否则，系统控制单元50进入S663。
在S662中，系统控制单元50将重放期间的观看辅助的设置改变为“启用”并将设置值记录在系统存储器中。
在S663中，系统控制单元50判断用户是否选择了用于传送期间的SDR转换的设置项。当用户选择了用于传送期间的SDR转换的设置项时，系统控制单元50进入S664，否则，系统控制单元50进入S665。
在S664中，系统控制单元50在“启用”和“禁用”之间切换传送期间的SDR转换的设置。
在S665中，系统控制单元50判断用户是否选择了其它设置项。当用户选择了其它设置项时，系统控制单元50进入S666，否则，系统控制单元50进入S667。在S666中，系统控制单元50进行与其它设置项相关联的处理。
在S667中，系统控制单元50判断是否从用户接受了用以结束拍摄菜单处理的指示。当接受了用以结束拍摄菜单处理的指示时，系统控制单元50结束当前处理流程，否则，系统控制单元50进入S601。
《HDR拍摄处理(S418)》
图7A是示出根据本实施例的HDR拍摄处理(S418)的详情的流程图。将描述由图像处理单元24以HDR对写入存储器32的RAW数据进行显像的示例。
诸如数字照相机或数字摄像机等的摄像设备具有用于根据拍摄时的光源来校正所拍摄的图像的色调的白平衡功能。白平衡功能是用于对根据光源(诸如晴天或阴天等的自然光源，或者诸如荧光灯或白炽灯等的人工光源)而改变的色调中的差异进行校正以使得不管光源如何、白色都看起来相同的功能。
在S701中，系统控制单元50经由存储器控制单元15获取RAW数据。
在S702中，系统控制单元50基于所获取的RAW数据进行用于判断白色像素的处理(白色搜索框内判断处理)。
在S703中，系统控制单元50基于S702的结果计算白平衡处理所需的白平衡系数。稍后将使用图7B所示的流程图来描述S702和S703的处理(白平衡系数的计算处理)的详情。
在S704～S706中，系统控制单元50计算灰度校正处理所需的灰度校正参数。稍后将使用图7D所示的流程图来描述灰度校正参数的计算处理的详情。
在S707中，系统控制单元50使用所计算出的白平衡系数、灰度校正参数和用于HDR的各种参数来进行显像。作为显像参数，可以使用颜色矩阵、照相机OETF曲线数据、颜色调整参数、降噪参数、或锐度参数等。例如，作为颜色OETF，虽然假定由ST.2084标准化的PQ(Perceptual Quantization，感知量化)的EOTF(Electro-Optical Transfer Function，电光传递函数)的反向特性，但是可以组合照相机侧OOTF(Opto-Optical TransferFunction，光光传递函数)。可选地，可以使用作为ARIB STD-B67开发的HLG(Hybrid Log-Gamma，混合对数伽马)的OETF。
在S708中，系统控制单元50对在S707中显像的图像进行大小调整，生成MPF(多像素格式)图像作为用于在两个画面之间进行比较的图像(用于简化显示的图像)，并且压缩MPF图像。
在S709中，系统控制单元50还对在S708中生成的MPF图像进行大小调整，以生成要在索引显示(索引重放)等中使用的缩略图图像，并且压缩缩略图图像。
在S710中，系统控制单元50压缩在S707中显像的HDR图像作为主图像。虽然存在很多可想到的压缩方法，但是例如在10位YUV422数据的情况下，可以由H.265(ISO/IEC23008-2HEVC)进行压缩。
在S711中，系统控制单元50基于用户设置(记录图像质量设置)来判断是否进行了RAW记录。当要进行RAW记录时，系统控制单元进入S712，否则，系统控制单元进入S713。
在S712中，系统控制单元50压缩RAW图像并经由记录介质I/F 18将压缩后的RAW图像记录在记录介质200中。压缩后的RAW图像被添加头部并记录为文件。虽然存在数个可想到的压缩方式，但是可以使用可逆而不会劣化的无损压缩或者不可逆但使得文件大小能够减少的有损压缩。另外，作为检测元数据，头部记录S702的处理结果、在S704中获得的直方图以及在S705中获得的面部检测结果。此外，头部还记录当用户设置了HDR拍摄时用于HDR的显像参数(诸如白平衡系数和灰度校正量等)以及在S708中生成的用于显示的MPF图像。
对于显像参数，虽然用于SDR的显像参数要在SDR拍摄的情况下使用，但是当如在单拍模式下那样处理速度允许余裕时，也可以在HDR拍摄期间生成用于SDR的显像参数，并且可以记录用于SDR的显像参数和用于HDR的显像参数这两者(图8A和8C)。另外，当如在单拍模式下那样处理速度允许余裕时，除了用于HDR的显示图像之外，还可以使用用于SDR的显像参数来创建SDR图像质量的主图像、MPF图像和缩略图图像，并且可以将用于HDR的显示图像和用于SDR的显示图像记录在同一文件中(图8D)。此外，当显示缩略图时，因为由于图像的小而使得大致知道图像看起来是什么样就足够了，所以可以仅创建在S709中创建的缩略图图像并将其保存为SDR显像图像(图8E)。通过采用这种结构，即使是不支持作为HDR压缩方式的H.265的解码的产品，也可以仅显示缩略图图像。
在S713中，系统控制单元50压缩显像后的HDR图像并添加静态元数据或动态元数据，并且将压缩后的HDR图像作为文件经由记录介质I/F 18记录在记录介质200中。静态元数据包括符合CEA-861.3的显示的三原色和白色点的x、y坐标，以及母版显示(masteringdisplay)的最大亮度值和最小亮度等。另外，静态元数据的示例包括最大内容光级别(maximum content light level)和最大帧平均光级别(maximum frame-average lightlevel)。此外，动态元数据包括如SMPTE ST 2094中定义的颜色量转换的动态色调映射的元数据。由于以PQ信号表示HDR特性需要10位的最小深度，由于传统JPEG格式的深度是8位，因而必须新采用用于静止图像HDR的容器。因此，在本实施例中，使用HEIF(High EfficiencyImage File Format，高效图像文件格式)的容器。HEIF是由MPEG(运动图像专家组)开发的并在MPEG-H Part 12(ISO/IEC 23008-12)中定义的图像文件格式。HEIF的特征是，不仅主图像而且缩略图、时间相关图像以及诸如EXIF和XMP等的元数据也可以存储在单个文件中。因此，HEIF是方便的，这是因为也可以存储以HEVC编码的10位图像序列。
《白平衡系数的计算处理(S702、S703)》
图7B是示出根据本实施例的白平衡系数的计算处理(S702、S703)的详情的流程图。
在S721中，系统控制单元50进行去拜耳(debayering)处理。对于RAW数据，各个像素仅包括R、G和B中的任一个的信号。由于进行白色搜索需要转换为颜色信号，因此进行去拜耳处理。虽然存在数个用于生成R、G和B的所有通道的信号的去拜耳方法，但是例如使用低通滤波器通过线性插值来生成信号。
在S722中，系统控制单元进行用于从去拜耳后的信号中减去光学黑分量的处理。通常，对于RAW数据，由于噪声的影响，光学黑(OB)不是0，而是具有值。因此，必须从去拜耳后的信号中减去OB分量。
在S723中，系统控制单元50使用下式(1)根据所获取的RGB信号来计算颜色信号Cx、Cy，其中，Cx表示色温，以及Cy对应于绿色方向校正量。Yi表示亮度值。
Figure BDA0002936609740000281
图7C示出CxCy平面。如图7C所示，通过使用摄像设备预先在从高色温(诸如在白天等)到低色温(诸如在日落时)的各种色温下拍摄白色并在坐标上标绘颜色评价值Cx、Cy，可以确定作为检测白色所用的基准的白色轴1200。由于在实际的光源中白色存在轻微的变化，因此进行为白色轴1200的两侧提供宽度的处理(S724)。该(具有宽度的白色轴)将被称为白色搜索框1201。
在S725中，系统控制单元50将去拜耳后的各个像素标绘在CxCy坐标系上，并判断像素是否在白色搜索框1201内。
在S726中，系统控制单元50进行明暗去除处理，该明暗去除处理用于在落入白色搜索框内的像素中、将作为积分对象像素限制在亮度方向上。进行该处理以防止由于过暗颜色易受噪声的影响而导致白平衡系数的计算精度下降。以同样的方式，由于过明颜色的各个通道中的任何通道的传感器饱和破坏R/G比或B/G比的平衡并导致与正确颜色的分离，因此进行该处理以防止白平衡系数的计算精度下降。在这种情况下，例如，在SDR中将高达+1EV的亮度视为明度侧的对象，而在HDR中通过将高达+2EV的亮度视为对象，可以计算对于HDR而言更优化的白平衡系数。
在S727中，系统控制单元50根据在白色搜索框内并且进行了明暗去除处理的Cx、Cy来计算各个颜色评价值的积分值SumR、SumG和SumB(白色节点分析处理)。
在S728中，系统控制单元50使用下式(2)根据所计算出的积分值计算白平衡系数WBCo_R、WBCo_G和WBCo_B。应当注意，白平衡系数(WB系数)的值可以针对由用户设置的拍摄模式(SDR拍摄或HDR拍摄)来计算，或者可以针对SDR和HDR这两者来计算。
Figure BDA0002936609740000291
《灰度校正参数的计算处理(S704至S706)》
图7D是示出根据本实施例的灰度校正参数的计算处理(S704至S706)的详情的流程图。
在S731中，系统控制单元50使用在图7A所示的S701至S703的处理步骤中生成的WB系数来进行WB处理。
在S732中，系统控制单元50进行直方图检测。具体地，系统控制单元50将在S731中获得的白平衡的增益值应用于整个图像数据。此外，系统控制单元50根据进行了伽马校正处理的像素值(图像)生成直方图作为亮度信息。对于伽马校正处理，虽然可以使用使用已知查找表的方法，但是优选地使用与显像中使用的伽马特性相同的伽马特性。然而，为了节省处理时间和存储量，可以使用简化的伽马特性，诸如由折线近似的伽马特性等。一般而言，由于图像的端部通常不那么重要，并且取决于用于拍摄的透镜而受到周边光强度的下降的影响，因此可以通过排除周边边缘部分中的像素来创建直方图。
在S733中，系统控制单元50进行面部检测的预处理。这涉及对图像数据应用缩小处理和伽马处理等，以使得能够容易地检测到面部。可以将各种已知方法应用为面部检测的预处理。
在S734中，系统控制单元50使用已知方法对预处理后的图像数据进行面部检测处理。由于面部检测处理，获得了被检测为面部的区域(面部区域)和检测的可靠度。
在S735中，系统控制单元50计算用以补偿曝光校正量(减少量)的灰度校正量(灰度校正量(A))作为第一灰度校正量。这样，计算输入/输出特性的灰度校正量，使得在图像的暗部获得适当的曝光的同时，不校正至少预先确定的亮度级别的高亮度像素(至少曝光校正量没有被完全补偿)。因此，进一步防止明部在灰度校正之后变为高光溢出。可以根据曝光校正量预先准备灰度校正量作为多个校正表。
在S736中，系统控制单元50判断是否已检测到面部。具体地，系统控制单元50在通过S734中的面部检测处理检测到的面部区域中存在可靠度高于预先设置的评价阈值的面部区域时，判断为已经检测到面部。当已经检测到面部时，系统控制单元50进入S737，否则，系统控制单元50进入S741。
在S737中，系统控制单元50将所检测到的面部区域的部分区域检测为面部亮度获取区域。面部亮度获取区域是用于获取面部的亮部的亮度的区域，并且面部亮度获取区域的数量和位置等没有特别限制。
在S738中，对于各个面部亮度获取区域，系统控制单元50获得该区域中包括的各个类型的R像素、G像素和B像素的平均值(计算面部亮度)。此外，对于RGB像素的各平均值，以与直方图检测同样的方式应用白平衡的增益值，并且在进行伽马校正之后，使用下式(3)将平均值转换为亮度值Y。应当注意，要在直方图检测和面部检测中应用的白平衡的增益值优选是针对同一图像数据在WB处理中已经使用的同一增益值。虽然理想地在伽马校正中使用在显像中使用的同一亮度伽马，但是为了节省处理时间和存储量，可以使用简化的伽马特性，诸如由折线近似的伽马特性等。
Y＝0.299×R+0.587×G+0.114×B···(3)
在S739中，系统控制单元50将在S738中针对各个面部亮度获取区域所获得的亮度值转换为假定适当曝光的状态的值。该处理的目的是：由于在比适当曝光低的曝光下拍摄了图像数据，因此对面部的亮度被检测为比在适当曝光下拍摄图像数据时低的情形进行校正。当转换亮度值时，可以补偿通过曝光控制所确定的曝光校正量(减少量)，或者可以使用在S735中计算出的灰度校正量。
在S740中，系统控制单元50计算所检测到的面部的亮度的代表值。作为代表值，例如，可以基于检测到的面部区域的各个面部亮度获取区域的亮度值来获得诸如最大值等的统计量。
在S741中，系统控制单元50检测直方图特征值。例如，直方图特征值是从直方图的暗侧起累积频数为1％的像素所属于的级别(SD)，或者从直方图的明侧起累积频数为1％的像素所属于的级别(HL)。
在S742中，系统控制单元50将在S741中计算出的直方图特征值转换为假定以适当曝光拍摄的值。该处理的目的是：由于以比适当曝光低的曝光拍摄了图像数据，因此对直方图特征值被检测为比以适当曝光拍摄图像数据时低的情形进行校正。当转换亮度值时，可以补偿通过曝光控制所确定的曝光校正量(减少量)，或者可以使用在S735中计算出的灰度校正量。
在S743中，系统控制单元50计算目标校正量。首先，系统控制单元50获得面部的代表亮度值或针对直方图特征值的目标亮度级别。接着，系统控制单元50基于目标亮度级别以及图像数据中的亮度的最小值和最大值，使用样条插值等来创建用于针对输入亮度级别而确定输出亮度级别的查找表(输入/输出特性)。在下文中，查找表也将被称为灰度校正量(B)或第二灰度校正量。
在这种情况下，在HDR中，目标灰度校正量可以与SDR区分开。图7E示出以SDR显示的示例。图7F示出以HDR显示的示例。尽管被摄体的亮度值是相同的值，但是SDR中的背景最高是100cd/m2，而HDR中的背景具有超过100cd/m2的值。结果，即使被摄体的亮度值相同，HDR也可以给出更暗的印象。这是可归因于人的视觉特性的被称为亮度对比的现象。在这种情况下，通过应用与如图7G所示的SDR中计算的灰度校正量相比的、如图7H所示的使暗部较少暗的校正值，能够产生外观上的优选结果。
虽然针对面部的代表亮度值和图像数据的直方图特征值的目标亮度级别可以被设置为被认为是经验上优选的固定值，但是可以根据代表亮度值或直方图特征值的值来设置不同的目标亮度级别。在这种情况下，可以针对要设置目标亮度级别的各参数(代表亮度值或直方图特征值)准备用于确定目标亮度级别相对于输入级别的关系的查找表。通过诸如样条插值等的方法获得用于实现向以这种方式确定的目标亮度级别的转换的校正特性，并且如果需要，将校正特性保存为用于应用灰度校正量(B)的查找表(或关系表达式)。
在S744中，系统控制单元50将在S735中计算出的灰度校正量(A)和在S743中计算出的灰度校正量(B)彼此合成。例如，系统控制单元50获得通过首先将灰度校正量(A)应用于各输入亮度级别并且随后将灰度校正量(B)应用于校正后的亮度级别而产生的亮度值，并且创建输出亮度级别相对于各输入亮度级别的查找表。
在S745中，系统控制单元50进行用于限制在S744中获得的合成校正量(合成灰度校正量)的上限值的处理(限制器处理)。通过将灰度校正量(A)和灰度校正量(B)彼此合成，由于在校正后的图像中校正量增加且噪声量变得更明显，因此对整体校正量施加限制。可以通过准备针对各亮度值所允许的最大校正量作为表，并且将在S744中创建的查找表的值中超过最大校正量的输出级别替换为与最大校正量相对应的输出级别，来实现限制器处理。应注意，可以将由用户设置的拍摄模式(SDR拍摄或HDR拍摄)的值计算为灰度校正量，或者可以计算SDR和HDR这两者的灰度校正量。
《数据结构》
图8A示出要在上述记录处理的各个步骤中记录在记录介质200中的静止图像RAW图像数据的结构。下面例示的文件格式是在ISO/IEC 14496-12中定义的ISO基媒体文件格式。因此，本文件格式具有树结构并且具有被称为盒(box)的相应节点。另外，各个盒可以具有多个盒作为子元素。
图像数据(图像文件)801在开头具有用于描述文件类型的盒ftyp(802)、包括所有元数据的盒moov(803)、用于轨的媒体数据的主体的盒mdat(808)以及其它盒(807)。盒moov具有用于存储MetaData(805)的盒uuid(804)和用于存储参考ImageData的信息的trak盒(806)作为子元素。在MetaData中，描述图像的元数据，诸如图像的创建的日期和时间、拍摄时的条件、关于以HDR还是SDR进行拍摄的信息以及与拍摄相关的其它信息。先前描述的盒mdat具有作为所拍摄的静止图像的数据的ImageData(809)作为子元素。
在这种情况下，在ImageData(809)中记录的图像中，以SDR拍摄的RAW图像和以HDR拍摄的RAW图像不同。
图8B是示出记录以SDR拍摄的RAW图像的ImageData(809)的图。ImageData(809)具有以SDR图像质量显像并进行了JPEG压缩的THM图像(821)、MPF图像(822)、主图像(823)、RAW图像(824)以及RAW显像参数(825)。
图8C是示出在HDR拍摄时仅具有HDR图像作为显示图像的ImageData(809)的图。ImageData(809)具有以HDR图像质量显像并进行了HEVC压缩的THM图像(826)、MPF图像(827)、主图像(828)、RAW图像(824)和RAW显像参数(825)。
图8D是示出在HDR拍摄时具有HDR图像和SDR图像作为显示图像的ImageData(809)的图。ImageData(809)具有以SDR图像质量显像并进行了JPEG压缩的THM图像(821)、MPF图像(822)、主图像(823)以及以HDR图像质量显像并进行了HEVC压缩的THM图像(826)。ImageData(809)还具有MPF图像(827)、主图像(828)、RAW图像(824)和RAW显像参数(825)。
图8E是示出在HDR拍摄时仅具有SDR图像作为THM图像但具有HDR图像作为MPF图像和主图像的ImageData(809)的图。ImageData(809)具有以SDR图像质量显像并进行了JPEG压缩的THM图像(821)、以HDR图像质量显像并进行了HEVC压缩的MPF图像(827)、主图像(828)、RAW图像(824)以及RAW显像参数(825)。
在本实施例中示出的文件格式仅是示例，并且根据需要可以包括其它盒。可选地，可以采用在moov(803)内的盒中或在其它盒(807)中保持显示图像的结构。
《重放模式处理(SDR)(S439)》
图9A是示出使用显示单元28的重放模式处理(S439)的详情的流程图。当系统控制单元50将记录在非易失性存储器56中的程序展开在系统存储器52上并执行该程序时，实现该处理。
在S901中，系统控制单元50判断是否要进行索引重放。当要进行索引重放时，系统控制单元50进入S902，否则(当要进行正常重放时)，系统控制单元50进入S903。
在S902中，系统控制单元50确定要重放(显示)的图像的数量。在S903中，系统控制单元50确定要重放(显示)的图像。在S904中，系统控制单元50进行要重放的图像的绘制处理。稍后将参考图9B描述绘制处理的详情。
在S905中，系统控制单元50判断要显示的所有图像的绘制是否已经完成。当绘制已经完成时，系统控制单元50进入S906，否则，系统控制单元50进入S903。
在S906中，系统控制单元50进行向显示单元28的图像输出，并结束本处理流程。
系统控制单元50可以进行下面描述的操作接受处理(未示出)。首先，系统控制单元50判断用户是否已经按下菜单按钮70e。当判断为已经按下菜单按钮70e时，进行菜单显示处理。接着，系统控制单元50判断用户是否按下了快门按钮61。当判断为按下快门按钮61时，结束重放模式并进行拍摄模式处理。此外，系统控制单元50判断用户是否操作了电源开关72并且电源是否已断开。当判定为电源已断开时，执行电源断开处理。此外，系统控制单元50判断用户是否进行了图像切换操作。当判断为进行了图像切换操作时，系统控制单元50进入S903并进行下一图像的重放处理。
图9B是示出绘制处理(S904)的详情的流程图。
在S911中，系统控制单元50获取与要重放的图像有关的信息。在S912中，系统控制单元50确定要重放的图像(选择要加载的图像)。稍后将参考图9C描述用于确定要重放的图像的处理的详情。
在S913中，系统控制单元50从记录介质200加载要重放的图像。在S914中，系统控制单元50进行要重放的图像的扩展处理。在S915中，系统控制单元50从在S914中进行了扩展处理的图像数据收集各像素的亮度数据。亮度数据例如是直方图处理或高亮警告处理中要使用的亮度信息。
在S916中，系统控制单元50判断要重放的图像(加载的图像)是否是HDR图像。当要重放的图像(加载的图像)是HDR图像时，系统控制单元50进入S917，否则(当要重放的图像(加载的图像)是SDR图像时)，系统控制单元50进入S920。
在S917中，系统控制单元50判断重放期间的HDR辅助显示的设置是否为“辅助1”。当设置为“辅助1”时，系统控制单元50进入S918，否则(当设置为“辅助2”时)，系统控制单元50进入S919。
在S918中，系统控制单元50根据“辅助1”的设置针对在S914中扩展的图像进行SDR转换(从HDR到SDR的转换)。
在S919中，系统控制单元50根据“辅助2”的设置针对在S914中扩展的图像进行SDR转换(从HDR到SDR的转换)。
在S920中，系统控制单元50针对图像进行放大和缩小处理以至适合于显示单元28的大小。在S921中，系统控制单元50确定所生成的图像的布置、布置图像、并且结束绘制处理。
图9C至9H是示出用于选择要加载的图像的处理(S912)的详情的流程图。
在S926中，系统控制单元50判断是否可以重放所获取的图像。当可以重放图像时，系统控制单元50进入S927，否则，否则系统控制单元50进入S936。
在S927中，系统控制单元50判断要重放的图像是否是静止图像。当要重放的图像是静止图像时，系统控制单元50进入S928，否则，系统控制单元50进入S935。
在S928中，系统控制单元50判断要重放的图像是否是RAW图像。当要重放的图像是RAW图像时，系统控制单元50进入S929，否则系统控制单元50进入S930。
在S929中，系统控制单元50判断要重放的RAW图像是否是以HDR拍摄的RAW图像。当要重放的RAW图像是以HDR拍摄的RAW图像时，系统控制单元50进入S931，否则(当要重放的RAW图像是以SDR拍摄的RAW图像时)，系统控制单元50进入S932。使用参考图8A至8E描述的RAW文件中的元数据进行此时的判断。
在S930中，系统控制单元50判断被判断为不是RAW图像的静止图像是否是以HDR拍摄的图像。当静止图像以HDR拍摄时，系统控制单元50进入S933，否则(当静止图像以SDR拍摄时)，系统控制单元50进入S934。在本实施例中，由于以HDR拍摄的图像被记录为HEIF文件并且以SDR拍摄的图像被记录为JPEG文件，基于图像是HEIF文件还是JPEG文件来判断图像是HDR图像还是SDR图像。可选地，可以使用HEIF文件内的元数据来判断图像是HDR图像还是SDR图像。
在S931中，系统控制单元50从以HDR拍摄的RAW图像的文件中选择要用于重放的图像数据。
在S932中，系统控制单元50从以SDR拍摄的RAW图像的文件中选择要用于重放的图像数据。
在S933中，系统控制单元50从以HDR显像的静止图像的文件中选择要用于重放的图像数据。
在S934中，系统控制单元50从以SDR显像的静止图像的文件中选择要用于重放的图像数据。
在S935中，系统控制单元50从运动图像文件中选择要显示的图像数据(帧)。
在S936中，系统控制单元50进行重放图像的非显示处理。在这种情况下，在显示单元28上显示指示不能进行重放的信息以向用户通知不能重放图像。
图9D是示出用于从以HDR拍摄的RAW图像的文件中选择要用于重放的图像数据的处理(S931)的详情的流程图。
在S941中，系统控制单元50判断是否要进行索引重放。当要进行索引重放时，系统控制单元50进入S942，否则(当要进行正常重放时)，系统控制单元50进入S943。
在S942中，系统控制单元50判断在索引重放中要重放的索引的数量是否为至少36。当要重放的索引的数量至少为36时，系统控制单元50进入S945，否则，系统控制单元50进入S944。虽然在本实施例中根据要重放的索引的数量是否为至少36来进行判断，但是要重放的索引的数量的阈值仅是示例。可选地，可以根据显示单元28的大小来改变要重放的索引的数量的阈值。
在S943中，系统控制单元50将“用于显示的HDR主图像(HEVC)”(828)确定为要重放的图像数据(要加载的图像)。
在S944中，系统控制单元50将“用于显示的HDR MPF图像(HEVC)”(827)确定为要重放的图像数据。
在S945中，系统控制单元50将“用于显示的HDR THM图像(HEVC)”(826)确定为要重放的图像数据。
图9E是示出用于从以HDR拍摄的RAW图像的文件中选择要用于重放的图像数据的处理(S931)的另一示例的流程图。具体地，流程图示出当RAW图像文件具有SDR显示图像时从以HDR拍摄的RAW图像的文件中选择要用于重放的图像数据的处理的详情。
在S951中，系统控制单元50判断是否要进行索引重放。当要进行索引重放时，系统控制单元50进入S952，否则(当要进行正常重放时)，系统控制单元50进入S953。
在S952中，系统控制单元50判断在索引重放中要重放的索引的数量是否为至少36。当要重放的索引的数量至少为36时，系统控制单元50进入S955，否则，系统控制单元50进入S954。
在S953至S955中，系统控制单元50判断要重放的RAW图像文件是否包含SDR图像。此时的判断是使用先前参考图8A至8E描述的RAW文件中的元数据进行的。
在S956中，系统控制单元50将“用于显示的HDR主图像(HEVC)”(828)确定为要用于重放的图像数据。
在S957中，系统控制单元50将“用于显示的SDR主图像(JPEG)”(823)确定为要用于重放的图像数据。
在S958中，系统控制单元50将“用于显示的HDR MPF图像(HEVC)”(827)确定为要重放的图像数据。
在S959中，系统控制单元50将“用于显示的SDR MPF图像(JPEG)”(822)确定为要用于重放的图像数据。
在S960中，系统控制单元50将“用于显示的HDR THM图像(HEVC)”(826)确定为要用于重放的图像数据。
在S961中，系统控制单元50将“用于显示的SDR THM图像(JPEG)”(821)确定为要用于重放的图像数据。
图9F是示出用于从以HDR显像的静止图像的文件中选择要用于重放的图像数据的处理(S933)的详情的流程图。
在S971中，系统控制单元50判断是否进行索引重放。当要进行索引重放时，系统控制单元50进入S972，否则(当要进行正常重放时)，系统控制单元50进入S973。
在S972中，系统控制单元50判断在索引重放中要重放的索引的数量是否为至少36。当要重放的索引的数量至少为36时，系统控制单元50进入S975，否则，系统控制单元50进入S974。
在S973中，系统控制单元50将“HDR主图像(HEVC)”(未示出)确定为要用于重放的图像数据。
在S974中，系统控制单元50将“HDR MPF图像(HEVC)”(未示出)确定为要用于重放的图像数据。
在S975中，系统控制单元50将“HDR THM图像(HEVC)”(未示出)确定为要用于重放的图像数据。
图9G是用于从以SDR拍摄的RAW图像的文件中选择要用于重放的图像数据的流程图。
在S981中，系统控制单元50判断是否要进行索引重放。当要进行索引重放时，系统控制单元50进入S982，否则(当要进行正常重放时)，系统控制单元50进入S983。
在S982中，系统控制单元50判断在索引重放中要重放的索引的数量是否为至少36。当要重放的索引的数量至少为36时，系统控制单元50进入S985，否则，系统控制单元50进入S984。
在S983中，系统控制单元50将“用于显示的SDR主图像(JPEG)”(823)确定为要用于重放的图像数据。
在S984中，系统控制单元50将“用于显示的SDR MPF图像(JPEG)”(822)确定为要用于重放的图像数据。
在S985中，系统控制单元50将“用于显示的SDR THM图像(JPEG)”(821)确定为要用于重放的图像数据。
图9H是示出用于从以SDR显像的静止图像的文件中选择要用于重放的图像数据的处理(S934)的详情的流程图。
在S991中，系统控制单元50判断是否要进行索引重放。当要进行索引重放时，系统控制单元50进入S992，否则(当要进行正常重放时)，系统控制单元50进入S993。
在S992中，系统控制单元50判断在索引重放中要重放的索引的数量是否为至少36。当要重放的索引的数量至少为36时，系统控制单元50进入S995，否则，系统控制单元50进入S994。
在S993中，系统控制单元50将“SDR主图像(JPEG)”(未示出)确定为要用于重放的图像数据。
在S994中，系统控制单元50将“SDR MPF图像(JPEG)”(未示出)确定为要用于重放的图像数据。
在S995中，系统控制单元50将“SDR THM图像(JPEG)”(未示出)确定为要用于重放的图像数据。
《重放模式处理(HDR)(S439)》
图10A是示出使用外部装置300的重放模式处理(S439)的详情的流程图。当系统控制单元50将记录在非易失性存储器56中的程序展开在系统存储器52上并执行该程序时，实现该处理。
在S1001中，系统控制单元50判断数字照相机100是否连接到外部装置300。当判断为数字照相机100连接到外部装置300时，系统控制单元50进入S1002，否则，系统控制单元50进入S1005。
在S1002中，系统控制单元50判断重放期间的HDR设置是否被启用。假设作为重放期间的HDR设置，可以选择和设置“进行HDR重放”、“不进行HDR重放”以及“与拍摄模式链接”。另外，“进行HDR重放”是如下的模式：不管要重放的图像是HDR图像还是SDR图像，只要外部装置300支持HDR，就进行HDR输出。“不进行HDR重放”是进行SDR输出的模式。“与拍摄模式链接”是重放期间的输出与拍摄模式链接的模式，并且当“HDR拍摄”被设置为“进行”时，在输出期间也进行HDR输出，但是当“HDR拍摄”被设置为“不进行”时，在输出期间也进行SDR输出。在S1002中，当模式是“进行HDR重放”时，系统控制单元50进入S1003，而当模式是“不进行HDR重放”时，系统控制单元50进入S1005。另外，当模式是“与拍摄模式链接”时，当在S606中设置的“HDR拍摄”是“进行”时，系统控制单元50进入S1003，而当在S606中设置的“HDR拍摄”是“不进行”时，系统控制单元50进入S1005。
在S1003中，系统控制单元50判断外部装置300是否是支持HDR的显示器。当外部装置300支持HDR时，系统控制单元50进入S1004，否则，系统控制单元50进入S1005。
在S1004中，系统控制单元50将HDR的视频(信号)输出到外部装置300。
在S1005中，系统控制单元50将SDR的视频输出到外部装置300。
由于S1006至S1008以及S1010和S1011与已经参考图9A描述的S901至S903以及S905和S906相同，因此将省略其描述。以下将参考图10B描述S1009的详情。
图10B是示出使用外部装置300在重放模式处理中的绘制处理(S1009)的详情的流程图。
由于S1021至S1025、S1028和S1029与已经参考图9B描述的S911至S915、S920和S921相同，因此将省略其描述。
在S1026中，系统控制单元50判断要重放的图像是否是HDR图像。当要重放的图像是HDR图像时，系统控制单元50进入S1028，否则(当要重放的图像是SDR图像时)，系统控制单元50进入S1027。
在S1027中，系统控制单元50进行HDR转换(从SDR到HDR的转换)。
《重放菜单处理》
图11A是示出根据本实施例的重放菜单处理的详情的流程图。当系统控制单元50将记录在非易失性存储器56中的程序展开在系统存储器52上并执行该程序时，实现该处理。
在S1101中，系统控制单元50参考RAW显像的设置项(未示出)中的用户设置以判断是否要进行RAW显像。当要进行RAW显像时，系统控制单元50进入S1102，但是当不进行RAW显像时，系统控制单元50进入S1103。
在S1102中，系统控制单元50对由用户指定的RAW图像文件进行RAW显像处理。例如，系统控制单元50进行HDR显像并将显像的图像文件保存为HEIF文件，或者进行SDR显像并将显像的图像文件保存为JPEG文件。稍后将参考图11B描述RAW显像处理的详情。
在S1103中，系统控制单元50参考HDR文件的SDR转换的设置项(未示出)以判断是否要进行SDR转换(从HDR到SDR的转换)。当要进行SDR转换时，系统控制单元50进入S1104，否则，系统控制单元50进入S1105。
在S1104中，系统控制单元50对由用户指定的HDR图像文件进行SDR转换。由于HDR图像是在OETF为PQ且色域为BT.2020等的颜色空间中生成的图像，因此必须进行对诸如SDR的γ2.2或sRGB的颜色空间的色调映射和色域映射处理。虽然已知技术可以用作特定方法，但例如，进行使适当曝光符合SDR的色调映射，这使得与SDR相比能够获得具有调整后的亮度的结果。
在S1105中，系统控制单元50参考文件传送的设置项(未示出)以判断是否要进行文件传送。当要进行文件传送时，系统控制单元50进入S1106，但是当不进行文件传送时，系统控制单元50进入S1107。
在S1106中，系统控制单元50对由用户指定的图像文件进行传送处理。在传送HDR图像文件时，如果接收目的地仅能够进行SDR显示，则图像文件可以作为在照相机中进行S1104中描述的SDR转换之后的SDR图像文件被传送。
在S1107中，系统控制单元50判断是否结束重放菜单处理。当要结束重放菜单处理时，系统控制单元50结束当前处理流程，否则，系统控制单元50进入S1101。
图11B是进行RAW显像处理(S1102)的各功能的功能框图。系统控制单元50加载记录在记录介质200中的所拍摄的RAW图像1111并且由图像处理单元24进行RAW显像处理。RAW图像的各像素仅指示关于单个颜色平面的强度。应注意，RAW图像包括以SDR拍摄的RAW(SDR)和以HDR拍摄的RAW(HDR)。另外，可能存在RAW(SDR)照原样以SDR显像的情况以及RAW(SDR)以HDR显像的情况。相反，存在RAW(HDR)以HDR显像的情况以及RAW(HDR)以SDR显像的情况。白平衡单元1112进行用于使白色更白的处理。当以HDR对RAW(HDR)进行显像时，使用记录在文件中的HDR用的白平衡系数进行白平衡处理。另外，当以SDR显像时，通过生成存储在文件中的SDR用的白平衡系数来进行白平衡处理。当在RAW图像中记录了HDR和SDR这两者的白平衡系数时，可以适当地使用需要的一者。
颜色插值单元1113进行降噪并对彩色马赛克图像进行插值，以生成所有像素具有R、G和B的颜色信息的彩色图像。经由矩阵转换单元1114和伽马转换单元1115从生成的彩色图像生成基本彩色图像。随后，由颜色亮度调整单元1116针对彩色图像进行用于调整图像的外观的处理。例如，根据场景来进行诸如检测夜间视图和增强其色度的图像校正。在同时进行灰度校正时，当以HDR对RAW(HDR)进行显像时，使用记录在文件中的HDR用的灰度校正量来进行灰度校正。当以SDR显像时，通过使用记录在文件中的面部检测结果和直方图计算SDR用的灰度校正量来执行灰度校正。当在RAW图像中记录了HDR和SDR这两者的灰度校正量时，可以适当地使用需要的一者。
对于进行了期望的颜色调整的图像，压缩单元1117通过诸如JPEG或HEVC等的方法来压缩高分辨率图像，并且记录单元1118生成要记录在诸如闪速存储器等的记录介质中的显像图像。由于先前描述的HEIF容器能够存储多个图像，因此以SDR显像的图像可以与以HDR显像的图像一起存储。
＜OSD亮度设置处理>
图12A是示出根据本实施例的OSD亮度设置处理的示例的流程图。当系统控制单元50将记录在非易失性存储器56中的程序展开在系统存储器52上并执行该程序时，实现该处理。该处理是用于在HDR显示器上进行OSD的信息显示时调整(设置)OSD的亮度的处理。
在S1201中，系统控制单元50判断作为OSD的显示目的地的显示器(在本实施例中，外部装置300)是否支持HDR显示。当显示器支持HDR显示时，系统控制单元50进入S1202，否则，系统控制单元50进入S1206。
在S1202中，系统控制单元50判断作为显示对象的图像是否是单个图像。当作为显示对象的图像是单个图像时，系统控制单元50进入S1203，否则(在多个图像的情况下)，系统控制单元50进入S1204。
在S1203中，系统控制单元50基于作为显示对象的(单个)图像来确定OSD的亮度灰度值(白色的信号值)。稍后将参考图12B描述用于基于图像确定OSD的亮度灰度值的处理的详情。
在S1204中，系统控制单元50基于作为显示对象的(多个)图像来确定OSD的亮度灰度值。稍后将参考图12B描述用于基于图像确定OSD的亮度灰度值的处理的详情。
在S1205中，系统控制单元50获取显示器的可显示亮度。这样做是为了基于在S1203或S1204中确定的OSD的亮度灰度值来判断显示器是否能够显示。作为获取显示器的可显示亮度的方法，例如，使用DDI(显示数据信道)获取包括显示器的显示亮度信息的EDID信息。应注意，作为前提，图形板和显示器这两者必须支持DDI。当不能获取显示器的显示亮度信息时，可以获取用户从预先准备的显示器显示亮度的预期值中选择的显示亮度。显示器显示亮度的预期值的示例包括符合VESA的DisplayHDR标准的1000cd/m2、600cd/m2和400cd/m2以及符合UltraHD PremiumLOGO的1000cd/m2和500cd/m2。
在S1206中，系统控制单元50基于SDR转换图像(SDR转换后的图像；SDR图像)确定OSD的亮度灰度值。例如，在构成SDR转换图像的所有像素的亮度灰度值中计算最大亮度灰度值，并且将最大亮度灰度值确定为OSD的亮度灰度值。由于SDR使用Rec.709或γ2.2等的色域，因此亮度灰度值是相对值。然而，随着近年来HDR显示器的普及，在HDR显示器上以SDR显示时的峰值亮度变得更高。在这种情况下，以传统方式以SDR显示可能产生如下问题：作为白色的亮度灰度值(白色亮度)的255(8位)等于1000cd/m2并且以与HDR同样的方式变得太亮。当可以从EDID信息获取SDR显示器的峰值亮度时，作为OSD的白色的亮度灰度值，可以设置与通过与针对HDR的方法同样的方法(S1202及其之后的处理)确定的亮度灰度值相对应的SDR的码值。
在S1207中，系统控制单元50调整OSD的亮度灰度值。具体地，系统控制单元50将在S1203或S1204中确定的OSD的亮度灰度值和在S1205中获取的显示器的可显示亮度之间较小的亮度灰度值确定为OSD的最终亮度灰度值。
在S1208中，系统控制单元50确定OSD中的灰色字符的亮度灰度值。灰色字符表示指示由灰色字符显示的功能被禁用的OSD。稍后将参考图12C描述用于确定灰色字符的亮度灰度值的处理。
在S1209中，系统控制单元50设置所确定的亮度灰度值(OSD的亮度灰度值和灰色字符的亮度灰度值)。
图12B是示出根据本实施例的用于确定OSD的亮度灰度值(白色的信号值)的处理(S1203、S1204)的详情的流程图。
在S1211中，系统控制单元50获取构成显示图像的所有像素中的最大亮度灰度值。例如，系统控制单元50分析显示图像的亮度信号的直方图并且获取高亮度侧的最后小区间(bin)的信号值(亮度信号的最大值)。在这种情况下，由于简单地选择最大值可能导致获取亮点等的信号值中具有极低频度的值，并且可能导致与外观的相关性低，因而例如可以获取直方图的信号值的最高(高亮度侧)1％的平均值来代替最大值。另外，当存在作为显示对象的多个图像时(在S1204的情况下)，从多个图像各自中获取最大亮度灰度值，并且获取所获取的多个亮度灰度值的最大值、最小值、平均值、中间值或众数等。
在S1212中，当在S1211中获取的亮度灰度值低于预先保持的最小亮度灰度值(规定值)时，系统控制单元50将最小亮度灰度值确定为OSD的亮度灰度值。当根据在S1211中获取的最大值显示OSD时，在单独由暗像素构成的场景(低调场景)的情况下，OSD变得更暗。因此，在本实施例中，预先保持最小亮度值作为OSD的亮度，并且当在S1211中获取的最大值低于最小亮度值时，将最小亮度值设置为OSD的亮度灰度值。作为最小亮度值，例如，可以使用在ITU-R BT.1886的附录中被描述为实际标准的100cd/m2。
在S1213中，系统控制单元50将通过上述处理确定的亮度灰度值设置为OSD的亮度灰度值。换句话说，当OSD(图形图像)的亮度由L1表示并且显示图像(HDR图像)的亮度由L2表示时，L1＝f(L2)也可以被认为是广义上的递增函数。应注意，仅需要OSD的亮度随着显示图像的亮度增加而增加，并且OSD的亮度可以与显示图像的亮度成比例地线性地增加或以阶梯方式(以阶梯函数)增加。
图12C是示出用于确定OSD中的灰色字符的亮度灰度值的处理(S1208)的详情的流程图。
在S1221中，系统控制单元50获取以SDR显示期间的白色和灰色的亮度灰度值。例如，系统控制单元50获取255(8位)作为以SDR显示期间的白色的亮度灰度值，并且获取128(8位)作为以SDR显示期间的灰色的亮度灰度值。
在S1222中，系统控制单元50将在S1221中获取的值转换为ICtCp值。具体地，使用一般公开的杜比(Dolby)的白皮书版本7.2(ICtCp_DolbyWhitePaper.pdf)中描述的转换公式将SDR的白色和灰色的信号值从XYZ值转换为ICtCp值。
在S1223中，系统控制单元50计算白色ICtCp值与灰色ICtCp值之间的差ΔI(感知差)。由于SDR中的亮度是相对亮度，因此字符白色不总是100cd/m2。通过在向ICtCp的转换公式的中途的XYZ颜色空间中进行线性缩放，可以适应在SDR等中假定200cd/m2为字符白色的情况。
在S1224中，系统控制单元50针对HDR获取在S1207中确定的OSD的亮度灰度值。
在S1225中，系统控制单元50以与SDR同样的方式将在S1224中获取的值转换为ICtCp值。
在S1226中，系统控制单元50计算灰色字符的ICtCp值。在HDR中，当图像的OETF是PQ时，由于码值和亮度值具有一一对应关系，因此不需要先前描述的线性缩放。当图像的OETF是HLG时，由于值是相对的，因此以与SDR同样的方式需要期望的缩放。在这样做时，也必须考虑假设的系统伽马。另外，为了在HDR中实现SDR中白色和灰色之间的感知差，可以采用从HDR中的白色的ICtCp值减去感知差ΔI所获得的ICtCp值作为HDR中的灰色的ICtCp值。
在S1227中，系统控制单元50根据如上所述经由LMS、XYZ和RGB计算的HDR中的灰色字符的ICtCp值计算亮度灰度值(Y)。
在S1228中，系统控制单元50设置以HDR显示期间的OSD中的灰色字符的亮度灰度值。
图13A至13C是示出根据传统方法的显示图像的图。传统上，当在摄像设备等的背面液晶显示器上重放和显示所拍摄的图像时，拍摄信息(速度、光圈值、ISO感光度和图像名称)和重放等期间的状态信息的OSD(图形图像)叠加显示在所拍摄的图像上。
例如，在SDR图像的情况下，如图13A所示，SDR图像可取的最大(上限)灰度值和OSD的白色在8位码方面通常被设置为相同的最大值255。然而，在HDR图像的情况下，特别是在符合PQ标准的图像数据的情况下，在HDR图像中存在的最大灰度值在10位码方面通常不是1023。因此，如图13B所示，将最大值1023分配给OSD的白色，这使得(同时还取决于显示器的性能)OSD看起来比图像更亮并且以耀眼的方式显示。另一方面，存在背景的图像被感知为相对较暗并且难以显现的担忧。因此，例如，如图13C所示，将灰度值520分配给OSD的白色，这消除了耀眼。在这种情况下，值520是与在ITU-RBT.1886的附录中被描述为实际标准的100cd/m2的亮度相对应的PQ码值。然而，在背景的图像数据是明的等的情况下，存在OSD的白色可能被感知为相对较暗并且难以显现的担忧。另外，虽然存在使OSD的白色较暗导致白色被感知为灰色的情况，但是由于灰色经常表示禁用的功能，因此存在用户可能被误导的担忧。
图13D和13E是示出根据本实施例的显示图像的图。如图13D所示，由于背景图像的最大亮度灰度值与OSD(图形图像)中的白色字符的亮度灰度值相同，因此改善了OSD的可视性。另外，如图13E所示，即使在要显示的图像中背景图像的最大亮度不同时，通过针对各图像将OSD的白色字符的亮度与背景图像的最大亮度相匹配，也总是能够实现OSD的改善的可视性。如上所述，根据第一实施例，即使利用能够显示高亮度的HDR显示器，叠加在背景图像上的OSD也能够以良好的可视性示出。
另外，由于上述处理，即使在切换到以HDR显示之后，图14中所示的OSD(以SDR显示)的灰色位置(灰色字符或符号)(1402)和白色位置(1401)之间的感知差也得以维持，并且白色的亮度灰度值改变。因此，能够以与SDR中相同的感觉来感知灰色亮度。
(第二实施例)
接着，说明本发明的第二实施例。在第一实施例中，基于背景图像的最大亮度灰度值来确定OSD的亮度灰度值。第二实施例与第一实施例的不同之处在于，基于背景图像的拍摄条件来确定OSD的亮度灰度值。
具体地，在图12A中的S1203或S1204的处理中，根据拍摄时的输入动态范围设置和显像时的伽马设置来确定OSD的亮度灰度值。虽然1023对应于PQ中的10000cd/m2，但是当输入动态范围窄时，可以想到作为输出，不会耗尽高达1023的值。实际使用的输出信号的最大值取决于显像时的伽马曲线，并且当伽马特性包括高对比度时，输出信号的最大值也增加。因此，例如，作为拍摄条件，存在与如下的四种组合相对应的最大信号值，即，拍摄期间的拍摄模式中的窄D范围设置和宽D范围设置，以及显像期间的高对比度伽马设置(显像模式)和低对比度伽马设置(显像模式)。图15是示出根据拍摄条件确定的四个最大信号值和四个最大亮度值的示例的图。作为OSD的白色的亮度灰度值，可以设置与拍摄条件相对应的最大信号值。
如上所述，根据第二实施例，通过基于图像的拍摄条件而不是图像的像素值来确定OSD中的白色的亮度灰度值，改善了OSD的可视性。例如，当在图像重放期间顺序地给送和观看多个图像时，即使当内容的最大亮度值在图像之间变化时，OSD的白色的亮度灰度值也保持不变，并且可以通过抑制闪烁来改善可视性。
然而，当顺序地给送并观看具有不同拍摄条件的多个图像时，仍然存在可能发生闪烁的问题。因此，如图16所示，当拍摄条件在第一图像和第二图像之间不同时，OSD的亮度可以逐渐改变(1601)。当从第二图像至第三图像给送图像时，亮度以同样的方式逐渐改变(1602)。然而，当通过诸如连续按下图像给送按钮(未示出)的操作以高速进行图像给送时，亮度不需要逐渐改变。在这种情况下，例如，通过在维持第一图像的亮度的同时以与释放图像给送按钮的按下时显示的图像的拍摄条件相对应的亮度显示OSD，可以减少闪烁(1603)。
(第三实施例)
接着，说明本发明的第三实施例。在第一和第二实施例中，基于显示图像的像素值或拍摄条件来设置OSD的白色的亮度灰度值。第三实施例与第一和第二实施例的不同之处在于，当通过索引显示等进行包括HDR图像和SDR图像的多个图像的多重放时，基于多个图像确定OSD的白色的亮度灰度值。换句话说，在上述第一实施例中，S1204的处理不同。
图17A至17C是示出根据本实施例的多重放显示的示例的图。例如，假设在2×2排列的四个图像中，上部的两个图像是具有100cd/m2的最大亮度值的SDR图像，以及下部的两个图像是具有648cd/m2的最大亮度值的HDR图像。在这种情况下，使OSD的白色的亮度灰度值与如图17A所示的HDR图像相符合，这使得OSD的亮度相对于SDR图像的亮度过度升高，并且OSD的可视性降低，并且同时，SDR图像的可视性降低。另外，使OSD的白色的亮度灰度值与如图17B所示的SDR图像相符合，这使得OSD的亮度相对于HDR图像的亮度过度下降，并且OSD的可视性降低。鉴于此，在第三实施例中，调整多个图像的白色的亮度灰度值。
图18是示出根据第三实施例的OSD亮度设置处理的示例的流程图。
在S1801中，系统控制单元50获取多个图像的白色的亮度灰度值。在S1802中，系统控制单元50计算所有获取的图像的白色的亮度灰度值的中间值。在S1803中，系统控制单元50将计算出的中间值设置为OSD的白色的亮度灰度值。因此，由于可以如图17C所示以平衡的方式显示SDR图像、HDR图像和OSD，因此可以改善可视性。应注意，根据多个图像计算白色的亮度灰度值(S1802)的方法不限于中间值，并且可以使用诸如平均值或众数等的统计值。
如上所述，根据第三实施例，当同时(并排)显示多个图像时，基于所有图像的白色的亮度灰度值来确定OSD中的白色的亮度灰度值。因此，例如，即使当进行诸如索引显示等的多显示时，也可以针对SDR图像、HDR图像和OSD中的全部改善可视性。
(第四实施例)
接着，将描述本发明的第四实施例。在第一实施例至第三实施例中，针对整个画面设置OSD的白色的一个亮度灰度值。换句话说，在第一实施例至第三实施例中，基于整个背景设置OSD的白色的一个亮度灰度值。然而，被摄体具有明区域和暗区域，并且SDR图像通常比HDR图像暗。第四实施例与第一实施例至第三实施例的不同之处在于，针对作为背景的单个图像的平面内的各区域，设置OSD中的白色的最佳亮度灰度值。
例如，由于在图19A的下端的OSD中的白色的亮度灰度值与背景图像的亮度大致相同，因此在下端的OSD的可视性方面不存在问题。然而，对于白色的亮度灰度值与下端的OSD的亮度灰度值相同的上端的OSD，由于背景图像是明的，因此上端的OSD看起来相对暗。在这种情况下，难以针对一个图像优选地仅设置OSD的白色的一个亮度灰度值。因此，考虑到图像的特征，期望针对图像平面内的各区域设置OSD中的白色的最佳亮度灰度值。
图20是示出根据第四实施例的OSD亮度设置处理的示例的流程图。
在S2001中，系统控制单元50基于显示图像获取亮度分布图像(指示亮度分布的图像)。作为亮度分布图像，可以使用显示图像的亮度分量。由于中至低带域(空间频率低于规定频率的低频带)的亮度分量具有诸如稍后描述的处理中的色调跳跃(tone jump)等的图像质量劣化的较低风险，针对显示图像的亮度信号预先进行降低高带域(高频带)的处理。虽然存在用于降低(抑制)高带域的数个可想到的处理步骤，但是例如，可以进行水平和垂直地应用LPF(低通滤波器)的滤波处理。
在S2002中，使用计算出的亮度分布图像，系统控制单元50获得各区域的OSD的亮度灰度值(校正用于OSD的信息显示的图像)。在亮度分布图像中具有高亮度的区域中，OSD的亮度灰度值也可能增加。在这种情况下，区域的亮度越高，OSD的亮度灰度值越高。虽然存在实现S2002的数个可想到的方法，但是例如，可想到通过网屏处理来计算显示图像的亮度分布图像和用于OSD的信息显示的图像。网屏处理是层合成方法，并且虽然可以使用已知技术来进行网屏处理，但是具体地，可以通过将黑/白反转显示图像与同样的用于OSD的信息显示的黑/白反转图像相乘并对所获得的结果再次进行黑/白反转来进行网屏处理。
在S2003中，系统控制单元50将在S2002中获得的OSD的白色的亮度灰度值设置为实际亮度灰度值(码值)。因此，如图19B所示，在显示图像中，可以在明区域(上端)上叠加并显示明的OSD，并且可以在暗区域(下端)上叠加并显示暗的OSD。
如上所述，根据第四实施例，通过根据图像的特征来设置在图像的区域中不同的OSD的白色的亮度灰度值，能够在不依赖于被摄体的情况下以稳定的方式以良好的可视性来显示关于OSD的信息。
此外，还可以通过执行下述处理来实现本发明。具体地，还可以通过经由网络或各种存储介质向系统或设备提供实现上述实施例的功能的软件(程序)并且使该系统或设备中的计算机(或CPU或MPU等)加载并执行该程序来实现本发明。
尽管以上说明了本发明的优选实施例，但是应当理解本发明不限于这样的实施例，并且在不脱离本发明的精神和范围的情况下可以进行各种修改和改变。
根据本发明，能够以合适的亮度显示OSD。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明，但是应当理解，本发明不限于所公开的典型实施例。所附权利要求的范围符合最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (14)

1.一种显示控制设备，包括：
显示控制器，其被配置为将图形图像与HDR图像一起显示在显示单元上，
其中，所述显示控制器还被配置为在所述HDR图像的亮度是第一亮度的情况下以第二亮度显示所述图形图像，以及在所述HDR图像的亮度是高于所述第一亮度的第三亮度的情况下以高于所述第二亮度的第四亮度显示所述图形图像。
2.根据权利要求1所述的显示控制设备，其中，情况判断所用的所述HDR图像的亮度是所述HDR图像中的最大亮度。
3.根据权利要求1所述的显示控制设备，其中，情况判断所用的所述HDR图像的亮度是在对所述HDR图像进行摄像时的拍摄条件下设置的最大亮度。
4.根据权利要求3所述的显示控制设备，其中，所述拍摄条件是摄像时的动态范围设置或显像时的伽马设置。
5.根据权利要求1所述的显示控制设备，其中，所述显示控制器还被配置为在执行所述显示单元上要显示的图像之间的切换的情况下，逐渐改变所述图形图像的亮度。
6.根据权利要求1所述的显示控制设备，其中，在所述显示控制器在所述显示单元上并排显示多个图像的情况下，所述图形图像的亮度是各个图像的最大亮度的最大值、最小值、平均值、中间值或众数中的任意值。
7.根据权利要求1所述的显示控制设备，其中，所述显示控制器还被配置为针对所述HDR图像的平面内的各区域来确定所述图形图像的亮度。
8.根据权利要求1所述的显示控制设备，其中，所述显示控制器还被配置为基于用户选择的显示亮度来调整所述图形图像的亮度。
9.根据权利要求1所述的显示控制设备，其中，所述显示控制器还被配置为基于从所述显示单元获取的可显示亮度来调整所述图形图像的亮度。
10.根据权利要求1所述的显示控制设备，其中，所述显示控制器还被配置为基于空间频率为低于所述HDR图像中的规定频率的低频带的亮度分量来调整所述图形图像的亮度。
11.根据权利要求1所述的显示控制设备，其中，所述显示控制器还被配置为基于在以SDR显示时的所述图形图像的最大亮度与灰色的亮度之间的差，来确定指示在以HDR显示时的所述图形图像中禁用的状态的灰色的亮度。
12.根据权利要求1所述的显示控制设备，其中，所述显示控制器还被配置为在基于所述HDR图像的亮度所确定的所述图形图像的亮度低于规定值的情况下，将所述图形图像的亮度设置为所述规定值。
13.一种显示控制方法，包括：
将图形图像与HDR图像一起显示在显示单元上；
在所述HDR图像的亮度是第一亮度的情况下，以第二亮度显示所述图形图像；以及
在所述HDR图像的亮度是高于所述第一亮度的第三亮度的情况下，以高于所述第二亮度的第四亮度显示所述图形图像。
14.一种存储程序的计算机可读介质，其中，所述程序使计算机执行根据权利要求13所述的显示控制方法。
CN202110163688.5A 2020-02-06 2021-02-05 显示控制设备、显示控制方法和计算机可读介质 Pending CN113225475A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-018973 2020-02-06
JP2020018973A JP2021124638A (ja) 2020-02-06 2020-02-06 表示制御装置、表示制御方法、プログラムおよび記憶媒体

Publications (1)

Publication Number Publication Date
CN113225475A true CN113225475A (zh) 2021-08-06

Family

ID=77084643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110163688.5A Pending CN113225475A (zh) 2020-02-06 2021-02-05 显示控制设备、显示控制方法和计算机可读介质

Country Status (3)

Country Link
US (1) US11438523B2 (zh)
JP (1) JP2021124638A (zh)
CN (1) CN113225475A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160209A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 帧数据显示方法、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11681422B2 (en) * 2010-02-16 2023-06-20 John W. Rowles Methods for a user selectable digital mirror
JP2021082069A (ja) * 2019-11-20 2021-05-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2022150350A (ja) * 2021-03-26 2022-10-07 セイコーエプソン株式会社 画像処理回路、回路装置及び電子機器

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6381215B2 (ja) * 2014-01-29 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム
EP3678359A1 (en) * 2014-05-16 2020-07-08 Panasonic Intellectual Property Management Co., Ltd. Converting method and converting apparatus
WO2016038950A1 (ja) 2014-09-11 2016-03-17 ソニー株式会社 画像処理装置及び画像処理方法
US10109228B2 (en) * 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
US10403233B2 (en) * 2017-01-17 2019-09-03 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP7020832B2 (ja) 2017-09-21 2022-02-16 キヤノン株式会社 デジタルビデオカメラ、映像出力装置、映像出力方法、プログラム
JP2019159252A (ja) 2018-03-16 2019-09-19 キヤノン株式会社 制御装置、表示装置、制御方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023160209A1 (zh) * 2022-02-28 2023-08-31 荣耀终端有限公司 帧数据显示方法、电子设备及存储介质
CN116704926A (zh) * 2022-02-28 2023-09-05 荣耀终端有限公司 帧数据显示方法、电子设备及存储介质

Also Published As

Publication number Publication date
US11438523B2 (en) 2022-09-06
JP2021124638A (ja) 2021-08-30
US20210250518A1 (en) 2021-08-12

Similar Documents

Publication Publication Date Title
CN113491104B (zh) 摄像设备和图像处理设备及其控制方法和存储介质
CN113225475A (zh) 显示控制设备、显示控制方法和计算机可读介质
JP7313893B2 (ja) 撮像装置及び記録制御方法及びプログラム
JP7365133B2 (ja) 通信装置およびその制御方法、プログラム
CN110049258B (zh) 电子设备及其控制方法和计算机可读介质
JP2024015185A (ja) 撮像装置及びその制御方法及びプログラム
JP7091068B2 (ja) 電子機器
US11165970B2 (en) Image processing apparatus, imaging apparatus, image processing method, and non-transitory computer readable medium
CN113491103B (zh) 摄像设备及其控制方法和存储介质
JP2020141334A (ja) 撮像装置及びその制御方法及びプログラム
JP7191649B2 (ja) 電子機器
JP2021166357A (ja) 電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination