CN118042288A

CN118042288A - 图像处理设备和方法、摄像设备以及计算机可读介质

Info

Publication number: CN118042288A
Application number: CN202311496099.4A
Authority: CN
Inventors: 朽木洋晃
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2022-11-11
Filing date: 2023-11-10
Publication date: 2024-05-14
Also published as: JP2024070628A; US20240163567A1

Abstract

本发明提供图像处理设备和方法、摄像设备以及计算机可读介质。图像处理设备获取图像数据以及与图像数据的输出动态范围的最大亮度值相关的第一信息。然后，该设备对图像数据应用使用图像数据的亮度值和基于第一信息的第一值的处理。在图像数据在第一数值范围中被编码并且第一信息在与第一数值范围不同的第二数值范围中被编码的情况下，该设备在对图像数据、第一信息或第一值进行转换之后将处理应用于图像数据，使得图像数据和第一值具有在图像数据和第一值已经在相同的数值范围中被编码的情况下的值。

Description

图像处理设备和方法、摄像设备以及计算机可读介质

技术领域

本发明涉及图像处理设备、摄像设备和图像处理方法。

背景技术

与图像数据中的值相对应的亮度可以根据色调特性和应用于该图像数据的编码方法而不同。色调特性是输入亮度范围和输出亮度范围之间的对应关系，诸如所谓的伽马曲线或电光传递函数(EOTF)等。此外，编码方法是用于将输出亮度范围分配到特定数值范围的方法。例如，在要使用10位(bit)数值来表示输出亮度范围的情况下，已知有使用0至1023的范围(“全”范围)表示输出亮度范围的方法和使用64至940的范围(“视频”范围或“有限”范围)表示输出亮度范围的方法。此外，用于相互转换这些范围的范围转换技术也是已知的。

因此，例如，在将基于亮度的处理应用于输入图像数据的情况下，除非考虑应用于图像数据的色调特性和编码方法(特别是编码方法)，否则可能无法获得适当的处理结果。例如，在日本特开2020-182179中公开的强调警告显示处理中，警告可能显示在不正确的区域中。

发明内容

在本发明的一个方面，本发明提供了可以根据应用于图像数据的编码方法来适当地处理图像数据的亮度的图像处理设备和图像处理方法。

根据本发明的一个方面，提供一种图像处理设备，包括：获取部件，用于获取图像数据以及与所述图像数据的输出动态范围的最大亮度值相关的第一信息；以及处理部件，用于将使用所述图像数据的亮度值和基于所述第一信息的第一值的处理应用于所述图像数据，其中，在所述图像数据在第一数值范围中被编码并且所述第一信息在与所述第一数值范围不同的第二数值范围中被编码的情况下，所述处理部件在对所述图像数据、所述第一信息、或所述第一值进行转换之后，将所述处理应用于所述图像数据，使得所述图像数据和所述第一值具有在所述图像数据和所述第一值已经在相同的数值范围中被编码的情况下的值。

根据本发明的另一方面，提供一种摄像设备，包括：图像传感器；以及根据本发明的图像处理设备，其使用通过使用所述图像传感器所获得的图像数据。

根据本发明的又一方面，提供一种图像处理设备所执行的图像处理方法，所述图像处理方法包括：获取图像数据以及与所述图像数据的输出动态范围的最大亮度值相关的第一信息；以及将使用所述图像数据的亮度值和基于所述第一信息的第一值的处理应用于所述图像数据，其中，在所述图像数据在第一数值范围中被编码并且所述第一信息在与所述第一数值范围不同的第二数值范围中被编码的情况下，所述处理的应用包括：对所述图像数据、所述第一信息、或所述第一值进行转换，使得所述图像数据和所述第一值具有在所述图像数据和所述第一值已经在相同的数值范围中被编码的情况下的值，以及在转换之后，将所述处理应用于所述图像数据。

根据本发明的另一方面，提供一种存储有程序的非暂态计算机可读介质，所述程序包括能够被计算机执行的指令，所述指令在被所述计算机执行时使得所述计算机执行根据本发明的图像处理方法。

通过(参考附图)对以下示例性实施例的描述，本发明的进一步特征将变得明显。

附图说明

图1是示出作为根据本发明的实施例的图像处理设备的摄像设备的基本功能配置的示例的框图。

图2是示出应用于图像数据的色调特性的示例的图。

图3是与第一实施例中的阈值计算处理的示例相关的流程图。

图4是与第一实施例中的阈值计算处理的另一示例相关的流程图。

图5是与第一实施例中的阈值计算处理的又一示例相关的流程图。

图6是与第一实施例中的阈值计算处理的又一示例相关的流程图。

图7A至图7D是用于描述第一实施例中的强调警告显示的图。

图8是与第二实施例中的直方图显示处理的示例相关的流程图。

图9是与第二实施例中的直方图显示处理的另一示例相关的流程图。

图10是与第二实施例中的直方图显示处理的又一示例相关的流程图。

图11A至图11C是用于描述第二实施例中的直方图显示的图。

图12是示出将第二实施例应用于波形监视器显示的示例的图。

具体实施方式

在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中描述了多个特征，但是不限制为需要全部这样的特征的发明，并且可以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被赋予相同或类似的配置，并且省略其冗余描述。

注意，在以下实施例中，将描述在数字照相机中实现本发明的情况。然而，摄像功能在本发明中并不总是必要的，并且本发明可以在任何能够处理图像数据的电子装置中实现。例如，这样的电子装置包括计算机装置(个人计算机、平板计算机、媒体播放器、PDA等)、智能电话、游戏机、机器人、无人机和行车记录仪，但对这样的装置没有限制。

第一实施例

图1是示出作为根据本发明的实施例的图像处理设备的一个示例的数字照相机100(在下文中被称为“照相机100”)的基本功能配置的示例的框图。光学系统101是包括透镜组、快门、光圈等的摄像光学系统，并且在图像传感器102的摄像面上形成被摄体的光学图像。透镜组包括固定透镜和可移动透镜，并且可移动透镜包括图像稳定透镜、调焦透镜和变倍透镜等。此外，光圈可以具有机械快门功能。可移动透镜、光圈和快门的操作由作为照相机100的主控制单元的CPU 103控制。光学系统101可以是可更换或不可更换的。

图像传感器102例如是CMOS图像传感器，并且在图像传感器102中二维排列有多个像素，各个像素包括光电转换区域。此外，图像传感器102包括具有特定颜色图案的颜色滤波器，并且各个像素设置有与颜色图案相对应的一个颜色的颜色滤波器。本发明不依赖于颜色滤波器的颜色图案；然而，这里假设设置有原色拜耳阵列的颜色滤波器。因而，各个像素设置有红(R)颜色滤波器、绿(G)颜色滤波器或蓝(B)颜色滤波器。图像传感器102通过使用像素对光学图像进行光电转换，将光学图像转换成用于指示各像素的亮度信息的模拟图像信号。

利用A/D转换器(未图示)将图像传感器102所生成的模拟图像信号转换成数字图像信号。注意，A/D转换器可以包括在图像传感器102中，或者CPU 103可以进行A/D转换。构成A/D转换器所输出的数字图像信号的各个像素信号是原始(RAW)数据，该原始数据仅包括已经生成该信号的像素中所设置的颜色滤波器的颜色的亮度分量。CPU 103将原始数据存储在主存储部104中。注意，图像传感器102的拍摄感光度(在下文中被称为“ISO感光度”)由CPU 103设置。

CPU 103通过将存储在辅助存储部107中的一个或多于一个程序传送到主存储部104并执行这些程序，来控制照相机100的单元并实现照相机100的各种功能。注意，在以下描述中，CPU 103通过执行程序所实现的功能的至少一部分可以由诸如ASIC等的专用硬件来实现。

例如，主存储部104是诸如RAM等的易失性存储装置。除了被CPU 103用来执行程序之外，主存储部104还被用作用于图像数据的缓冲存储器、图像处理所用的工作区、以及显示所用的视频存储器等。

例如，辅助存储部107是诸如EEPROM等的可重写非易失性存储装置。可以由CPU103执行的程序(指令)、照相机100的设置以及GUI数据等被存储在辅助存储部107中。

例如，记录介质106是诸如半导体存储器卡等的可重写非易失性存储装置。记录介质106可以或者不可以从照相机100拆卸。照相机100所生成的数据(静止图像数据、运动图像数据、音频数据等)可以记录在记录介质106中。也就是说，照相机100包括拆卸机构(在记录介质106可拆卸的情况下)以及从记录介质106读取和向记录介质106写入的功能。注意，照相机100所生成的数据的记录目的地不限于记录介质106。照相机100所生成的数据可以经由包括在照相机100中的通信接口被发送到外部装置，并且被记录在外部装置能够访问的记录装置中。

例如，显示单元108是液晶显示器。CPU 103用作显示单元108的显示控制装置。在拍摄待机状态期间并当正在记录运动图像时，通过在显示单元108上实时显示所拍摄的运动图像来将显示单元108用作电子取景器。此外，记录在记录介质106中的图像数据以及诸如菜单画面等的GUI图像也显示在显示单元108上。

操作单元109是指用于接受用户操作的输入装置组的通用名称。例如，在操作单元109中使用一个或多于一个按钮、杆和触摸面板等。操作单元109可以包括不需要被物理操作的输入装置，诸如由语音或视线操作的输入装置等。包括在操作单元109中的各个输入装置被赋予与分配给它们的功能相对应的名称。代表性的示例包括释放按钮、菜单按钮、方向键、确定(设置)按钮和模式切换拨盘等。注意，不同的功能可以被选择性地分配给一个输入设备。

图像处理单元105对图像数据(可以是原始数据或显像后的图像数据)应用预定图像处理，以生成不同格式的图像数据，并获取和/或生成各种类型的信息。例如，图像处理单元105可以是被设计为实现特定功能的诸如ASIC等的专用硬件电路，或者可以被配置为使得特定功能通过诸如DSP等的可编程处理器执行软件来实现。

例如，图像处理单元105所应用的图像处理可以包括预处理、颜色插值处理、校正处理、检测处理、数据处理、评价值计算处理和特殊效果处理等。

预处理可以包括信号放大、基准电平调整和缺陷像素校正等。

颜色插值处理是在图像传感器设置有颜色滤波器的情况下进行的，并且是用于对构成图像数据的各个像素数据中不包括的颜色分量的值进行插值的处理。颜色插值处理也称为去马赛克处理。

校正处理可以包括诸如白平衡调整、色调校正、摄像光学系统101的光学像差所引起的图像劣化的校正(图像恢复)、摄像光学系统101的渐晕影响的校正以及颜色校正等的处理。

检测处理可以包括特性区域(例如，面部区域和人体区域)及其移动的检测、以及人物识别处理等。

数据处理可以包括诸如区域的剪切(裁切)、合成、缩放、编码/解码和头部信息的生成(数据文件的生成)等的处理。数据处理中还包括显示图像数据和记录图像数据的生成。

评价值计算处理可以包括诸如要用于自动调焦检测(AF)的信号和评价值的生成以及要用于自动曝光控制(AE)的评价值的生成等的处理。

特殊效果处理可以包括诸如添加模糊、改变色调和重光照等的处理。

注意，这些处理是可以由图像处理单元105应用的处理的示例，并且不限制由图像处理单元105应用的处理。

在本实施例中，强调警告处理将被描述为应用于图像数据(运动图像数据)的基于亮度的处理的一个示例。然而，可以类似地应用其他处理。

此外，在本实施例中，使用“最大动态范围水平”(“maxDRL”)参数来应用强调警告处理。当在后面详细描述时，maxDRL是输出动态范围的最大亮度值[nits]或与最大亮度值相对应的色调值(信号电平)。注意，1nit等于1cd/m²。

在照相机100中预先提供如图2所示具有不同输出动态范围的多个色调特性201和202。色调特性也被称为伽马曲线或电光传递函数(EOTF)等，并且指示输入色调值(信号电平)和输出亮度之间的关系。例如，照相机100将与拍摄模式相关联的多个色调特性存储在辅助存储部107中。例如，具有最大亮度值203的色调特性201与第一拍摄模式相关联，并且具有最大亮度值204的色调特性202与第二拍摄模式相关联。

注意，存在输出亮度被处理为相对值的色调特性和输出亮度被处理为绝对值的色调特性。在输出亮度被处理为相对值的色调特性的情况下，最大亮度值将是显示装置的最大亮度值。因此，图像的明度可以根据显示装置而不同。另一方面，在输出亮度被处理为绝对值的色调特性的情况下，最大亮度值与显示装置的最大亮度值无关。因此，在可显示亮度范围内，不管显示装置如何，图像的明度都保持不变。

例如，在HDR图像所用的国际标准(ITU-R BT.2100)中，HLG被定义为输出亮度被处理为相对值的色调特性，并且PQ被定义为输出亮度被处理为绝对值的色调特性。在PQ中，最大亮度被设置为10000[nits]。例如，如果图2所示的色调特性201和202符合PQ，则亮度205对应于10000[nits]。另一方面，色调特性201和202表现出不同的最大亮度值(峰亮度)。因为色调特性201和202与如上所述的拍摄模式等相关联，所以拍摄图像将根据拍摄模式而具有不同的输出动态范围。因而，作为用于指示用于拍摄图像的输出动态范围的信息，将输出动态范围的最大亮度值[nits]或与最大亮度值相对应的色调值(信号电平)记录为元数据。这在本实施例中被称为maxDRL。在本实施例中，对已经使用输出亮度被处理为绝对值的色调特性的图像数据(运动图像数据)进行处理。然而，类似的处理也可以应用于已经使用输出亮度被处理为相对值的色调特性的图像数据(运动图像数据)。此外，图像数据(运动图像数据)可以是HDR图像或SDR图像。

在maxDRL是与最大亮度值相对应的色调值的情况下，因为色调值的数值范围根据编码方法而不同，所以针对各个编码方法来准备maxDRL，或者编码方法的识别信息与maxDRL相关联。这里，编码方法是全范围或视频范围(有限范围)。在使用全范围对图像数据进行编码的情况和使用视频范围对图像数据进行编码的情况之间，图像数据的数值范围也不同。

在本实施例中，照相机100可以获取要处理的图像数据(运动图像数据)的maxDRL。例如，在要处理所记录的运动图像数据的情况下，照相机100可以获取与运动图像数据相关联记录的maxDRL。此外，例如，对于照相机100所拍摄的运动图像数据，可以使用根据拍摄模式而预先存储在辅助存储部107中的maxDRL。

在下面，将描述本实施例中的强调警告处理。强调警告处理是用于呈现图像中的高光溢出区域的处理。例如，强调警告处理可以是用于在高光溢出区域上叠加和显示特定颜色或斑马图案的图像的处理；然而，可以使用其他方法来呈现高光溢出区域。例如，在用户已经启用强调警告的情况下执行强调警告处理。强调警告处理可以应用于静止图像或运动图像；然而，通常，强调警告处理一般应用于运动图像，特别是要用于实时取景显示的运动图像。

可以将图像中的高光溢出区域检测为亮度高于或等于阈值的区域。在本实施例中，对于应用了输出亮度被处理为绝对值的色调特性的图像，通过应用与编码方法相对应的阈值，与编码方法无关地实现高光溢出区域的适当检测。

示例1

图3是与在maxDRL是使用全范围而编码(maxDRL在第二数值范围中被编码)的情况下的强调警告阈值计算处理相关的流程图。这里，当记录在记录介质106中的运动图像数据被回放时，执行强调警告处理。

在步骤S301中，CPU 103获取与要回放的运动图像数据相对应的maxDRL。这里，从记录在记录介质106中的运动图像数据文件的元数据中获取maxDRL。

在步骤S302中，CPU 103使用maxDRL来计算强调警告阈值。例如，在针对亮度高于或等于maxDRL的90％的区域进行强调警告的情况下，CPU 103可以通过将maxDRL乘以因子0.9来计算阈值。注意，因子可以根据用户所进行的设置而改变。此外，可以使用其他方法来计算阈值，诸如计算maxDRL和任意定义的常数之间的差值。

在步骤S303中，CPU 103判断要回放的运动图像数据是否是使用视频范围而编码(在第一数值范围中编码)。例如，CPU 103可以从运动图像数据文件的元数据中获取运动图像数据的编码方法。

在判断为运动图像数据不是使用视频范围而编码(使用全范围而编码)的情况下，CPU 103终止阈值计算处理，而不改变在步骤S302中计算出的阈值。这是因为运动图像数据的编码方法和maxDRL的编码方法是相同的。

另一方面，在判断为运动图像数据是使用视频范围而编码的情况下，CPU 103执行步骤S304。在步骤S304中，CPU 103将在步骤S302中计算出的阈值转换成视频范围中的相应阈值。具体地，CPU 103转换阈值，使得在与基于使用全范围所编码的maxDRL的阈值被应用于使用全范围所编码的运动图像数据的情况下的区域相同的区域中进行强调警告。

假设使用视频范围所编码的阈值是Th_v，并且使用全范围所编码的阈值是Th_f。在色调值是10位值的情况下，CPU 103可以使用以下式1来转换阈值。

Th_v ＝ Th_f × (940 - 64)/1023 + 64 式1

注意，可以使用任何方法来对小数点后的数字进行舍入。在转换了阈值之后，CPU103终止阈值计算处理。

与上述的计算出的阈值一起，CPU 103向图像处理单元105提供用以使得强调警告处理的应用有效的指示。图像处理单元105根据从记录介质106读取的运动图像数据来生成显示运动图像数据。然后，图像处理单元105将阈值应用于构成显示运动图像数据的一帧的各个像素数据的亮度值，并且检测具有高于或等于阈值的亮度值的像素数据。此外，图像处理单元105应用处理，使得针对具有高于或等于阈值的亮度值的像素进行强调警告显示。例如，图像处理单元105可以通过将具有高于或等于阈值的亮度值的像素的显示颜色改变为特定颜色，或者通过叠加和显示预定图案图像等，来执行强调警告显示。

注意，在使用视频范围对maxDRL进行编码并且使用全范围对运动图像数据进行编码的情况下，CPU 103在步骤S304中使用下面的式1’来转换阈值。

Th_f＝(Th_v-64)×1023/(940-64)式1’

将参照图7A和图7B描述通过图3中的处理而计算出的阈值所实现的效果。图7A是使用全范围所编码的运动图像数据所表示的帧图像，并且区域701、702和703的色调值分别为769、766和762。图7B是通过将图7A中的图像的编码方法改变为视频范围所获得的帧图像。区域704至706对应于区域701至703，并且区域704、705和706的色调值分别为722、720和717。

例如，假设maxDRL是使用全范围而编码，并且maxDRL值为769。此外，假设强调警告阈值为通过从maxDRL中减去5所获得的764。当将该阈值应用于图7A中的图像时，在除区域703之外的区域701和702中进行强调警告显示。当将相同的阈值应用于图7B中的图像时，因为所有区域都具有低于阈值的色调值，所以将不存在进行强调警告显示的区域。

当使用式1将强调警告阈值转换成视频范围所用的阈值时，转换后的阈值将是718。当将转换后的该阈值应用于图7B中的图像时，在除区域703之外的区域704和705中进行强调警告显示。以这种方式，在运动图像数据和maxDRL在不同数值范围中被编码的情况下，对运动图像数据或基于maxDRL的阈值进行转换，使得运动图像数据和阈值具有在相同数值范围中被编码的值。因此，不管进行编码的数值范围如何，都可以实现适当的强调警告显示。

示例2

图4是与在maxDRL在与运动图像数据相同的数值范围中被编码的状态下记录maxDRL的情况下的强调警告阈值计算处理相关的流程图。注意，与图3中所描述的步骤相同的步骤被赋予与图3中的附图标记相同的附图标记。

在步骤S401中，CPU 103判断要回放的运动图像数据是否是使用视频范围而编码的。例如，CPU 103可以从运动图像数据文件的元数据中获取运动图像数据的编码方法。

假设，在步骤S302的阈值计算中，假设使用全范围对maxDRL进行编码。因此，在步骤S401中判断为运动图像数据是使用视频范围而编码的情况下，CPU 103执行步骤S402。此外，在判断为运动图像数据不是使用视频范围而编码(运动图像数据是使用全范围而编码)的情况下，CPU 103跳过步骤S402并执行步骤S302。

在步骤S402中，CPU 103将在步骤S301中获取的maxDRL转换成全范围中的相应值。

假设使用视频范围所编码的maxDRL是maxDRL_v，并且使用全范围所编码的maxDRL是maxDRL_f。在色调值是10位值的情况下，CPU 103可以使用以下式2来转换maxDRL。

maxDRL_f ＝ (maxDRL_v - 64) × 1023/(940 - 64) 式2

注意，可以使用任何方法对小数点后的数字进行舍入。在转换了maxDRL之后，CPU103执行步骤S302。

在步骤S302中，如上所述，CPU 103计算要应用于编码方法是全范围的运动图像数据的强调警告阈值。因为步骤S303中和之后的处理如参考图3所描述，所以省略对该处理的描述。

以这种方式，在照相机100的用于从maxDRL计算阈值的处理基于使用全范围所编码的maxDRL、并且运动图像数据的maxDRL是使用与用于运动图像数据的方法相同的方法而编码的情况下，也可以实现适当的强调警告显示。

注意，照相机100的用于从maxDRL计算阈值的处理基于使用视频范围所编码的maxDRL的情况也可以使用类似的方法来应对。具体地，在步骤S401中判断为运动图像数据是使用视频范围而编码的情况下，CPU 103在步骤S402中使用以下式2’将maxDRL转换成视频范围中的相应值。

maxDRL_v＝maxDRL_f×(940-64)/1023+64式2’

在随后在步骤S303中判断为运动图像数据是使用全范围而编码的情况下，CPU103在步骤S304中使用上述式1’将在步骤S302中计算出的阈值转换成全范围中的相应值。

示例3

图5是与通过参考预先准备的表而确定与编码方法相对应的强调警告阈值的强调警告阈值计算处理相关的流程图。这里，类似于图4，使用与运动图像数据的编码方法相同的编码方法来记录maxDRL。注意，与图3和图4中所描述的步骤相同的步骤被赋予与图3和图4中的附图标记相同的附图标记。

在步骤S401中，CPU 103判断要回放的运动图像数据是否是使用视频范围而编码。例如，CPU 103可以从运动图像数据文件的元数据中获取运动图像数据的编码方法。

如果判断为运动图像数据是使用视频范围而编码，则CPU 103执行步骤S503。此外，如果未判断为运动图像数据在视频范围中被编码(如果判断为运动图像数据是使用全范围而编码)，则CPU 103执行步骤S502。

在步骤S502中，CPU 103基于在步骤S301中获取的maxDRL通过参考用于全范围的表来获取强调警告阈值。

在步骤S503中，CPU 103基于在步骤S301中获取的maxDRL通过参考用于视频范围的表来获取强调警告阈值。

图7C和图7D示出强调警告阈值表的示例。针对各个编码方法来准备表，并且将该表存储在例如辅助存储部107中。图7C是用于全范围的表，并且图7D是用于视频范围的表。在各个表中，包括最大和最小maxDRL值的多个离散maxDRL值与强调警告阈值彼此相关联。

在maxDRL是使用全范围而编码并且其值为712的情况下，在步骤S502中获得707作为强调警告阈值。类似地，如果maxDRL是使用视频范围而编码并且其值为674，则在步骤S503中获得669作为强调警告阈值。

注意，在所获取的maxDRL值不存在于表中的情况下，CPU 103获取表中所登记的maxDRL值中的与所获取的maxDRL值的两侧的两个值相对应的突出警告阈值。此外，CPU 103可以通过根据所获取的maxDRL值和所述两个值之间的差进行两个强调警告阈值的插值来获得与所获取的maxDRL相对应的强调警告阈值。

以这种方式，通过针对各个编码方法准备将maxDRL与强调警告阈值彼此相关联的表，用于适应不同的编码方法的转换变得不必要。因此，可以在简化阈值计算处理的同时，实现与编码方法相对应的适当强调警告显示。

示例4

图6是与从maxDRL直接计算与编码方法相对应的强调警告阈值的强调警告阈值计算处理相关的流程图。这里，类似于图4，使用与运动图像数据的编码方法相同的编码方法来记录maxDRL。注意，与图3中所描述的步骤相同的步骤被给予与图3中的附图标记相同的附图标记。

在步骤S601中，CPU 103判断要进行强调警告的maxDRL范围是否等于或小于阈值。如果判断为要进行强调警告的maxDRL范围等于或小于阈值，则CPU 103执行步骤S602，否则执行步骤S603。该判断可以被配置为判断maxDRL的编码方法的数值范围中要进行强调警告的maxDRL范围所占据的比例是否等于或小于阈值。

在步骤S602中，CPU 103通过将预定方法应用于maxDRL来计算强调警告阈值，而不考虑maxDRL的编码方法。这是因为，在要进行强调警告的maxDRL范围小(等于或小于阈值)的情况下，编码方法的差异对阈值水平的影响将是小的。

例如，如已经关于图7A和图7B描述的，假设使用全范围所编码的maxDRL的值769和使用视频范围所编码的maxDRL的值722彼此相对应。此外，假设要进行强调警告的maxDRL范围是5。

这里，将考虑从maxDRL计算强调警告阈值的方法是从maxDRL减去5的情况。这里，在使用全范围对maxDRL进行编码的情况下，通过从maxDRL中减去5所计算出的阈值将是764。如果使用式1将阈值764转换成视频范围中的相应阈值，则转换后的阈值将是718。另一方面，在使用视频范围对maxDRL进行编码的情况下，通过从maxDRL中减去5所计算出的阈值将是717，这与通过使用式1进行转换所获得的值大致相同。

这同样也适用于乘以因子来代替减去值的情况。在要进行强调警告的maxDRL范围为5的情况下，在使用全范围对maxDRL进行编码的情况下要相乘的因子将是0.993(＝764/769)。将通过将使用视频范围所编码的maxDRL的值722乘以相同的因子来获得值717.3，并且通过将该值小数点之后的数字进行舍入所获得的值将是717或718，这也与通过使用式1转换764所获得的值718大致相同。

因而，要在步骤S601的判断中使用的阈值可以例如作为如下的最大maxDRL范围而通过实验来确定，其中对于该最大maxDRL范围，通过使用式1进行转换所获得的强调警告阈值与通过使用步骤S602中应用的方法所获得的强调警告阈值之间的差是可忽略的。

另一方面，在步骤S603中，CPU 103使用不同的方法(例如，示例1至3中所描述的方法之一)来计算强调警告阈值。

注意，除maxDRL之外，还可以使用minDRL来确定图像的动态范围；minDRL是根据诸如拍摄模式和ISO感光度等的拍摄设置而改变的最小输出亮度值[nits]或与其相对应的色调值。在这种情况下，可以应用上述方法来计算用于在动态范围的预定强调侧范围中进行强调警告的阈值。

此外，还可以根据前面描述的方法来计算用于进行以与曝光状态相对应的颜色显示图像的假颜色(false color)显示的阈值。在这种情况下，可以在应用与应用于图像的色调特性相反的色调特性并在色调值和亮度之间建立线性关系之后计算阈值。

如到目前为止所描述的，根据本实施例，可以提供能够根据应用于图像数据的编码方法适当地处理亮度数据的图像处理设备和图像处理方法。

第二实施例

接下来，将描述本发明的第二实施例。在本实施例中，根据编码方法来适当地执行图像的亮度直方图显示。类似于第一实施例，本实施例也由照相机100执行。此外，在本实施例中，除maxDRL之外，还将minDRL记录为图像数据文件的元数据。

图像数据的亮度直方图通常显示在与图像数据所表示的图像相同的画面上；然而，亮度直方图可以以任何形式显示。此外，亮度直方图显示处理可以应用于静止图像数据或运动图像数据，并且可以记录之前或之后应用。这里，亮度直方图显示处理应用于所记录的静止图像数据或运动图像数据的一帧。此外，使用全范围对maxDRL和minDRL进行编码。

示例1

将参照图8所示的流程图来描述直方图显示处理的示例。

在步骤S801中，CPU 103获取与对象图像数据相对应的maxDRL(第一信息)和minDRL(第二信息)。这里，从记录在记录介质106中的图像数据文件的元数据中获取maxDRL和minDRL。

在步骤S802中，CPU 103读取图像数据并将该图像数据存储在主存储部104中。此外，CPU 103指示图像处理单元105分析图像数据的亮度分布。图像处理单元105基于像素数据的亮度值将像素分类到多个区间(bin)中，各个区间具有预定宽度。

在步骤S803中，CPU 103判断对象图像数据是否是使用视频范围而编码。例如，CPU103可以从图像数据文件的元数据中获取图像数据的编码方法。

这里，假设使用全范围对maxDRL和minDRL进行编码。因此，如果在步骤S803中判断为图像数据是使用视频范围而编码，则CPU 103执行步骤S804。此外，如果判断为图像数据不是使用视频范围而编码(使用全范围而编码)，则CPU 103跳过步骤S804并执行步骤S805。

在步骤S804中，CPU 103将在步骤S801中获取的maxDRL和minDRL转换成视频范围中的相应值。在maxDRL和minDRL是10位值的情况下，CPU 103可以使用上述式2’来执行转换。虽然式2’是与maxDRL相关的转换式，但也可以使用相同的式来转换minDRL。

在步骤S805中，与maxDRL和minDRL一起，CPU 103向图像处理单元105提供用于生成直方图显示图像数据的指示。响应于该指示，图像处理单元105生成用于表示在步骤S802中生成的直方图的显示图像数据。这样，图像处理单元105针对排除了色调值大于maxDRL的范围和色调值小于minDRL的范围的直方图来生成显示图像数据。注意，不需要排除包括minDRL和maxDRL的区间。色调值大于maxDRL的范围和色调值小于minDRL的范围被称为掩蔽区域。掩蔽区域是不能出现在图像数据中的亮度的区域，并且也可以被称为无效区域。另一方面，从minDRL到maxDRL的范围可以被认为是亮度的有效范围。图像处理单元105所生成的直方图显示图像数据由显示单元108显示。

将参照图11A至图11C描述步骤S805中的显示图像数据生成处理。

图11A是使用全范围所编码的图像数据的亮度直方图。如果minDRL为0且maxDRL为769，则将生成在色调值0至769的范围内不包括的掩蔽区域1101上显示阴影的显示图像数据。因此，用户可以容易地理解图像数据的最大位数和基于maxDRL的最大亮度之间的关系。当然，可以针对已经排除掩蔽区域1101的色调值0到769的范围的直方图来生成显示图像数据。

图11B是通过将图11A中的亮度直方图转换成视频范围中的相应范围所获得的亮度直方图。如果将0的minDRL和769的maxDRL应用于图11B中的亮度直方图，则生成没有对要设置为掩蔽区域的区域1102和1103设置阴影的直方图的显示图像数据。这可能导致用户误解为区域1102和1103是动态范围的一部分。

图11C示出转换为视频范围中的相应值的maxDRL和minDRL已经被应用于图11B中的亮度直方图的状态。因为转换后的minDRL和maxDRL将分别为64和722，所以图11B中的区域1102和1103被包括在掩蔽区域1104和1105中。因此，即使使用视频范围对图像数据进行编码，也可以实现适当的直方图显示。

注意，在要针对诸如用于实时取景显示的图像数据等的未记录图像数据执行直方图显示的情况下，从辅助存储部107获取并使用与拍摄设置相对应的maxDRL和minDRL就足够了。处理的剩余部分将与参考图8所描述的处理相同。

此外，在使用视频范围对maxDRL和minDRL进行编码并且使用全范围对图像数据进行编码的情况下，使用式2将maxDRL和minDRL转换成全范围内的相应值就足够了。虽然式2是与maxDRL相关的转换式，但也可以使用相同的式来转换minDRL。

示例2

将参照图9所示的流程图来描述直方图显示处理的另一示例。同样在本示例中，使用全范围对maxDRL和minDRL进行编码。此外，与图8中所描述的步骤相同的步骤具有与图8中的附图标记相同的附图标记。

在步骤S901中，CPU 103从记录介质106读取对象图像数据，并将该对象图像数据存储在主存储部104中。此外，CPU 103判断对象图像数据是否是使用视频范围而编码。例如，CPU 103可以从图像数据文件的元数据中获取图像数据的编码方法。

这里，假设使用全范围对maxDRL和minDRL进行编码。因此，如果在步骤S901中判断为图像数据是使用视频范围而编码，则CPU 103执行步骤S902。此外，如果判断为图像数据不是使用视频范围而编码(使用全范围而编码)，则CPU 103跳过步骤S902并执行步骤S801。

在步骤S902中，CPU 103指示图像处理单元105将图像数据的亮度值转换成全范围中的相应值。图像处理单元105可以通过用转换前的亮度值(色调值)替代式2中的maxDRL_v来获得转换后的亮度值(色调值)。注意，为了减少处理负荷，可以在将图像数据的分辨率降低到显示分辨率之后应用转换。

接下来，步骤S801、S802和S805中的处理如关于图8所述；因此，省略了重复描述。

同样在本示例中，可以显示与图11A中的直方图类似的直方图。

注意，在使用视频范围对maxDRL和minDRL进行编码的情况下，如果使用全范围对图像数据进行编码，则可以通过将图像数据转换成视频范围中的相应值来实现如图11C中那样的直方图显示。可以使用式2’来转换图像数据。

示例3

将参照图10所示的流程图来描述直方图显示处理的又一示例。同样在本示例中，使用全范围对maxDRL和minDRL进行编码。此外，与图8中所描述的步骤相同的步骤被赋予与图8中的附图标记相同的附图标记。

步骤S801至S803如关于图8所述。

这里，假设使用全范围对maxDRL和minDRL进行编码。因此，如果在步骤S803中判断为图像数据是使用视频范围而编码，则CPU 103执行步骤S1002。此外，如果判断为图像数据不是使用视频范围而编码(使用全范围而编码)，则CPU 103跳过步骤S1002并执行步骤S805。

在步骤S1002中，CPU 103指示图像处理单元105将在步骤S802中计算出的直方图转换成全范围中的相应直方图。这相当于将图11B所示的直方图转换成图11A所示的直方图(这里不考虑掩蔽区域)。

例如，图像处理单元105可以将像素的亮度值转换成全范围中的相应值并重新生成直方图，或者可以通过变换在步骤S802中生成的直方图来进行转换。

一旦图像处理单元105的直方图转换处理完成，在步骤S805中，与maxDRL和minDRL一起，CPU 103向图像处理单元105提供用于生成直方图显示图像数据的指示。

注意，在使用视频范围对maxDRL和minDRL进行编码的情况下，如果使用全范围对图像数据进行编码，则将直方图转换成视频范围中的相应直方图就足够了。因此，将显示将如图11C所示的对掩蔽区域1104和1105设置阴影的直方图。

注意，虽然以亮度直方图为示例描述了本实施例，但是也可以针对RGB直方图进行相同的处理。此外，本实施例不限于应用于亮度直方图的显示，并且可以应用于其他使用目的。例如，可以基于maxDRL和minDRL来确定亮度波形监视器显示中的掩蔽区域。在这种情况下，将maxDRL和minDRL转换成通过将照相机100(图像传感器)的动态范围中的最大亮度设置为100％所获得的值并使用就足够了。图12示出在minDRL为0％且maxDRL为70％并且区域1201为掩蔽区域的情况下的波形显示监视器的显示示例。

根据本实施例，也可以提供能够根据应用于图像数据的编码方法而适当地处理亮度数据的图像处理设备和图像处理方法。

其他实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围符合最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims

1.一种图像处理设备，包括：

获取部件，用于获取图像数据以及与所述图像数据的输出动态范围的最大亮度值相关的第一信息；以及

处理部件，用于将使用所述图像数据的亮度值和基于所述第一信息的第一值的处理应用于所述图像数据，

其中，在所述图像数据在第一数值范围中被编码并且所述第一信息在与所述第一数值范围不同的第二数值范围中被编码的情况下，所述处理部件在对所述图像数据、所述第一信息、或所述第一值进行转换之后，将所述处理应用于所述图像数据，使得所述图像数据和所述第一值具有在所述图像数据和所述第一值已经在相同的数值范围中被编码的情况下的值。

2.根据权利要求1所述的图像处理设备，

其中，在所述图像数据在所述第一数值范围中被编码并且所述第一信息在所述第二数值范围中被编码的情况下，所述处理部件对所述第一值进行转换，使得所述图像数据和所述第一值具有在所述图像数据和所述第一值已经在相同的数值范围中被编码的情况下的值。

3.根据权利要求1所述的图像处理设备，

其中，在用于根据所述第一信息生成所述第一值的处理基于所述第一信息在所述第一数值范围中被编码的假设、并且所述图像数据在所述第二数值范围中被编码的情况下，所述处理部件：

对所述第一信息进行转换以具有在所述第一信息已经在所述第一数值范围中被编码的情况下的值；

基于转换后的值来生成所述第一值；

对所生成的所述第一值进行转换以具有所述第一值已经在所述第二数值范围中被编码的情况下的值；以及

将所述处理应用于所述图像数据。

4.根据权利要求1所述的图像处理设备，

其中，在所述图像数据和所述第一信息在相同的数值范围中被编码的情况下，所述处理部件通过基于所述相同的数值范围而参考表来根据所述第一信息生成所述第一值，其中，所述表是针对所述第一数值范围和所述第二数值范围中的每一个而预先准备的。

5.根据权利要求1所述的图像处理设备，

其中，在所述第一值被编码的范围在所述第二数值范围中所占的比例等于或小于阈值的情况下，不进行转换。

6.根据权利要求1所述的图像处理设备，

其中，所述第一数值范围是所述第二数值范围的一部分。

7.根据权利要求1所述的图像处理设备，

其中，所述处理是用于呈现所述图像数据中的、亮度高于或等于所述第一值的区域的强调警告处理。

8.根据权利要求1所述的图像处理设备，

其中，所述获取部件还获取与所述图像数据的所述输出动态范围的最小亮度值相关的第二信息，

所述处理部件还将使用所述图像数据的亮度值、所述第一值和基于所述第二信息的第二值的处理应用于所述图像数据，以及

其中，在所述图像数据在所述第一数值范围中被编码并且所述第一信息和所述第二信息在所述第二数值范围中被编码的情况下，所述处理部件在对所述图像数据、所述第一信息和所述第二信息、或者所述第一值和所述第二值进行转换之后，将所述处理应用于所述图像数据，使得所述图像数据以及所述第一值和所述第二值具有与所述图像数据以及所述第一值和所述第二值已经在相同的数值范围中被编码的情况相对应的值。

9.根据权利要求8所述的图像处理设备，

其中，在所述图像数据在所述第一数值范围中被编码并且所述第一信息和所述第二信息在所述第二数值范围中被编码的情况下，所述处理部件对所述第一值和所述第二值进行转换，使得所述图像数据以及所述第一值和所述第二值具有在所述图像数据以及所述第一值和所述第二值已经在所述相同的数值范围中被编码的情况下的值。

10.根据权利要求8所述的图像处理设备，

其中，在所述图像数据在所述第一数值范围中被编码并且所述第一信息和所述第二信息在所述第二数值范围中被编码的情况下，所述处理部件对所述图像数据的值进行转换，使得所述图像数据以及所述第一值和所述第二值具有在所述图像数据以及所述第一值和所述第二值已经在所述相同的数值范围中被编码的情况下的值。

11.根据权利要求8所述的图像处理设备，

其中，所述处理是将从所述第二值到所述第一值的亮度范围认为是有效范围的处理。

12.根据权利要求8所述的图像处理设备，

其中，所述处理用于显示亮度直方图或亮度波形监视器。

13.根据权利要求8所述的图像处理设备，

其中，所述处理用于显示亮度直方图，以及

所述处理部件显示排除了等于或小于所述第二值的范围和大于或等于所述第一值的范围的亮度直方图。

14.根据权利要求8所述的图像处理设备，

其中，所述处理用于显示亮度直方图，以及

所述处理部件：

将基于所述图像数据所生成的亮度直方图转换成在所述图像数据已经在所述第二数值范围中被编码的情况下的亮度直方图；以及

将使用所述第一值和所述第二值的处理应用于转换后的亮度直方图，然后显示该亮度直方图。

15.根据权利要求8所述的图像处理设备，

其中，所述处理用于显示波形监视器，以及

所述处理部件显示波形监视器，在该波形监视器中从所述第二值到所述第一值的范围以外的范围是掩蔽区域。

16.一种摄像设备，包括：

图像传感器；以及

根据权利要求1所述的图像处理设备，其使用通过使用所述图像传感器所获得的图像数据。

17.一种图像处理设备所执行的图像处理方法，所述图像处理方法包括：

获取图像数据以及与所述图像数据的输出动态范围的最大亮度值相关的第一信息；以及

将使用所述图像数据的亮度值和基于所述第一信息的第一值的处理应用于所述图像数据，

其中，在所述图像数据在第一数值范围中被编码并且所述第一信息在与所述第一数值范围不同的第二数值范围中被编码的情况下，所述处理的应用包括：

对所述图像数据、所述第一信息、或所述第一值进行转换，使得所述图像数据和所述第一值具有在所述图像数据和所述第一值已经在相同的数值范围中被编码的情况下的值，以及

在转换之后，将所述处理应用于所述图像数据。

18.一种存储有程序的非暂态计算机可读介质，所述程序包括能够被计算机执行的指令，所述指令在被所述计算机执行时使得所述计算机执行根据权利要求17所述的图像处理方法。