CN107979718B - 图像处理设备、图像处理方法和存储介质 - Google Patents

图像处理设备、图像处理方法和存储介质 Download PDF

Info

Publication number
CN107979718B
CN107979718B CN201711001589.7A CN201711001589A CN107979718B CN 107979718 B CN107979718 B CN 107979718B CN 201711001589 A CN201711001589 A CN 201711001589A CN 107979718 B CN107979718 B CN 107979718B
Authority
CN
China
Prior art keywords
exposure control
luminance
display device
exposure
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711001589.7A
Other languages
English (en)
Other versions
CN107979718A (zh
Inventor
须藤贵之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN107979718A publication Critical patent/CN107979718A/zh
Application granted granted Critical
Publication of CN107979718B publication Critical patent/CN107979718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/92—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction

Abstract

本发明提供一种图像处理设备、图像处理方法和存储介质。该图像处理设备包括：图像处理单元，用于生成用于第一显示设备的第一视频信号；校正单元，用于在所述第一视频信号显示在第二显示设备上的情况下生成用于校正视频的亮度的校正信息，其中，所述第二显示设备能够表现与所述第一显示设备能够表现的亮度范围相比更窄的亮度范围；以及记录单元，用于将所述校正单元所生成的所述校正信息与所述第一视频信号相关联并保存关联后的信息。

Description

图像处理设备、图像处理方法和存储介质
技术领域
本发明涉及用于校正视频图像以使得该视频图像将具有在显示在表现不同亮度范围的显示设备上时的适合亮度的图像处理技术。
背景技术
在近来的显示设备中，视频输出性能已经有所提高。已经开发了能够表现与实际被摄体的动态范围相接近的宽动态范围的显示设备。例如，提出了用于使得观看者能够欣赏更真实的视频的技术(绝对亮度显示模式)。根据该技术，以被摄体的实际亮度来显示该被摄体。即，摄像设备在将被摄体的绝对亮度值调节成显示设备上所显示的被摄体的亮度值的同时进行摄像。在具有宽动态范围的显示设备输出在绝对亮度显示模式下所拍摄的视频的情况下，以与实际被摄体的亮度等同的亮度来显示该图像。因而，该视频可以给观看者更真实的感觉。日本特开2008-187590提出了用户可以通过给出一次摄像指示以适当的亮度值来分别拍摄主被摄体和背景的技术。
然而，在具有比实际被摄体的动态范围窄的动态范围的显示设备输出在绝对亮度显示模式下所拍摄的视频的情况下，由于以较低的亮度来显示要观看的视频，因此所显示的视频显得很暗。与通过使用传统的自动曝光控制处理所拍摄的视频图像相比，所显示的视频显得相对较暗。在这种情况下，可以使用图像编辑软件来在监视器上确认视频并校正亮度。然而，由于用于实现适当亮度的校正量根据各被摄体的亮度和对比度而不同，因此需要针对各拍摄场景进行编辑，这是一个耗时的处理。另外，日本特开2008-187590没有考虑在具有与实际被摄体的动态范围相比更窄的动态范围的显示设备上输出用于以绝对亮度进行显示所拍摄的视频的情况。
发明内容
根据本发明的一个方面，一种图像处理设备，包括：图像处理单元，用于生成用于第一显示设备的第一视频信号；校正单元，用于在所述第一视频信号显示在能够表现与所述第一显示设备能够表现的亮度范围相比更窄的亮度范围的第二显示设备上的情况下，生成用于校正视频的亮度的校正信息；以及记录单元，用于将所述校正单元所生成的校正信息与所述第一视频信号相关联，并保存关联后的信息。
根据本发明的另一方面，一种图像处理方法，包括以下步骤：进行生成用于第一显示设备的第一视频信号的图像处理；进行在所述第一视频信号显示在能够表现与所述第一显示设备能够表现的亮度范围相比更窄的亮度范围的第二显示设备上的情况下、生成用于校正视频的亮度的校正信息的校正；以及将所述校正中所生成的校正信息与所述第一视频信号相关联，并存储关联后的信息。
根据本发明的又一方面，一种计算机可读存储介质，其保存用于使计算机用作上述的图像处理设备的各单元的程序。
通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据典型实施例的数字摄像机的结构的框图。
图2A和2B是分别示出根据典型实施例的图像处理单元和系统控制单元的内部结构的框图。
图3是示出根据典型实施例的图像处理的流程图。
图4A和4B分别示出根据典型实施例的显示设备的输入/输出(I/O)特性和视频的伽马特性。
图5A示出根据典型实施例的照相机的伽马特性，以及图5B和5C分别示出根据典型实施例的监视器A和B的I/O特性。
图6是示出根据本典型实施例的从曝光控制处理到元数据生成处理的处理的流程图。
图7示出根据本典型实施例的被摄体亮度值、曝光控制值和亮度校正值随着时间的经过如何改变。
具体实施方式
以下将详细说明本发明的典型实施例。以下所述的典型实施例是用于实现本发明的示例。根据需要，基于本发明所适用的设备的结构或者各种条件，可以对典型实施例进行修改或改变。即，本发明不限于以下典型实施例。另外，根据需要，可以对以下所述的典型实施例的各部分进行组合。
设备的结构
首先，将参考图1来说明根据本典型实施例的数字摄像机100的结构和功能。
在图1中，摄像透镜103是包括变焦透镜和调焦透镜的透镜组，并且形成被摄体的图像。光圈101用于调节入射光量。中性密度(ND)滤波器104用于以与光圈101不同的方式调节(减少)入射光量。摄像单元122是包括电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)的摄像传感器，其用于将被摄体的光学图像转换成电信号。另外，摄像单元122具有各种功能，诸如控制利用电子快门的累积以及改变模拟增益和读取速度等。模数(A/D)转换器123将模拟信号转换成数字信号。A/D转换器123用于将从摄像单元122输出的模拟信号转换成数字信号。防护罩102盖住数字摄像机100(以下称为照相机100)的包括摄像透镜103、光圈101和摄像单元122的摄像系统，以防止该摄像系统的污染和损坏。
图像处理单元124对来自A/D转换器123的数据或者来自存储器控制单元115的数据进行颜色转换处理、伽马校正处理和数字增益添加处理等。另外，图像处理单元124通过使用所拍摄图像数据来进行预定的计算处理。基于计算结果，系统控制单元150进行曝光控制处理、测距控制处理和白平衡(WB)控制处理等。因此，例如，进行基于通过镜头(TTL)方式的自动调焦(AF)处理、自动曝光(AE)处理以及自动白平衡(AWB)处理。以下将详细说明图像处理单元124。
经由图像处理单元124和存储器控制单元115或者经由存储器控制单元115将来自A/D转换器123的输出数据直接写入存储器132中。通过摄像单元122来拍摄图像数据，并且通过A/D转换器123将该图像数据转换成数字数据。存储器132保存数字数据。另外，存储器132保存要显示在显示单元128上的图像数据。存储器132具有足以存储预定时间的运动图像和声音的存储容量。
另外，存储器132用作图像显示用的存储器(视频存储器)。数模(D/A)转换器113将存储器132中所存储的图像显示数据转换成模拟信号，并且将模拟信号供给至显示单元128。这样，经由D/A转换器113、利用显示单元128来显示存储器132中所写入的图像数据。显示单元128基于来自D/A转换器113的模拟信号来在诸如液晶显示器(LCD)等的显示装置上显示图像。更具体地，A/D转换器123将模拟信号转换成数字信号，D/A转换器113将存储器132中所累积的数字信号转换成模拟信号，并且将转换后的模拟信号顺次转发至显示单元128。显示单元128顺次显示模拟信号。这样，显示单元128可以用作电子取景器(EVF)，并且显示实时取景图像。
非易失性存储器156是电可擦可记录存储器。例如，电可擦可编程只读存储器(EEPROM)用作非易失性存储器156。非易失性存储器156保存系统控制单元150的操作用的常量和程序等。这些程序用于执行各种流程图，以下将在本典型实施例中描述这些流程图。
系统控制单元150全面控制照相机100。通过执行非易失性存储器156中所存储的程序，系统控制单元150实现本典型实施例的以下处理。随机存取存储器(RAM)用作系统存储器152。例如，系统控制单元150从非易失性存储器156载入系统控制单元150的操作用的常量、变量和程序，并且在系统存储器152中展开所载入的常量、变量和程序。另外，通过控制存储器132、D/A转换器113和显示单元128等，系统控制单元150进行显示控制处理。
系统计时器153是用于测量各种类型的控制处理所使用的时间和各内部时钟的时间的计时器。
模式选择开关160、视频记录开关161和操作单元170是用于将各种操作指示输入至系统控制单元150的操作单元。
模式选择开关160将系统控制单元150的工作模式切换成运动图像记录模式、静止图像记录模式和重放模式等中的任意模式。运动图像记录模式和静止图像记录模式包括自动拍摄模式、自动场景判断模式、手动模式、根据要拍摄的场景而设置的各种场景模式、程序AE模式以及定制模式。通过操作模式选择开关160，用户可以直接将当前模式切换成运动图像记录模式中所包括的这些模式中的任意模式。可选地，在用户通过操作模式选择开关160将模式切换成运动图像记录模式之后，用户可以使用不同的操作组件来将该模式切换成运动图像记录模式中所包括的这些模式中的任意模式。通过操作视频记录开关161，用户可以在待机状态和摄像状态之间进行切换。在用户接通视频记录开关161时，系统控制单元150开始进行从读取自摄像单元122发送的信号到将视频记录数据写入至记录介质190的一系列操作。
通过选择显示单元128上所显示的各种功能图标，操作单元170的操作组件被分配有适合各场景的功能，并且用作各种功能按钮。功能按钮的示例包括结束按钮、返回按钮、图像滚动按钮、跳跃按钮、缩小按钮和属性改变按钮。例如，在用户按压菜单按钮时，显示单元128显示可以进行各种设置的菜单画面。用户可以通过使用显示单元128上所显示的菜单画面、四向(左右上下)按钮和SET(设置)按钮来直观地进行各种设置。
电源控制单元180包括电池检测电路、直流(DC)-DC转换器以及用于切换要通电的块的切换电路，并且检测是否安装有电池、电池的类型和剩余电池容量。另外，电源控制单元180基于检测结果和来自系统控制单元150的指示来控制DC-DC转换器，并且在必要的时间段内向包括记录介质190的各单元供给必要的电压。
电源单元130包括诸如碱性电池或锂电池等的一次电池、诸如镍镉(NiCd)电池、镍氢(NiMH)电池或锂(Li)离子电池等的二次电池以及交流(AC)适配器等。接口(I/F)118连接至诸如存储卡或硬盘等的记录介质190，或者连接至外部设备。在图1中，I/F 118连接至记录介质190。记录介质190是诸如记录所拍摄图像的存储卡等的介质。记录介质190可以包括半导体存储器或磁盘。
图像处理单元的内部结构
接着，将参考图2A来说明根据本典型实施例的图像处理单元124的内部结构。
图2A示出图像处理单元124的周围单元和图像处理单元124的内部结构。将省略图像处理单元124通常进行的WB控制处理和锐度控制处理的说明。图像处理单元124中所包括的功能块可以经由系统控制单元150来获取照相机100中所使用的各种类型的数据，包括诸如光圈、ND信息(与ND滤波器的密度有关的信息等)、国际标准化组织(ISO)感光度、增益和快门速度等的曝光控制处理所需的元素(曝光参数)。
在图2A中，检测单元201检测来自A/D转换器123的数据或者来自存储器控制单元115的数据，并且获得该数据的代表值。亮度值(BV)计算单元202根据基准信号、光圈、ISO感光度、增益、快门速度以及检测单元201所获取的代表值来计算BV(绝对亮度值)。
绝对亮度代码确定单元203从非易失性存储器156或存储器控制单元115获取显示设备的输入/输出(I/O)特性。接着，绝对亮度代码确定单元203基于显示设备的I/O特性来确定绝对亮度代码，以使得显示设备所输出的亮度值(输出亮度)与BV计算单元202所计算出的BV(绝对亮度值)匹配。显示设备的I/O特性可以预先存储在非易失性存储器156中，或者可以由用户输入。可选地，I/O特性可以从连接中的显示设备获取。不特别限制获取方法。
伽马校正单元205对来自A/D转换器123的数据或者来自存储器控制单元115的数据进行伽马校正。
系统控制单元的内部结构
接着，将参考图2B来说明根据本典型实施例的系统控制单元150的内部结构。
图2B示出系统控制单元150的周围单元和系统控制单元150的内部结构。第一曝光计算单元211从伽马校正单元205获取伽马特性，并且从绝对亮度代码确定单元203获取所确定的绝对亮度代码。基于所获取的信息，第一曝光计算单元211确定用于从显示设备以绝对亮度输出视频的第一曝光控制量。系统控制单元150基于所确定出的第一曝光控制量来进行曝光控制处理。
基于非易失性存储器156中所存储的人物面部的目标亮度值和摄像面整体的平均亮度等，第二曝光计算单元212计算曝光控制量，以使得相关被摄体的亮度落入预定目标范围以内。
亮度校正值生成单元213生成用作用于校正视频的亮度的校正信息的亮度校正值，以使得该视频将具有利用具有与在照相机100拍摄了视频时所假定的亮度范围不同的亮度范围的显示设备适合显示的亮度。元数据生成单元214根据亮度校正值生成单元213所生成的亮度校正值来生成记录数据。信号叠加单元215将元数据生成单元214所生成的记录数据叠加到图像处理单元124所处理的视频信号上。
图像处理
接着，将说明根据本典型实施例的图像处理。
将在假定视频输出显示设备是具有能够表现与被摄体的亮度接近的第一亮度范围的宽动态范围的显示设备(监视器A)、并且在绝对亮度显示模式下拍摄视频的情况下说明以下示例。以下示例还假定观看者在具有能够表现与第一亮度范围相比更窄的第二亮度范围的动态范围的显示设备(监视器B)上观看视频。因而，生成亮度校正值，以校正在绝对亮度显示模式下所拍摄的视频的亮度，从而使得将以与传统自动曝光控制处理中所拍摄的视频的亮度等同的亮度来显示该视频。将所生成的亮度校正值进行关联并存储为元数据。
在传统的自动曝光控制处理中，调节曝光参数以使得相关被摄体的输出亮度落入预定目标范围以内。例如，进行曝光控制处理，以使得例如以显示设备能够表现的最大输出亮度的约70％来连续显示人物的面部。通过进行该控制处理，即使显示设备具有窄动态范围，也可以始终以针对窄动态范围的显示设备适合的亮度来显示人物的面部的输出亮度。以下将如下模式称为相对亮度显示模式，其中在该模式下，照相机拍摄并存储视频，以使得相关被摄体的输出亮度维持在适合于具有不同亮度范围的另一显示设备的亮度级别。
接着，将参考图3来说明根据本典型实施例的在绝对亮度显示模式下所进行的图像处理。
图3中的处理是在系统控制单元150将非易失性存储器156中所存储的程序在系统存储器152中展开并执行该程序的情况下实现的。
在步骤S301中，系统控制单元150使得检测单元201检测来自A/D转换器123的数据或者来自存储器控制单元115的数据。通过进行该检测，检测单元201获得数据的代表值。检测单元201例如通过计算中央部分的平均亮度、计算诸如面部等的特定被摄体的平均亮度、或者获取指定点的亮度，来获得代表值。检测单元201可以通过使用不同的方法来获得代表值。需要注意检测对象的选择。即，由于在稍后进行曝光控制处理时照相机100的动态范围可能发生变化，因此最好选择即使在动态范围发生变化之后也能够被检测到的检测对象。例如，可以基于照相机100的动态范围来设置上限和下限的阈值，并且可以将落入阈值之间的对象确定为选择对象。
在步骤S302中，系统控制单元150使BV计算单元202计算代表值的BV(绝对亮度值)。例如，可以根据基准信号、光圈、ISO感光度、增益、快门速度以及检测单元201所获取的代表值来计算BV。通过表达式1来获得摄影曝光加法系统(APEX)表现中的基准信号的BV、即基准BV。
基准BV＝2(Av+Tv-Sv)×(0.32×k)[cd/m2]…(表达式1)
表达式1包括光圈值Av、快门速度Tv以及通过将摄像感光度转换成APEX单位所获得的曝光控制值Sv。表达式1还包括校准系数k。为了获得18％灰度的输入，在将以APEX单位表示的亮度值转换成作为绝对亮度的单位的cd/m2(或nit)的情况下使用校准系数k。在本典型实施例中，将校准系数k设置成12.5。基于关系表达式log2(X/0.32×k)＝Z，可以将以APEX单位表示的亮度值Z转换成绝对亮度值X。即，利用2z×(0.32×k)来计算绝对亮度值X。例如，在Av＝F4.0、Tv＝1/128且Sv＝ISO感光度200的情况下，利用表达式1来计算基准BV。
基准BV＝2(4(Av)+7(Tv)-6(Sv))×(0.32×12.5)＝128[cd/m2]
利用表达式2来计算基准信号代码。
基准信号代码＝(2位数)×(基准亮度值[％]/动态范围[％])…(表达式2)
在照相机100的动态范围是1200％，基准亮度值与亮度值的上限的比率是20％，并且数据的位数是14的情况下，可以以如下方式计算基准信号代码：
基准代码信号＝(214)×(20/1200)＝273。
在代表值代码是2132并且绝对亮度值X是代码值的BV和基准BV之间的差的情况下，建立以下等式。
代表值代码＝基准信号代码×(2X)…(表达式3)
通过将上述值代入表达式3，建立以下等式。
2132＝273×(2X)
X＝2.96
因而，以如下方式计算代表值的BV。
代表值的BV＝22.96×128[cd/m2]＝1000[cd/m2]
以上计算方法仅是示例，并且本典型实施例不限于此。可以使用不同方法来获得代表值的BV。此外，可以根据从外部传感器等所获取的信号来计算BV。
在步骤S303中，系统控制单元150使得绝对亮度代码生成单元203确定绝对亮度代码，以使得输出亮度与代表值的BV匹配。例如，基于显示设备的I/O特性和步骤S302中所计算出的代表值的BV来计算绝对亮度代码。图4A示出代表值的BV和显示设备的I/O特性之间的关系。在图4A所示的显示设备的I/O的情况下，绝对亮度代码生成单元203确定唯一的输入代码，以使得输出亮度和代表值的BV匹配。绝对亮度代码可以根据如图4A中的函数来获得，或者可以利用I/O特性的表达式和代表值的BV来计算出。可选地，可以将I/O关系保存为表数据，并且可以基于代表值的BV来从表数据中选择绝对亮度代码。根据本典型实施例的确定方法不限于这些方法。即，可以应用不同方法。
在步骤S304中，系统控制单元150中的第一曝光计算单元211基于步骤S303中所确定的绝对亮度代码来计算信号转换系数。第一曝光计算单元211计算曝光控制量，以针对代表值使来自伽马校正单元205的输出与绝对亮度代码匹配。例如，第一曝光计算单元211从伽马校正单元205获取伽马特性，并且基于伽马特性来计算第一曝光控制量。图4B示出伽马特性。根据这些伽马特性，在输入代码为Y的情况下，输出代码与绝对亮度代码匹配。在伽马特性是相对于显示设备的I/O特性的逆伽马特性、并且该数据是代表值的情况下，利用表达式4来计算用于使输出代码与绝对亮度代码匹配的曝光控制量。
曝光控制量＝Y/代表值…(表达式4)
在本典型实施例中所述的示例中，伽马特性具有逆伽马特性。然而，本典型实施例不限于该示例。伽马特性可以具有不同的特性。
在步骤S305中，系统控制单元150基于第一曝光计算单元211所计算出的曝光控制量来进行曝光控制处理。例如，如果利用表达式4获得了曝光控制量，则系统控制单元150通过相对于当前曝光控制量加上或减去该曝光控制值来进行曝光控制处理。作为具体示例，如果曝光控制量是1/2，则系统控制单元150将光圈闭合一级。可以根据曝光控制量来改变曝光控制方法。例如，如果曝光控制量太大而使得曝光发生很大变化，则可以随着时间逐渐改变曝光控制值，而不是一次性改变曝光控制值。这样，可以平稳地显示视频。另外，在本典型实施例中，不特别限制用于计算曝光控制量的曝光参数。可以改变光圈设置、ND信息、ISO感光度、增益或快门速度。可以同时改变这些值中的一些值。
在步骤S306中，系统控制单元150使得伽马校正单元205对来自A/D转换器123的数据或者来自存储器控制单元115的数据进行伽马校正。
通过进行上述处理，从照相机100输出目标数据的代表值作为绝对亮度代码，并且通过将绝对亮度代码输入至显示设备，显示设备以代表值的BV来显示视频。即，显示设备可以以绝对亮度值来显示被摄体。因而，用户可以欣赏具有真实感的视频。
接着，参考图3，与绝对亮度显示模式下的图像处理相比较地说明相对亮度显示模式下的图像处理。
在步骤301中，系统控制单元150如在绝对亮度显示模式下那样进行检测。可以以与绝对亮度显示模式下相同的方式获得代表值。可选地，可以使用不同的被摄体或不同的方法。
在步骤S302中，系统控制单元150计算代表值的BV。如果之后第一曝光计算单元211不使用BV，则可以省略步骤S302中的处理。
由于在相对亮度显示模式下不需要步骤S303中的绝对亮度代码生成处理，因此不执行该处理。
在步骤S304中，系统控制单元150计算曝光控制量。在相对亮度显示模式下，系统控制单元150计算曝光控制量，以使得特定被摄体的亮度达到基于代表值预先确定的目标值。作为示例，将说明代表值是面部的亮度并且目标值以输出亮度的70％来显示面部的情况。在这种情况下，假定伽马特性是显示设备的I/O特性的逆伽马特性并且数据的位数是14，则利用表达式5来计算曝光控制量。
曝光控制量＝(70％*(214))/代表值…(表达式5)
在上述示例中，目标值与代表值直接相关。然而，目标值可以是根据代表值计算出的值，例如，可以是与BV相关的值。不特别限制代表值和目标值之间的关系。
在步骤S305中，系统控制单元150基于第一曝光计算单元211所计算出的曝光控制量来进行曝光控制处理。
如绝对亮度显示模式下那样执行步骤S306。
因而，相对亮度显示模式与绝对亮度显示模式的不同之处在于：不进行绝对亮度代码确定处理以及第一曝光计算单元211不是基于绝对亮度代码计算曝光控制量。
在本典型实施例中，尽管代表值是面部的亮度，但是代表值不限于此。可以使用摄像面整体的平均亮度值。可选地，可以使用通过摄像区域的中心附近的权重有所增加的中央重点测光所获得的亮度评价值。另外，根据被摄体或摄像条件，可以将任意值设置为目标值。
在根据本典型实施例的上述示例中，为了便于理解相对亮度显示模式和绝对亮度显示模式之间的差异，在相对亮度显示模式下也使用第一曝光计算单元211。根据本典型实施例，在绝对亮度显示模式下，第一曝光计算单元211计算曝光控制量，并且通过使用第一曝光计算单元211所计算出的曝光控制值、或者通过用户操作所指定的曝光控制值来执行拍摄视频时所进行的曝光控制处理。另外，在相对亮度显示模式下，第二曝光计算单元212计算曝光控制量。在拍摄视频时，第二曝光计算单元212通过获取来自检测单元201的检测值以及来自非易失性存储器156的相关被摄体的亮度的目标值来计算曝光控制量。
接着，将说明在不应用任何校正的情况下将绝对亮度显示模式下所拍摄的视频输出至具有不同动态范围的监视器A和B的情况。
将基于以下条件来进行说明。监视器A具有10000cd/m2的最大输出亮度，并且数据的位数是12。监视器B具有100cd/m2的最大输出亮度，并且数据的位数是8。照相机伽马的数据的位数是12。监视器A的I/O特性是照相机伽马的逆伽马特性，并且监视器B的I/O特性是γ2.2。被摄体是人物的面部，并且被摄体的绝对亮度值是100cd/m2。图5A示出照相机的伽马特性，以及图5B和5C示出监视器A和B的I/O特性。更具体地，图5A示出照相机的伽马特性601。输入代码A是与拍摄100cd/m2的面部时相对应的输入代码。图5B和图5C分别示出监视器A和B的I/O特性602和603。
在上述绝对亮度显示模式下，控制照相机的曝光处理和视频信号，以使得所拍摄面部区域的视频信号与照相机伽马的输入代码A匹配。这样，在监视器A上将以100cd/m2的亮度输出面部区域。
首先，将说明监视器A所输出的视频。基于照相机伽马601将输入代码A转换成输出代码2048，并且存储输出代码2048。在将转换后的代码值2048输入至监视器A的情况下，基于监视器A的I/O特性602来转换代码值2048，并且以100cd/m2来进行输出。
接着，将说明监视器B所输出的视频。基于照相机伽马601将输入代码A转换成输出代码2048，并且存储输出代码2048。在将转换后的代码值2048输入至监视器B的情况下，首先，为了将12位信号转换成8位信号，将代码值2048除以16，结果，获得代码值128。基于监视器B的I/O特性603来转换输入代码128，并且以约15cd/m2来进行输出。
这样，在监视器A的情况下，在被摄体的绝对亮度值与监视器A上所显示的被摄体的亮度值匹配的状态下，将绝对亮度显示模式下所拍摄的视频输出至监视器A。然而，在监视器B的情况下，以相当暗的约15cd/m2来将视频输出至监视器B。如果在相对亮度显示模式下拍摄视频，则对曝光进行控制，以实现监视器B的输出亮度的70％。因而，在监视器B上以70cd/m2输出人物的面部。即，该视频与通过使用传统自动曝光控制处理所显示的视频相比显得更暗。
从曝光控制处理到元数据生成处理的处理
接着，将参考图6和7来说明根据本典型实施例的从曝光控制处理到元数据生成处理的处理。
图7示出被摄体亮度值、曝光控制量和亮度校正值随时间的改变。图7示出作为摄像对象被摄体的面部区域的平均亮度值701、绝对亮度显示模式下的曝光控制量702以及相对亮度控制模式下的曝光控制值703。图7还示出用于校正亮度的亮度校正值704。在将要显示在监视器A上的绝对亮度显示模式下所拍摄的视频显示在监视器B上的情况下，在监视器B上降低视频的亮度。在这种情况下使用亮度校正值704。
接着，作为示例，将说明作为被摄体的面部的亮度随时间如图7中的平均亮度值701所示那样发生改变的情况。在该示例中，被摄体在时刻T1显得明亮，在时刻T2变暗，并且在时刻T3恢复成初始亮度。
在步骤S601中，系统控制单元150判断用户是否给出了曝光指示。该判断是基于用户是否手动操作了操作单元170并且设置了特定曝光级别来进行的。如果用户指定了任意曝光设置，则将相应的曝光控制值添加至该设置。如果用户给出了曝光指示(步骤S601中为“是”)，则处理进入步骤603。如果用户没有给出曝光指示(步骤S601中为“否”)，则处理进入步骤S602。
在步骤S602中，系统控制单元150的第一曝光计算单元211计算作为绝对亮度显示模式下的曝光控制值的第一曝光控制量。接着，处理进入步骤S603。
在步骤S603中，系统控制单元150进行绝对亮度显示模式下的曝光控制处理。如果经由步骤S602执行该处理，则使用第一曝光控制值来进行曝光控制处理。在本典型实施例中，由于在绝对亮度控制模式下进行摄像，因此在摄像期间使用第一曝光控制值。另外，曝光控制量是APEX值的总和。在光圈是F7.0、快门速度是1/128、ISO感光度是ISO 200并且ND滤波器关闭的情况下，以如下方式获得曝光控制量：
11(F7.0)+7(1/128)–6(ISO 200)+0(ND关闭)＝12
另外，如曝光控制量702所示，在被摄体的亮度发生改变期间，绝对亮度显示模式下的曝光控制量没有改变。换句话说，在不改变曝光控制量的情况下将被摄体的亮度直接输出至监视器。即，输出至监视器的被摄体的亮度值随着被摄体的亮度值的改变而增大或减小。在本典型实施例的示例中，不改变曝光。然而，本典型实施例不限于该示例。考虑到灰度特性等，可以改变曝光。
在步骤S604中，系统控制单元150获取作为摄像期间的曝光控制量的摄像曝光控制量。将省略该处理的详细说明。
在步骤S605中，系统控制单元150的第二曝光计算单元212计算作为相对亮度显示模式下的曝光控制值的第二曝光控制量。在正进行绝对亮度显示模式下的曝光控制的情况下，检测视频图像的亮度，并且第二曝光计算单元212计算相对亮度显示模式下的第二曝光控制量。更具体地，计算第二曝光控制量，以使得将面部的亮度维持在监视器B的输出亮度的约70％。如曝光控制值703所示，第二曝光控制量根据被摄体的亮度的改变量而改变。
在步骤S606中，系统控制单元150的亮度校正值生成单元213计算摄像曝光控制量和第二曝光控制量之间的差值，并且基于计算结果生成亮度校正值。在本典型实施例中，由于在摄像期间使用了作为绝对亮度显示模式下的曝光控制值的第一曝光控制量，因此该差值是第一曝光控制量702和第二曝光控制量703之间的差。该差是APEX值的总和之间的差。因而，亮度校正值具有如亮度校正值704所示的特性，并且随着时间增大或减小。亮度校正值不限于曝光控制量之间的差。可以使用不同的亮度校正值，只要该亮度校正值可以对由于监视器的输出亮度范围之间的差所引起的视频的亮度值的差进行校正即可。
在步骤S607中，系统控制单元150的元数据生成单元214生成亮度校正值生成单元213所生成的亮度校正值作为元数据。接着，信号叠加单元215将该元数据叠加在视频上。将叠加了元数据的视频信号记录在记录介质190中。
亮度校正处理
接着，将参考图7来说明亮度校正处理。在该处理中，基于视频信号中所存储的元数据来对绝对亮度显示模式下所拍摄的视频的亮度进行校正，以使得该视频将具有适合监视器B显示的亮度。
由于直至时刻T1为止的亮度校正值是级别4，因此通过将视频信号乘以16倍增益来校正该亮度。同样，由于在时刻T1和时刻T2之间的时间期间的亮度校正值是级别3，因此通过将视频信号乘以8倍增益来校正该亮度。同样，由于在时刻T2和时刻T3之间的时间期间的亮度校正值是级别5，因此通过将视频信号乘以32倍增益来校正该亮度。同样，由于时刻T3之后的时间期间的亮度校正值是级别4，因此通过将视频信号乘以16倍增益来校正该亮度。可以通过照相机或显示设备来进行用于乘以相应增益的校正处理。另外，可以通过改变查找表(LUT)或伽马校正来进行校正处理。
这样，本图像处理设备可以对监视器A上的显示所用的绝对亮度显示模式下所拍摄的视频的亮度进行校正，以使得该视频图像将具有适合于显示在具有与监视器A的动态范围相比更窄的动态范围的监视器B上的亮度。因而，例如，即使在监视器B的最大输出亮度是100cd/m2的情况下，由于以作为最大输出亮度的70％的70cd/m2来显示视频，因此所显示的面部也不会显得暗。因此，即使在面部的亮度由于照射被摄体的光源的亮度的改变而改变的情况下，该图像处理设备也可以容易地将亮度转换成将监视器上所显示的面部的亮度值维持在70cd/m2的适当亮度。
另外，在相对亮度显示模式下，为了避免在将亮度调节成预定目标值时发生急剧的亮度变化，根据各拍摄场景来适应性地改变曝光控制处理的应答性。更具体地，可以将上限设置成作为每单位时间的曝光控制改变量的步进量。可选地，该步进量根据相对于目标值的偏离度而改变。为了该目的，可以生成与曝光控制应答性有关的信息作为亮度校正值，并且可以将所生成的信息进行关联并存储为元数据。可以基于该曝光控制应答性来调节针对监视器B上的显示所校正的视频亮度。
另外，在相对亮度显示模式下，可以通过基于各拍摄场景的对比度和输出亮度改变动态范围来减少视频的过曝光。更具体地，通过改变伽马特性的拐点，来压缩高亮度区域并且扩展动态范围。可以生成监视器B上的显示所用的动态范围信息作为亮度校正值，并存储为元数据。在针对监视器B上的显示校正视频的亮度时，基于动态范围信息来对高亮度区域进行压缩，以减少过曝光。为了避免发生急剧的亮度变化，与曝光控制处理同样地，可以向动态范围控制处理赋予应答性。关于动态范围控制处理的应答性，可以生成亮度校正值并将其存储为元数据，并且可以改变对针对监视器B上的显示所要校正的视频所进行的高亮度压缩的应答性。
已经基于如下示例说明了本典型实施例，其中该示例用于计算绝对亮度显示模式下所拍摄的视频的曝光控制值，以使得可以在具有较窄动态范围的监视器上以相对亮度显示模式适当地显示该视频。然而，本发明不限于该示例。本发明可适用于具有不同的可表现亮度范围的任何监视器。
已经在假定在绝对亮度显示模式下进行监视器A上的显示所用的曝光控制处理以及在相对亮度显示模式下进行监视器B上的显示所用的曝光控制处理的情况下说明了本典型实施例。然而，监视器上的显示所用的曝光控制方法不限于上述示例。可以以监视器A和B这两者均在绝对亮度显示模式下进行工作或者监视器A和B这两者均在相对亮度显示模式下进行工作的方式进行曝光控制。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
根据上述典型实施例，可以对能够表现宽亮度范围的显示设备所用的视频图像的亮度进行校正，以使得亮度适合于表现较窄范围的显示设备。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (9)

1.一种图像处理设备，包括：
图像处理单元，用于生成用于第一显示设备的第一视频信号；
第一曝光计算单元，用于计算在拍摄用于所述第一显示设备的视频的情况下的第一曝光控制值；
第二曝光计算单元，用于计算在拍摄用于第二显示设备的视频的情况下的第二曝光控制值，其中所述第二显示设备是与所述第一显示设备不同的设备并且用于表现与所述第一显示设备所表现的动态范围相比更窄的动态范围；
校正单元，用于在所述第一视频信号显示在所述第二显示设备上的情况下，基于所述第一曝光控制值和所述第二曝光控制值，生成用于校正视频的亮度的校正信息；以及
记录单元，用于将所述校正单元所生成的校正信息与所述第一视频信号相关联，并保存关联后的信息，
其中，所述第一曝光计算单元计算所述第一曝光控制值，以使得所述第一显示设备上所输出的相关被摄体的亮度值与所述相关被摄体的绝对亮度值等同，以及
其中，所述第二曝光计算单元计算所述第二曝光控制值，以使得所述第二显示设备上所输出的相关被摄体的亮度值落入预定目标范围以内。
2.根据权利要求1所述的图像处理设备，其中，还包括：
摄像单元，用于拍摄图像并生成视频信号；以及
曝光控制单元，用于控制摄像时的曝光，
其中，所述曝光控制单元基于所述第一曝光计算单元所计算出的所述第一曝光控制值或者用户所指定的曝光控制值来进行摄像时的曝光控制处理。
3.根据权利要求1所述的图像处理设备，其中，所述校正单元基于所述第一曝光控制值和所述第二曝光控制值之间的差来生成所述校正信息。
4.根据权利要求1所述的图像处理设备，其中，代替基于所述第一曝光控制值和所述第二曝光控制值来生成所述校正信息，所述校正单元生成用于所述第二显示设备上的显示的动态范围信息作为所述校正信息。
5.根据权利要求1所述的图像处理设备，其中，代替基于所述第一曝光控制值和所述第二曝光控制值来生成所述校正信息，所述校正单元生成与针对所述第二显示设备上所表现的动态范围的视频信号的改变的应答性有关的信息作为所述校正信息。
6.根据权利要求5所述的图像处理设备，其中，与所述应答性有关的信息是根据各拍摄场景而适应性改变的曝光控制处理的改变量、或者动态范围控制处理的改变量。
7.根据权利要求2所述的图像处理设备，其中，所述曝光控制处理是通过使用光圈、中性密度信息、感光度、增益和快门速度至少之一来进行的。
8.一种图像处理方法，包括以下步骤：
进行生成用于第一显示设备的第一视频信号的图像处理；
进行计算在拍摄用于所述第一显示设备的视频的情况下的第一曝光控制值的第一曝光计算；
进行计算在拍摄用于第二显示设备的视频的情况下的第二曝光控制值的第二曝光计算，其中所述第二显示设备是与所述第一显示设备不同的设备并且用于表现与所述第一显示设备所表现的动态范围相比更窄的动态范围；
进行在所述第一视频信号显示在所述第二显示设备上的情况下、基于所述第一曝光控制值和所述第二曝光控制值生成用于校正视频的亮度的校正信息的校正；以及
将所述校正中所生成的校正信息与所述第一视频信号相关联，并存储关联后的信息，
其中，在所述第一曝光计算中计算所述第一曝光控制值，以使得所述第一显示设备上所输出的相关被摄体的亮度值与所述相关被摄体的绝对亮度值等同，以及
其中，在所述第二曝光计算中计算所述第二曝光控制值，以使得所述第二显示设备上所输出的相关被摄体的亮度值落入预定目标范围以内。
9.一种计算机可读存储介质，其保存用于使计算机执行根据权利要求8所述的图像处理方法的程序。
CN201711001589.7A 2016-10-24 2017-10-24 图像处理设备、图像处理方法和存储介质 Active CN107979718B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016208035A JP6883971B2 (ja) 2016-10-24 2016-10-24 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2016-208035 2016-10-24

Publications (2)

Publication Number Publication Date
CN107979718A CN107979718A (zh) 2018-05-01
CN107979718B true CN107979718B (zh) 2021-06-11

Family

ID=61971611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711001589.7A Active CN107979718B (zh) 2016-10-24 2017-10-24 图像处理设备、图像处理方法和存储介质

Country Status (3)

Country Link
US (1) US10666870B2 (zh)
JP (1) JP6883971B2 (zh)
CN (1) CN107979718B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3841956A4 (en) * 2018-08-21 2021-10-27 Sony Olympus Medical Solutions Inc. MEDICAL TESTING DEVICE AND MEDICAL OBSERVATION DEVICE
JP7185556B2 (ja) * 2019-02-19 2022-12-07 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP7370762B2 (ja) * 2019-08-20 2023-10-30 キヤノン株式会社 撮像装置およびその制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731797B2 (en) * 2001-03-14 2004-05-04 Eastman Kodak Company Color dependent luminance processing
CN1627323A (zh) * 2003-12-09 2005-06-15 香港中文大学 数字图像的自动修正方法和采用该方法的系统
CN101394484B (zh) * 2007-09-18 2013-05-22 奥林巴斯株式会社 摄像装置
CN104113699A (zh) * 2013-04-16 2014-10-22 奥林巴斯株式会社 拍摄装置和拍摄方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7199840B2 (en) * 2001-05-31 2007-04-03 Matsushita Electric Industrial Co., Ltd. Dynamic gray scale range adjustment apparatus and method
JP2008187590A (ja) 2007-01-31 2008-08-14 Fujifilm Corp 撮影装置及び撮影方法
EP2993886A4 (en) * 2013-04-30 2016-11-23 Sony Corp SENDING DEVICE, TRANSMISSION PROCEDURE, RECEPTION DEVICE AND RECEPTION PROCEDURE
JP2016058848A (ja) * 2014-09-08 2016-04-21 ソニー株式会社 画像処理装置及び画像処理方法
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックＩｐマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
JP6463179B2 (ja) * 2015-03-17 2019-01-30 キヤノン株式会社 信号処理装置、信号処理方法および撮像装置
KR102436954B1 (ko) * 2015-11-24 2022-08-29 삼성전자주식회사 영상 촬영 장치 및 영상 촬영 장치의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6731797B2 (en) * 2001-03-14 2004-05-04 Eastman Kodak Company Color dependent luminance processing
CN1627323A (zh) * 2003-12-09 2005-06-15 香港中文大学 数字图像的自动修正方法和采用该方法的系统
CN101394484B (zh) * 2007-09-18 2013-05-22 奥林巴斯株式会社 摄像装置
CN104113699A (zh) * 2013-04-16 2014-10-22 奥林巴斯株式会社 拍摄装置和拍摄方法

Also Published As

Publication number Publication date
CN107979718A (zh) 2018-05-01
US20180115695A1 (en) 2018-04-26
JP2018074199A (ja) 2018-05-10
US10666870B2 (en) 2020-05-26
JP6883971B2 (ja) 2021-06-09

Similar Documents

Publication Publication Date Title
US10650504B2 (en) Image processing apparatus, and image processing method
CN107979718B (zh) 图像处理设备、图像处理方法和存储介质
US20190327423A1 (en) Image processing apparatus and control method thereof
US9826148B2 (en) Image processing apparatus and image processing method for adjusting texture of an image
US20180124305A1 (en) Imaging apparatus, control method therefor, and storage medium
JP2019057794A (ja) 撮像装置およびその制御方法、プログラムならびに記録媒体
US10325355B2 (en) Video signal processing apparatus, video signal processing method, and program
US10341601B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN111586322B (zh) 图像处理设备及方法、摄像设备、控制方法和存储介质
US10574901B2 (en) Image processing apparatus, control method thereof, and storage medium
US20190007593A1 (en) Image capturing apparatus, control method for the same, and storage medium
JP6046952B2 (ja) 撮像装置及びその制御方法
JP2020048139A (ja) 画像処理装置
JP6573392B2 (ja) 映像信号処理装置、映像信号処理方法、及びプログラム
JP2012129611A (ja) 撮像装置
JP6873810B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP6624895B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2018121298A (ja) 画像処理装置及び方法、及び撮像装置
JP2019153971A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019205063A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2019062369A (ja) 撮像装置及びその制御方法、電子機器のその制御方法、プログラム
JP2017092636A (ja) 撮像装置、映像システム、及び画像処理方法
JP2018078492A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2018082359A (ja) 画像処理装置及び方法、及び撮像装置
JP2018081595A (ja) 画像処理装置及び方法、及び撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant