CN111510697A - 图像处理设备、图像处理方法和存储介质 - Google Patents
图像处理设备、图像处理方法和存储介质 Download PDFInfo
- Publication number
- CN111510697A CN111510697A CN202010068686.3A CN202010068686A CN111510697A CN 111510697 A CN111510697 A CN 111510697A CN 202010068686 A CN202010068686 A CN 202010068686A CN 111510697 A CN111510697 A CN 111510697A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- brightness
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 59
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000012937 correction Methods 0.000 claims abstract description 27
- 230000008447 perception Effects 0.000 claims description 25
- 238000011161 development Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004575 stone Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910052754 neon Inorganic materials 0.000 description 1
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明涉及图像处理设备、图像处理方法和存储介质。该图像处理设备包括：改变部件，用于将图像的显示区域从第一显示区域改变为第二显示区域，所述第二显示区域包括所述第一显示区域的至少一部分；获取部件，用于获取第一值和第二值，所述第一值表示所述第一显示区域中所显示的图像中的考虑了明亮度对比的亮度，以及所述第二值表示所述第二显示区域中所显示的图像中的考虑了明亮度对比的亮度；以及校正部件，用于基于所述获取部件所获取到的所述第一值和所述第二值来对所述第二显示区域中所显示的图像的亮度进行校正。
Description
技术领域
本发明涉及能够优选调整图像质量的图像处理技术。
背景技术
近年来，由于用于显示器的LED元件的发展等，与能够提高黑色的锐度并且增加已经是高的亮度的HDR(高动态范围)相兼容的显示器已经被引入市场。通过这样的显示器，可以在没有进行压缩的情况下按原样显示具有所谓的高动态范围(在下文中，被称为“HDR”)的图像数据，其中HDR的动态范围大于已知显示器的动态范围。
在HDR中，能够逼真地再现在传统动态范围(在下文中，被称为“SDR”)的情况下对比度降低的蓝天中的云的色调和诸如夜景中的霓虹灯等的风景。另一方面，在明亮部分的明亮度过高并眩目的情况下主被摄体被感知为相对暗的这一现象会变得明显。
该现象被认为是由人类视觉特性的颜色对比中的同时对比所导致的，其中该同时对比是颜色在空间上彼此邻近的情况下发生的。除了明亮度对比之外，同时对比还包括饱和度对比，其中在该饱和度对比中，被具有高饱和度的颜色所围绕的颜色的饱和度被感知为降低。该现象是暗与亮之间的差被增强的现象，并且可以说这是真实的HDR图像质量，但是另一方面存在如下情况：如果主被摄体(特别是人的面部)的明亮度降低，则不能说这样的图像是优选的。
图11A和图11B是示出明亮度对比的示例的图。图11A示出在SDR显示下的显示图像，以及图11B示出在HDR显示下的显示图像。在这样的情况下，可以设想，用户进行调整，使得使用进行拍摄时的照相机的图像质量调整功能以及进行显像时的PC应用的图像质量调整功能来使变暗的面部变亮。作为明亮度调整的一般方法，使用如下方法：在被示出为诸如色调曲线等的一维查找表格(LUT)的UI中，在PC应用中仅增加暗的部分的亮度。
这里，可以设想，连同使用PC应用放大功能一起进行图像质量的调整。图12A示出在SDR显示中的放大图像，以及图12B示出在HDR显示中的放大图像。这里，预期如下：在图12B中，因为在放大之前占据大部分面积的高亮度区域由于放大而已很大地减小并且明亮度对比的影响降低，所以用户不会感觉到人的面部过暗。在此状态下，由于用户未感觉到人的面部暗，因此用户不知晓应当将该面部的明亮度校正多少。这样，在使用PC应用针对HDR图像进行修整(retouch)工作中，需要考虑到与SDR的情况相比明亮度对比的影响更大。
因此，例如，在日本专利6105241中，作为定量地处理明亮度对比的影响的方法，公开了对比度轮廓(contrast profile)方法。在该对比度轮廓方法中，将所要观察的对象与周围区域之间的亮度的对比量定义为通过将以下结果相加所获得的值，其中该结果是通过将以所要观察的对象为中心的对数亮度图像乘以中心为正且周围为负的加权函数而获得的。该加权函数用于在从长波长到短波长地设置检测波长时进行滤波。这实际上是通过小波分解近似的。将所分解的对比量分别乘以与检测波长相对应的系数，并且将该结果进行积分，由此可以获得定量地反映了对比效果的图像(在下文中，被称为“明亮度感知图像”)。
图13A示出亮度图像的示例，以及图13B示出从亮度图像获得的明亮度感知图像的示例。在图13A中，虽然上部的树枝的亮度值与下部的石块路面的亮度值大致相同，但是例如，因为上部的树枝被具有高亮度的天空所围绕，所以由于受到明亮度对比的很大影响而导致树枝被感知为特别暗。另一方面，在图13B中，上部的树枝的信号值低于下部的石块路面的信号值，并且可以说定量地反映了明亮度对比的影响。
然而，在如上所述的日本专利6105241中，未涉及用于使用从亮度图像获得的明亮度感知图像来具体地校正输入图像的明亮度的方法。此外，也没有考虑在诸如PC显像应用等的包括放大显示的修整功能中动态地考虑明亮度对比的影响的方法。
发明内容
本发明是有鉴于如上所述的问题作出的，并且提供了能够提高在针对HDR图像进行明亮度调整的情况下的可用性的图像处理设备。
根据本发明的第一方面，提供了一种图像处理设备，包括：改变部件，用于将图像的显示区域从第一显示区域改变为第二显示区域，所述第二显示区域包括所述第一显示区域的至少一部分；获取部件，用于获取第一值和第二值，所述第一值表示所述第一显示区域中所显示的图像中的考虑了明亮度对比的亮度，以及所述第二值表示所述第二显示区域中所显示的图像中的考虑了明亮度对比的亮度；校正部件，用于基于所述获取部件所获取到的所述第一值和所述第二值来对所述第二显示区域中所显示的图像的亮度进行校正。
根据本发明的第二方面，提供了一种图像处理方法，包括：改变步骤，用于将图像的显示区域从第一显示区域改变为第二显示区域，所述第二显示区域包括所述第一显示区域的至少一部分；获取步骤，用于获取第一值和第二值，所述第一值表示所述第一显示区域中所显示的图像中的考虑了明亮度对比的亮度，以及所述第二值表示所述第二显示区域中所显示的图像中的考虑了明亮度对比的亮度；校正步骤，用于基于所述获取步骤中所获取到的所述第一值和所述第二值来对所述第二显示区域中所显示的图像的亮度进行校正。
根据本发明的第三方面，提供了一种非暂时性计算机可读存储介质，其存储用于使计算机执行根据上述的图像处理方法的各步骤的程序。
根据以下参考附图对典型实施例的描述，本发明的其它特征将变得明显。
附图说明
图1是示出根据本发明的第一实施例的图像处理设备的示意性结构的框图。
图2是示出一般显像处理的处理步骤的框图。
图3是示出第一实施例的图像处理设备的操作的流程图。
图4是示出第一实施例的图像处理设备的处理步骤的框图。
图5是示出显示在图像处理设备的显示单元中的用于调整显像参数的用户界面的示例的图。
图6是示出第二实施例的图像处理设备的操作的流程图。
图7是示出第二实施例的图像处理设备的处理步骤的框图。
图8是示出第三实施例的图像处理设备的操作的流程图。
图9是示出第三实施例的图像处理设备的处理步骤的框图。
图10是示出用于针对各亮度调整明亮度的一维LUT的图。
图11A和图11B是SDR显像结果和HDR显像结果的全视角的图像图。
图12A和图12B是SDR显像结果和HDR显像结果的放大图像的部分的图像图。
图13A和图13B是示出自然风景的亮度图像和明亮度感知图像的图。
具体实施方式
在下文中，将参考附图详细描述本发明的实施例。
第一实施例
图1是示出根据本发明的第一实施例的图像处理设备20的示意性结构的框图。图像处理设备20包括CPU 21、ROM 22、RAM 23、外部存储设备24、操作单元25、显示单元26和系统总线27。CPU 21对图像处理设备20进行全面控制。ROM 22存储启动图像处理设备20所需的诸如BIOS等的控制程序、不需要修改的程序、参数以及数据。RAM 23包括用于CPU 21的工作区域、用于暂时存储各种类型的数据的主存储区域、以及用于加载各种程序的区域等等。外部存储设备24存储OS程序、各种控制程序、能够在OS程序上执行的各种类型的软件的程序、以及各种类型的数据等。外部存储设备24是包含在图像处理设备20中或相对于图像处理设备20可安装/可拆卸的硬盘或闪速存储器、或者相对于图像处理设备20可安装/可拆卸的软盘、光盘、磁光盘、IC卡或存储卡等。操作单元25是键盘、鼠标和触摸板等，并接受由用户作出的操作并且向CPU 21给出指示。显示单元26具有用于显示在图像处理设备20上运行的OS和软件的用户界面以及各种类型的信息的功能，并且例如是液晶显示器。系统总线27将构成图像处理设备20的块可通信地连接。
图像处理设备20可以是对所拍摄的RAW图像进行显像和编辑的专用设备，并且在这种情况下，RAW显像程序可以存储在ROM 22中。此外，通用个人计算机(PC)可以通过CPU将存储在外部存储设备中的RAW显像程序提取至RAM来用作图像处理设备20。此外，可以通过拍摄来获取RAW图像的摄像设备也可以通过该摄像设备的控制单元执行RAW显像程序来用作图像处理设备。
RAW显像程序是用于进行用于通过进行RAW显像来创建在显示器等中可以观赏的图像的图像处理的软件(应用)程序。以下将描述由图像处理设备20所要执行的图像处理方法。
可以使用已知的方法来启动RAW显像程序。例如，用户通过操作操作单元25使显示单元26显示图像文件的图标，并且将该图标拖拽并放下至RAW显像程序的图标。通过这样做，启动RAW显像程序，并且读取图像文件的图像数据。此外，还可以通过操作操作单元25从显示在显示单元26中的OS的菜单画面等中启动RAW显像程序。在这种情况下，可以从显示在显示单元26中的RAW显像程序的用户界面中读取图像数据。此外，还可以通过使用在通过操作单元25已经选择了图像文件的状态下进一步选择所要启动的软件的方法来启动RAW显像程序。
图2示出RAW显像处理的一般处理步骤。将参考图2详细描述RAW显像处理。由摄像设备所拍摄的RAW图像101的各像素的像素数据是具有仅单色平面中的强度的图像数据。白平衡单元102进行用于增加白色的白度的处理。具体地，在诸如xy颜色空间等的预定颜色空间中描绘构成拍摄图像数据的各像素的RGB数据，并且对由此在颜色空间中很可能是光源色的黑体辐射轨迹附近所描绘的数据的R、G和B值进行积分。此外，根据积分值获得R分量和B分量的白平衡系数G/R和G/B。使用在上述处理中所生成的白平衡系数来进行白平衡处理。
颜色插值单元103通过进行降噪处理以及用于对颜色马赛克图像进行插值的处理来生成在全部像素中包括R、G和B的全部颜色信息的颜色图像。通过矩阵转换单元104和伽马转换单元105来处理所生成的颜色图像，并且生成基本颜色图像。此后，颜色亮度调整单元109进行用于改善图像的外观的处理。例如，根据场景来进行诸如通过检测傍晚场景而增强饱和度等的图像校正。压缩单元110使用诸如JPEG或者HEVC等的方法将经过了期望的颜色调整的高分辨率图像进行压缩，并且记录单元111生成要记录在诸如闪速存储器等的记录介质中的显像图像112。
在下文中，将使用图3的流程图和图4的处理图来描述图像处理设备20的操作。
在本实施例中，以Fit(适配)显示状态作为初始状态来向用户呈现显像图像112，其中，该Fit显示状态是在PC应用上显示全视角的图像的状态。这里，亮度图像转换单元114根据Fit显示图像来计算亮度图像(S111)。显像图像112通常是RGB格式的，因此使用以下公式将显像图像112转换成表示亮度的Y信号。注意，初始状态不限制于Fit显示状态，并且例如以固定倍率放大图像的显示可以是初始状态。
Y＝0.3R+0.6G+0.1B (1)
此外，明亮度感知图像转换单元116使用以上提到的对比度轮廓方法来从亮度图像中获得明亮度感知图像(S112)。
同样地，考虑如下情况：用户经由图1的操作单元25改变显示区域，即，在本实施例中，用户从Fit显示状态进行放大显示操作(减少显示区域)。放大显示图像生成单元113获取显示在PC应用的显示单元26中的图像的部分视角的图像数据。作为示例，在使用图5的PC应用对话框30来给出说明的情况下，将由通过用户使用放大因数设置下拉34指定的放大因数而确定的视角设置为部分视角。当然，放大因数的设置不局限于使用放大因数设置下拉34。可以通过用户使用鼠标等以将图像数据的部分区域设置为显示区域，来设置所要放大显示的区域。亮度图像转换单元115将所获取的图像转换成亮度信号，并且明亮度感知图像转换单元117将亮度信号进一步转换成明亮度感知图像(S113)。接着，明亮度对比校正增益图像生成单元118使用以下公式来计算校正增益(S114)。
Gain＝Yp_fit/Yp_zoom (2)
这里，Yp_fit表示Fit显示时的明亮度感知图像信号值(代表信号值)，Yp_zoom表示放大时的明亮度感知图像信号值(代表信号值)，以及Gain(增益)是根据这些值的比所计算出的。例如，可以使用明亮度感知图像的平均值或者中间值作为代表信号值。此外，如果作为主被摄体检测处理的结果已检测到诸如面部等的主被摄体区域，则可以通过增加主被摄体区域中的信号值的权重来计算代表信号值。
放大时亮度图像校正单元119基于明亮度对比校正增益图像(通过乘以校正增益)来对放大时的亮度图像进行校正(S115)。通过使用一般的转换公式将校正后的放大时的亮度图像再次转换成RGB图像(S116)，并且该RGB图像是最终的放大显示图像120。该图像不用作实际的记录图像，并且仅用作显示图像。放大显示图像120具有强制地再现能够通过放大而观察到的视角的明亮度对比的影响的效果。
如上所述，根据第一实施例，用户可以在Fit显示时以及放大显示时这两者感到相同的明亮度对比的影响的情况下进行修整工作，并且可以在没有感到不协调的情况下进行明亮度调整。
使用特定示例来描述，例如考虑如下的情况：用户已经进行了放大包括主被摄体区域和背景区域的图像的操作，其中该背景区域包括明亮度高于主被摄体区域的明亮度的区域。作为放大的结果，如果主被摄体区域相对于背景区域的比增加并且主被摄体区域的感知明亮度增加，则用户进行用以将主被摄体区域的明亮度增加得更多的校正。
注意，虽然最终的记录图像具有与Fit显示相对应的视角，但是以上的校正处理是在放大显示中进行编辑的情况下所应用的处理。与此相对，例如，在模式是在放大显示中进行编辑并且以按原样的视角(即，通过裁剪)进行记录的模式的情况下，可以不进行以上的校正。
第二实施例
接下来，将描述本发明的第二实施例。在第一实施例中，也在放大显示时，考虑Fit显示时的明亮度对比的影响来校正用于放大显示的图像。即，在最终的图像具有与Fit显示相对应的视角并且在放大显示中进行编辑的情况下，对放大显示图像的明亮度进行校正。与此相对，第二实施例与第一实施例的不同之处在于，在设置裁剪框时，在裁剪之前考虑处于最终视角时的明亮度对比的影响，并且在显示器上反映该影响。即，在最终的图像是裁剪后的图像(即，与放大后的图像的视角相对应)并且在Fit显示中进行编辑的情况下，对Fit显示图像的明亮度进行校正。
图6是示出第二实施例的图像处理设备的操作的流程图。此外，图7是示出处理步骤的图。假设如下：与第一实施例同样地，以Fit显示状态向用户呈现显像图像112，其中该Fit显示状态是在PC应用上以全视角显示图像的状态。这里，亮度图像转换单元114根据以Fit显示的图像来计算亮度图像(S117)。然后，明亮度感知图像转换单元116从亮度图像获得明亮度感知图像(S118)。在第一实施例中，使用小波分解/积分作为计算明亮度感知图像的方法，但是代替此方法，可以使用应用反锐化掩模(unsharp mask)的方法来降低计算量。注意的是，反锐化掩模需要在分辨率方向上为多层以使得半径具有变化，并且需要调整应用于各层的增益量。期望通过进行面板测试(panel test)等来准备用于提高明亮度对比的可再现性的参数作为增益量。此外，裁剪框外部调整增益计算单元122使用明亮度感知图像以及表示所要切出的视角的部分的裁剪框信息121、利用公式(3)来计算用于裁剪框外部的调整增益(S119)。裁剪框信息是从由用户在图5的PC应用对话框上设置的裁剪框37中获取的。
Gain＝裁剪框内部的平均明亮度感知图像信号值/裁剪框外部的平均明亮度感知图像信号值(3)
这里，可以使用中间值来代替平均值作为用以计算Gain(增益)的值。
最后，裁剪框外部图像校正单元123通过将所计算的裁剪框外部调整增益仅应用于显像图像112的裁剪框的外部区域来获得裁剪显示图像124(S120)。
如上所述，根据第二实施例，在设置裁剪框时，可以在执行裁剪之前的Fit显示时考虑已裁剪的最终框中的明亮度对比。实际上，在没有通过预先使裁剪框的外部区域变暗等来显示该区域的情况下，可以消除裁剪框外部的明亮度对比的影响。然而，考虑后来再次设置裁剪框等的情况等，可以提高在裁剪框的外部区域是半透明的而不是完全不可见的情况下的可用性。作为应用第二实施例的方法的结果，可以自动地调整半透明的程度，并且可以适当地应对任何场景。
第三实施例
接下来，将描述本发明的第三实施例。在第一实施例中，手动地调整用于修整的显示图像。与此相对，第三实施例与第一实施例的不同之处在于，考虑在最终视角中的明亮度对比的影响来自动地校正明亮度。
图8是示出第三实施例的图像处理设备的操作的流程图。此外，图9是示出处理步骤的图。
亮度图像转换单元114将显像图像112的最终视角的图像信号转换为亮度信号(S121)，该最终视角与从裁剪框信息121中获得的裁剪框的内部区域相对应。此后，明亮度感知图像转换单元116获取考虑了最终视角中的明亮度对比的影响的明亮度感知图像(S122)。明亮度校正增益计算单元125使用如图10所示的一维明亮度校正表127根据各明亮度感知像素值来计算校正增益量。明亮度校正单元126可以通过将针对各个像素所计算的校正增益应用于显像图像112来获得明亮度校正图像128(S124)。
如上所述，根据第三实施例，作为应用使用明亮度感知图像而非亮度图像作为关键所计算的校正增益的结果，可以仅针对当用户观察图像时感知为暗的部分进行校正，并且可以进行与感知高度相关的自动校正。
虽然以上已经描述了本发明的优选实施例，但是本发明不限制于这些实施例，并且在不偏离发明的精神的情况下可以作出各种修改和改变。
例如，当根据以上实施例已经考虑到明亮度对比而校正了亮度图像的情况下，可以将该事实通知给用户。例如，通过连同图像一起显示说明“考虑明亮度对比而降低了亮度”的通知，用户可以知晓亮度已经被有意改变的事实。
此外，上述实施例中，校正增益是通过获取多个明亮度感知图像并且将这些图像进行比较所获得的，但是获得校正增益的方法不限于此。无须严格地评价明亮度对比，并且还可以采用可以在某种程度上评价明亮度对比的程度的方法。例如，在第一实施例中，可以通过针对Fit图像和放大图像各自获得背景部分与主被摄体部分之间的平均亮度的比并且通过将这些比进行比较来获得校正增益。即，可以采用各种方法，只要能够指定诸如表示Fit图像和放大图像各自中的明暗比的程度的评价值等的信息并且能够基于该信息来获得校正增益即可。
此外，虽然已经给出使用HDR图像作为示例的描述，但是图像不限于HDR图像。例如，本发明可应用于具有诸如具有大的明亮度差的SDR图像等的各种格式的图像。
其它实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
尽管已将参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附的权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
Claims (14)
1.一种图像处理设备，包括：
改变部件，用于将图像的显示区域从第一显示区域改变为第二显示区域，所述第二显示区域包括所述第一显示区域的至少一部分；
获取部件，用于获取第一值和第二值，所述第一值表示所述第一显示区域中所显示的图像中的考虑了明亮度对比的亮度，以及所述第二值表示所述第二显示区域中所显示的图像中的考虑了明亮度对比的亮度；
校正部件，用于基于所述获取部件所获取到的所述第一值和所述第二值来对所述第二显示区域中所显示的图像的亮度进行校正。
2.根据权利要求1所述的图像处理设备，其中，从所述第一显示区域改变为所述第二显示区域是从对全视角的所述图像的显示改变为在放大所述图像的一部分的情况下对该一部分的显示。
3.根据权利要求1所述的图像处理设备，还包括生成部件，所述生成部件用于基于所述第一显示区域的亮度信号来生成所述第二显示区域中的第一明亮度感知图像，并且基于所述第二显示区域的亮度信号来生成第二明亮度感知图像，
其中，所述生成部件基于人类感知明亮度的特性来生成所述第一明亮度感知图像和所述第二明亮度感知图像，以及
所述获取部件基于所述第一明亮度感知图像来获取所述第一值，并且基于所述第二明亮度感知图像来获取所述第二值。
4.根据权利要求3所述的图像处理设备，其中，所述第一值是所述第一明亮度感知图像的信号值的平均值，以及所述第二值是所述第二明亮度感知图像的信号值的平均值。
5.根据权利要求3所述的图像处理设备，其中，所述第一值是所述第一明亮度感知图像的信号值的中间值，并且所述第二值是所述第二明亮度感知图像的信号值的中间值。
6.根据权利要求1所述的图像处理设备，还包括确定部件，所述确定部件用于基于所述第一值和所述第二值来确定用于对亮度进行校正的增益。
7.根据权利要求6所述的图像处理设备，其中，所述增益是所述第一值与所述第二值之间的比。
8.根据权利要求6所述的图像处理设备，其中，所述校正部件通过将所述第二显示区域中所显示的图像的亮度信号乘以所述增益来对亮度进行校正。
9.根据权利要求6所述的图像处理设备，其中，所述确定部件基于所述第一值和所述第二值来计算用于对所述第二显示区域中的图像的暗部进行校正的增益。
10.根据权利要求1所述的图像处理设备，其中，在裁剪之后要记录所述图像的情况下，不对所述第二显示区域中的图像的亮度进行校正。
11.根据权利要求1所述的图像处理设备，其中，所述图像是高动态范围图像即HDR图像。
12.根据权利要求11所述的图像处理设备，还包括显像部件，所述显像部件用于通过对RAW图像进行显像来生成所述HDR图像。
13.一种图像处理方法，包括：
改变步骤，用于将图像的显示区域从第一显示区域改变为第二显示区域，所述第二显示区域包括所述第一显示区域的至少一部分；
获取步骤，用于获取第一值和第二值，所述第一值表示所述第一显示区域中所显示的图像中的考虑了明亮度对比的亮度，以及所述第二值表示所述第二显示区域中所显示的图像中的考虑了明亮度对比的亮度；
校正步骤，用于基于所述获取步骤中所获取到的所述第一值和所述第二值来对所述第二显示区域中所显示的图像的亮度进行校正。
14.一种非暂时性计算机可读存储介质，其存储用于使计算机执行根据权利要求13所述的图像处理方法的各步骤的程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019014481A JP7277156B2 (ja) | 2019-01-30 | 2019-01-30 | 画像処理装置及び画像処理方法、プログラム |
| JP2019-014481 | 2019-01-30 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111510697A true CN111510697A (zh) | 2020-08-07 |
| CN111510697B CN111510697B (zh) | 2022-08-30 |
Family
ID=69322733
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010068686.3A Active CN111510697B (zh) | 2019-01-30 | 2020-01-21 | 图像处理设备、图像处理方法和存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11521306B2 (zh) |
| JP (1) | JP7277156B2 (zh) |
| CN (1) | CN111510697B (zh) |
| DE (1) | DE102020101947A1 (zh) |
| GB (1) | GB2581434B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022077591A (ja) * | 2020-11-12 | 2022-05-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090289968A1 (en) * | 2008-05-23 | 2009-11-26 | Semiconductor Energy Laboratory Co., Ltd | Display device |
| CN104917930A (zh) * | 2014-03-10 | 2015-09-16 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| US20170229099A1 (en) * | 2016-02-09 | 2017-08-10 | Canon Kabushiki Kaisha | Display apparatus and method for controlling display apparatus |
| CN107295248A (zh) * | 2016-04-11 | 2017-10-24 | 佳能株式会社 | 显示图像的图像显示设备和图像显示方法及存储介质 |
| US20170353704A1 (en) * | 2016-06-01 | 2017-12-07 | Apple Inc. | Environment-Aware Supervised HDR Tone Mapping |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59804A (ja) | 1982-06-28 | 1984-01-06 | 東芝テック株式会社 | 照明器具の反射板 |
| US6282317B1 (en) * | 1998-12-31 | 2001-08-28 | Eastman Kodak Company | Method for automatic determination of main subjects in photographic images |
| ES2366904T3 (es) * | 2002-04-23 | 2011-10-26 | Thomson Licensing | Método y aparato para controlar un aparato de procesamiento de señal de video. |
| US7149358B2 (en) * | 2002-11-27 | 2006-12-12 | General Electric Company | Method and system for improving contrast using multi-resolution contrast based dynamic range management |
| US7956904B2 (en) * | 2007-10-23 | 2011-06-07 | Panasonic Corporation | Image file reproduction device and image file reproduction method |
| JP6105241B2 (ja) | 2012-09-21 | 2017-03-29 | 旭化成ホームズ株式会社 | 照明制御システム |
| JP6381215B2 (ja) * | 2014-01-29 | 2018-08-29 | キヤノン株式会社 | 画像処理装置、画像処理方法、表示装置、表示装置の制御方法、及び、プログラム |
| JP2015156600A (ja) | 2014-02-21 | 2015-08-27 | 株式会社 日立産業制御ソリューションズ | 画像信号処理装置，画像信号処理方法，および撮像装置 |
| KR20180043455A (ko) * | 2016-10-19 | 2018-04-30 | 삼성디스플레이 주식회사 | 두부 장착 표시 시스템의 구동 방법 및 이를 수행하는 두부 장착 표시 시스템 |
| JP6906947B2 (ja) * | 2016-12-22 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびコンピュータのプログラム |
| JP2019004230A (ja) | 2017-06-12 | 2019-01-10 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
-
2019
- 2019-01-30 JP JP2019014481A patent/JP7277156B2/ja active Active
- 2019-12-27 GB GB1919384.6A patent/GB2581434B/en active Active
-
2020
- 2020-01-21 CN CN202010068686.3A patent/CN111510697B/zh active Active
- 2020-01-24 US US16/751,352 patent/US11521306B2/en active Active
- 2020-01-28 DE DE102020101947.5A patent/DE102020101947A1/de active Pending
-
2022
- 2022-11-07 US US17/982,283 patent/US11810281B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090289968A1 (en) * | 2008-05-23 | 2009-11-26 | Semiconductor Energy Laboratory Co., Ltd | Display device |
| CN104917930A (zh) * | 2014-03-10 | 2015-09-16 | 佳能株式会社 | 图像处理设备和图像处理方法 |
| US20170229099A1 (en) * | 2016-02-09 | 2017-08-10 | Canon Kabushiki Kaisha | Display apparatus and method for controlling display apparatus |
| CN107295248A (zh) * | 2016-04-11 | 2017-10-24 | 佳能株式会社 | 显示图像的图像显示设备和图像显示方法及存储介质 |
| US20170353704A1 (en) * | 2016-06-01 | 2017-12-07 | Apple Inc. | Environment-Aware Supervised HDR Tone Mapping |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111510697B (zh) | 2022-08-30 |
| GB2581434A (en) | 2020-08-19 |
| US11810281B2 (en) | 2023-11-07 |
| DE102020101947A1 (de) | 2020-07-30 |
| US11521306B2 (en) | 2022-12-06 |
| JP2020123138A (ja) | 2020-08-13 |
| US20230056828A1 (en) | 2023-02-23 |
| GB2581434B (en) | 2022-04-27 |
| GB201919384D0 (en) | 2020-02-05 |
| US20200242745A1 (en) | 2020-07-30 |
| JP7277156B2 (ja) | 2023-05-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2750101B1 (en) | Endoscopic video system with dynamic contrast and detail enhancement | |
| JP5100565B2 (ja) | 画像処理装置及び画像処理方法 | |
| US7885479B2 (en) | Image processing device that quickly displays retinex-processed preview image | |
| JP4645921B2 (ja) | 画像信号処理装置および方法、プログラム、並びに撮像装置 | |
| US9177396B2 (en) | Image processing apparatus and image processing method | |
| JP2007228451A (ja) | 撮像装置 | |
| JP4595569B2 (ja) | 撮像装置 | |
| JP2002290707A (ja) | 画像処理装置 | |
| JP2008072450A (ja) | 画像処理装置及び画像処理方法 | |
| US11810281B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP6415063B2 (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
| US11503215B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium that notify a user of a region in which tone characteristics can be restored | |
| JP2008305122A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP4359662B2 (ja) | カラー画像の露出補正方法 | |
| JP2012083848A (ja) | 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム | |
| JP6786273B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2004220438A (ja) | 画像処理プログラム及び方法 | |
| JP2009296210A (ja) | 画像処理装置及び画像処理方法 | |
| JP2004349842A (ja) | 合成画像の補正方法及びプログラム | |
| JP2021082069A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
| JP5050141B2 (ja) | カラー画像の露出評価方法 | |
| JP2008252227A (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
| JP5627730B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2012222616A (ja) | 画像処理装置、撮像装置およびプログラム | |
| JP2016170637A (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |