CN107533757B - 处理图像的装置和方法 - Google Patents

处理图像的装置和方法 Download PDF

Info

Publication number
CN107533757B
CN107533757B CN201680027604.2A CN201680027604A CN107533757B CN 107533757 B CN107533757 B CN 107533757B CN 201680027604 A CN201680027604 A CN 201680027604A CN 107533757 B CN107533757 B CN 107533757B
Authority
CN
China
Prior art keywords
image
unit
area
reflection
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680027604.2A
Other languages
English (en)
Other versions
CN107533757A (zh
Inventor
堤朋纪
森藤孝文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107533757A publication Critical patent/CN107533757A/zh
Application granted granted Critical
Publication of CN107533757B publication Critical patent/CN107533757B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本公开涉及能够再现就像实物存在一样的实体感的图像处理装置和方法。反射特性估计单元由所提供的输入图像估计并分析作为被摄体的特性的被摄体的反射特性。反射特性估计单元将作为反射特性估计结果的镜面反射分量提供给特性信息整合单元和高亮区域检测单元作为图像估计信息。高亮区域检测单元通过使用作为来自反射特性估计单元的反射特性估计结果的镜面反射分量进行与利用反射特性估计单元处理并行的高亮区域检测，并将高亮区域检测结果提供给特性信息整合单元作为图像估计信息。本公开可应用于例如图像处理装置。

Description

处理图像的装置和方法
技术领域
本技术涉及图像处理装置及图像处理方法，并且具体地涉及能够再现就像实物存在一样的实体感的图像处理装置及图像处理方法。
背景技术
为了增强视频实际感的目的，已经开发了调节对比度、精细度等的技术。
应当注意的是，专利文献1已经提出了实现图像中的物体的色彩校正和所需色彩再现以提高图像品质的技术。
引用清单
专利文献
专利文献1：WO 2010/087162
发明内容
技术问题
然而，仅通过提高诸如对比度和精细度的基本图像品质对性能作用有限。鉴于这种情况，所需要的是再现就像实物存在一样的实体感，例如，再现就像通过视频实际观看到被摄体一样的情形。
本公开内容就是鉴于上述情况而做出的，并且使得有可能再现就像实物存在一样的实体感。
问题的解决方案
根据本公开的一方面的图像处理装置包括：反射特性估计单元，其估计图像的被摄体的反射特性；高亮区域检测单元，其通过使用由所述反射特性估计单元估计的反射特性估计结果来检测所述图像中的高亮区域；和实体感控制单元，其通过在所述反射特性估计结果和由所述高亮区域检测单元检测的高亮区域检测结果的基础上对于其中反射区域和高亮区域被增强的图像进行限制处理而控制所述图像中的所述被摄体的实体感，所述限制处理是基于所述图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别。
由所述反射特性估计单元获取的所述反射特性估计结果是指示所述被摄体的所述反射特性为强镜面反射分量的信息。
所述高亮区域检测单元可将满足低镜面反射分量区域、高亮度区域和低色度区域的区域作为所述高亮区域来进行检测。
所述高亮区域检测单元可将具有不被进行面积计数排除的小面积的区域作为所述高亮区域来进行检测。
所述实体感控制单元可包括增强处理单元，其在所述反射特性估计结果和由所述高亮区域检测单元检测的所述高亮区域检测结果的基础上增强所述反射区域和所述高亮区域，和限制处理单元，其对于其中所述反射区域和所述高亮区域被增强的图像进行限制处理，所述限制处理是基于所述图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别。
所述限制处理单元可通过在针对所述差别超出预定的限制直线的像素的面积计数的结果的基础上计算对于小面积部分抑制弱且对于大面积部分抑制强的抑制增益并使用所计算的抑制增益来进行所述限制处理。
所述限制处理单元可通过使用与所述预定的限制直线不同的限制直线来进行所述限制处理。
所述不同的限制直线具有由输入值改变的限制值。
所述限制处理单元可通过使用所述预定的限制直线来进行所述限制处理。
所述实体感控制单元可进一步包括阴影控制单元，其进行阴影控制以降低所述图像中增强的所述反射区域和高亮区域周围的亮度。
所述阴影控制单元可进行所述阴影控制，以通过降低在所述图像与针对其进行所述限制处理的图像之间差别较大的部分周围的亮度来降低所述图像中增强的所述反射区域和高亮区域周围的亮度。
所述阴影控制单元可计算要针对具有所述大差别的部分设定为强的应用增益，并通过使用所计算的应用增益来进行所述阴影控制。
所述阴影控制单元可对于比由用户设定的吸收起点低的亮度进行所述阴影控制。
所述阴影控制单元可对于比所述阴影控制的限制直线高的亮度进行所述阴影控制。
根据本公开的一方面的图像处理方法包括：通过图像处理装置估计图像的被摄体的反射特性；通过使用估计的反射特性估计结果来检测所述图像中的高亮区域；以及通过在所述反射特性估计结果和检测的高亮区域检测结果的基础上对于其中反射区域和高亮区域被增强的图像进行限制处理来控制所述图像中的所述被摄体的实体感，所述限制处理是基于所述图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别。
在本公开的所述方面中，估计所述图像的所述被摄体的所述反射特性，并且通过使用所估计的反射特性估计结果来检测所述图像中的所述高亮区域。进一步地，在所述反射特性估计结果和所检测的高亮区域检测结果的基础上，对于其中所述反射区域和所述高亮区域被增强的图像，所述限制处理基于所述图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别，其结果是所述图像中的所述被摄体的实体感受到控制。
发明的有益效果
根据本公开的所述方面，有可能对图像进行处理。有可能再现就像实物存在一样的实体感。特别地，有可能再现高亮区域。
附图说明
[图1]解释本技术的概念的图示。
[图2]解释本技术的实体感控制方法的图示。
[图3]示出图像处理装置的主要配置实例的框图。
[图4]示出被摄体特性分析单元和特性控制单元的配置实例的框图。
[图5]具体解释高亮区域检测的图示。
[图6]具体解释高亮区域检测的图示。
[图7]解释突出区域估计处理的流程图。
[图8]具体解释基于输入和输出差别的限制处理的图示。
[图9]解释限制处理的流程图。
[图10]具体解释阴影控制的图示。
[图11]解释阴影控制的流程图。
[图12]示出本技术的效果的实例的图示。
[图13]解释图3中所示的图像处理装置的图像处理的流程图。
[图14]解释测量、估计和整合处理的流程图。
[图15]解释基于视觉环境信息的处理的流程图。
[图16]解释基于实体品质的反射特性调节处理的流程图。
[图17]解释基于视线信息的处理的流程图。
[图18]示出个人计算机的主要配置实例的框图。
具体实施方式
下文将描述本公开的具体实施方式(在下文中称为实施方案)。应当注意的是，将按照以下顺序给出描述。
1.本技术的概要
2.第一实施方案
3.第二实施方案
<本技术的概要>
[本技术的概念]
参考图1，将对本技术的概念进行描述。本技术改善图像中的物体的实体感。
在现实当中，人用眼睛所感觉到的(也就是说，指示光如何进入人的视觉的物理信息(实体信息))是基础的必要信息。物理信息的实例包括日光(照明)、物体的形状(几何形状)、物体的反射分量(反射率)等。有了这些物理信息片段，逻辑上可以使光再现。
物理信息进入相机的中心。因此，在从图像(2D图像)中提取的信息(图像统计、漫射/镜面反射分量和在拍摄时的照明信息)的基础上，这是作为被摄体的特性信息(被摄体的区域信息或识别信息)被估计，并且可以获取该信息。
应当注意的是，从图像中提取信息的处理是考虑光的特性的处理，并且将该特性估计为被摄体的特性信息的处理是基于物体(被摄体)的处理。
因此，在本技术中，将从图像中提取的信息用作被摄体的特性信息，并且图像中的被摄体的(表面)的实体感受到控制。进一步地，在控制之时，也有可能使用通过从现实当中进行测量而获取的物理信息。
进一步地，图像中的被摄体的实体感不仅涉及物理信息，而且实际上还涉及人在其中进行观看的环境的信息(视觉环境的照明信息)和与人如何感觉有关的信息(感知：超敏锐度)。因此，在本技术中，不仅通过使用物理信息，而且还通过使用观看环境的信息(视觉环境的照明信息)和与人如何感觉有关的信息，图像中的被摄体的实体感受到控制，并且重新创建了图像。
如上所述，在本技术中，图像中的被摄体的实体感受到控制。在本文的说明书中，实体感是指相对于材料的特征(物理因素)而产生的人的心理感觉(心理因素)。
也就是说，在说明书中定义的是，实体感具有指示作为物理因素的被摄体的物理特性的参数和指示作为心理因素的被摄体的感知敏感度的参数。
因此，说明书中的实体感控制意指控制上述物理因素和心理因素的参数。应当注意的是，在下文中，在实体感控制之时，将描述的是物理因素的物理特性参数受到控制。然而，实际上在该时，指示作为心理因素之参数的被摄体的感知敏感度的参数也受到控制。
[本技术中的质感控制方法]
接下来，参考图2，将描述本技术的实体感控制方法。
首先，拍摄现实当中的被摄体的图像，并将被摄体的图像输入到测量和估计区块1。在测量和估计区块1中，通过在拍摄被摄体的图像之时从现实当中进行测量而获取指示被摄体的物理特性的物理特性参数。或者，在测量和估计区块1中，通过由被摄体的输入图像进行估计而获取指示被摄体的物理特性的物理特性参数。例如，作为物理特性参数，获取了上述的照明、被摄体的结构和反射特性。
将获取的被摄体的物理特性参数在现实建模区块2中建模。将建模的被摄体的物理特性参数输入到实体感控制区块3。
在实体感控制区块3中，根据建模的被摄体的物理特性参数或从图像中获取的特征量(质感)来控制图像中的被摄体的实体感。作为实体感控制的实例，例如，改变物理特性参数以便使反射容易。其结果是，被摄体的光学特性得到优化。进一步地，例如，如果存在缺乏质感的部分，则这被适当地恢复。也就是说，在实体感控制区块3中，作为实体感控制，为了增加视觉光泽度或透明度，改变(控制)物理特性参数。
在渲染和润饰区块4中，根据通过控制实体感获取的结果(改变的参数)，为重构图像，将图像重新合成(渲染)，并输出作为对图像品质进行微细调节的结果的图像。
通过上述处理，根据本技术，在输入图像与实际外观不同的情况下，例如在图像中进行照明光的优化、光泽度的提高和透明度的再现。也就是说，有可能在视频中再现当实际观看到被摄体之时的情形。
<第一实施方案>
[图像处理装置的配置实例]
图3是示出本公开所应用的图像处理装置的实施方案的配置的框图。
如上所述，图3中所示的图像处理装置11获取与所拍摄并输入的现实当中的被摄体的图像中的被摄体有关的物理特性参数，控制图像中的被摄体的实体感，并输出其中被摄体的实体感受到控制的图像。
图像处理装置11包括摄像环境信息获取单元21、摄像环境信息分析单元22、被摄体特性分析单元23、特性信息整合单元24、视觉环境信息分析单元25、特性控制单元26和图像合成单元27。
摄像环境信息获取单元21、摄像环境信息分析单元22和被摄体特性分析单元23对应于图2中所示的测量和估计区块1。特性信息整合单元24对应于图2中所示的现实建模区块2。特性控制单元26对应于图2中所示的实体感控制区块3。图像合成单元27对应于渲染和润饰区块4。
摄像环境信息获取单元21拍摄被摄体的图像，输入被摄体的图像，并将输入图像提供给被摄体特性分析单元23和图像合成单元27。进一步地，摄像环境信息获取单元21在拍摄被摄体的图像之时获取在摄像之时与环境和被摄体有关的信息，并将在摄像之时获取的信息提供给摄像环境信息分析单元22。
摄像环境信息分析单元22分析在摄像之时从摄像环境信息获取单元21获取的摄像之时的信息，并将所分析的摄像之时的信息提供给特性信息整合单元24。
由来自摄像环境信息获取单元21的输入图像，被摄体特性分析单元23估计并分析被摄体的特性，并且将所分析的图像估计信息提供给特性信息整合单元24。在被摄体特性分析单元23中，可通过由图像进行估计而获取在摄像之时无法获取的与微细(例如，具有高采样率)部分有关的信息作为摄像之时的信息。
具体地，例如，被摄体特性分析单元23由所提供的输入图像估计并分析被摄体的反射特性作为例如被摄体的特性。然而，在反射特性估计中，在使用二色反射模型的情况下，难以检测到高亮区域(低色度和高亮度部分)。也就是说，在使用色彩信息的反射特性估计中，难以检测具有低色度的高亮区域。
进一步地，在作为反射特性估计的结果的镜面反射分量中，不可能检测到高亮区域部分。由于这个原因，如果进行镜面反射增强，则斑纹或边界被增强。进一步地，当别的处理检测到高亮区域时，会引起边界具有镜面反射分量或过度检测。
如果反射特性估计和高亮区域估计的检测精度低，或者由于噪声或移动的影响而发生错误的检测，则会引起镜面反射增强太多。因此，有必要全面削弱增强，所以难以充分发挥性能。
进一步地，对于过度曝光的白色(饱和)区域，难以产生镜面反射增强效果。
有鉴于此，被摄体特性分析单元23通过使用镜面反射分量作为与反射特性估计并行的反射特性估计结果来进行高亮区域检测。被摄体特性分析单元23将镜面反射分量(其是所分析的被摄体的反射特性估计结果)和高亮区域检测结果提供给特性信息整合单元24作为图像估计信息。
特性信息整合单元24整合来自摄像环境信息分析单元22的摄像之时的信息和来自被摄体特性分析单元23的图像估计信息，并将整合的信息提供给特性控制单元26作为与被摄体有关的物理特性参数。
视觉环境信息分析单元25获取并分析视觉环境的信息，所述视觉环境是在当观看图像之时的环境。视觉环境信息分析单元25将所分析的视觉环境信息提供给特性控制单元26作为视觉环境参数。
应当注意的是，与被摄体有关的物理特性参数包括被摄体的深度及几何信息、在摄像之时的照明信息、被摄体的实体信息和被摄体的反射特性信息。应当注意的是，在摄像之时的照明信息也影响被摄体的色彩等，并且是与被摄体有关或与被摄体的背景有关的信息，且因此被包括在与被摄体有关的物理特性参数中。
视觉环境参数包括视觉环境光信息、观看时间段和关注被摄体(视线)信息。
为控制图像中的被摄体的实体感(在此情况下，图像品质)，特性控制单元26使用作为控制参数的来自特性信息整合单元24的与被摄体有关的物理特性参数和来自视觉环境信息分析单元25的视觉环境参数。具体地，例如，在来自特性信息整合单元24的物理特性参数的基础上，特性控制单元26确定用以控制实体感的处理内容，如改变图像品质、调节反射特性或改变几何形状。应当注意的是，这些当中，在调节反射特性之时，特性控制单元26基于输入和输出差别及阴影控制来进一步确定用以进行限制处理的处理内容。
特性控制单元26将与确定的处理内容有关的信息提供给图像合成单元27，并使图像合成单元27进行实体感控制。应当注意的是，在通过图像合成单元27进行控制的情况下，实体感控制也可以是用以产生实体感的图像品质控制。例如，在使声音合成单元(未示出)等进行实体感控制的情况下，可以说实体感控制也是用以产生实体感的声音品质控制。进一步地，根据视觉环境参数，特性控制单元26使图像合成单元27进行实体感控制，并且优化实体感控制。
在特性控制单元26的控制下，图像合成单元27重新合成(渲染)并调节来自摄像环境信息获取单元21的输入图像，并将重新合成的结果作为输出图像输出。
[被摄体特性分析单元和特性控制单元的配置实例]
图4是示出被摄体特性分析单元23和特性控制单元26的配置实例的区块图。
被摄体特性分析单元23包括反射特性估计单元31和高亮区域检测单元32。
特性控制单元26包括镜面反射增强单元41、限制处理单元42和阴影控制单元43。
来自摄像环境信息获取单元21的输入图像不仅被输入到反射特性估计单元31和高亮区域检测单元32而且还被输入到限制处理单元42和阴影控制单元43。
由所提供的输入图像，反射特性估计单元31估计并分析作为例如被摄体的特性的被摄体的反射特性。反射特性估计单元31将镜面反射分量(指示镜面反射分量强的信息)(其是反射特性估计结果)提供给特性信息整合单元24和高亮区域检测单元32作为图像估计信息。
与用反射特性估计单元31处理并行的是，高亮区域检测单元32使用镜面反射分量(其是来自反射特性估计单元31的反射特性估计结果)来进行高亮区域检测，并将高亮区域检测结果提供给特性信息整合单元24作为图像估计信息。
特性信息整合单元24整合图像估计信息当中的镜面反射分量(其是来自反射特性估计单元31的被摄体估计结果的反射特性)和来自高亮区域检测单元32的高亮区域检测结果。特性信息整合单元24整合来自摄像环境信息分析单元22的摄像之时的信息和来自被摄体特性分析单元23的图像估计信息，并将所述信息作为与被摄体有关的物理特性参数提供给特性控制单元26的镜面反射增强单元41。
在来自特性信息整合单元24的物理特性参数的基础上，镜面反射增强单元41调节反射特性。具体地，在来自特性信息整合单元24的物理特性参数(镜面反射分量和高亮区域检测结果)的基础上，镜面反射增强单元41确定用以增强镜面反射分量和高亮区域的处理内容，并将确定的处理内容提供给限制处理单元42。作为结果，镜面反射增强单元41可使图像合成单元27增强图像中的镜面反射分量和高亮区域。也就是说，镜面反射增强单元41增强作为处理内容的输入图像中的镜面反射分量和高亮区域。
参考来自镜面反射增强单元41的处理内容，也就是说，对于其中镜面反射分量和高亮区域被增强的图像(其是镜面反射增强单元41的处理结果)，限制处理单元42基于输入和输出差别进行限制处理。将参考图8详细描述基于输入和输出差别的限制处理。实际上，限制处理单元42基于输入图像与其中镜面反射分量和高亮区域被增强的图像(其是镜面反射增强单元41的处理结果)之间的差别来确定用以进行限制处理的处理内容，并将确定的处理内容提供给阴影控制单元43。作为结果，限制处理单元42可使图像合成单元27基于输入和输出差别来进行限制处理。也就是说，限制处理单元42基于输入和输出差别来进行限制处理，对于其中镜面反射分量和高亮区域被增强的图像(其是镜面反射增强单元41的处理结果)的限制处理作为处理内容。
阴影控制单元43使用来自限制处理单元42的处理内容，也就是说，对于经受限制处理单元42的限制处理的图像进行阴影控制。将参考图10详细描述阴影控制。实际上，阴影控制单元43使用输入图像与经受限制处理单元42的限制处理的图像之间的差别来确定用于进行阴影控制的处理内容，并将确定的处理内容输出到图像合成单元27。作为结果，阴影控制单元43可使图像合成单元27进行阴影控制。也就是说，阴影控制单元43对于经受限制处理单元42的限制处理的图像进行阴影控制作为处理内容。
应当注意的是，阴影控制单元43是用于制作图片的选项，可以不必进行配置。
[关于高亮区域检测]
图5和图6是具体解释通过高亮区域检测单元32进行的高亮区域检测的图示。
高亮区域检测单元32检测检不出镜面反射分量的区域、高亮度区域和低色度区域作为高亮区域。通过使用镜面反射分量作为来自反射特性估计单元31的反射特性估计结果来检测检不出镜面反射分量的区域，即具有低镜面反射分量的区域。
图5A示出增强低镜面反射分量的增益的低镜面反射分量的增益曲线。在图5A中，水平轴指示镜面(镜面反射分量)，且垂直轴指示低镜面反射分量的增益。图5B示出增强高亮度的增益的高亮度的增益曲线。在图5B中，水平轴指示输入亮度，且垂直轴指示高亮度的增益。图5C是增强低色度的增益的低色度的增益曲线。在图5C中，水平轴指示Sat(输入色度)，且垂直轴指示低色度的增益。
高亮区域检测单元32通过增益曲线合成(乘算)增益，并将合成的增益计算为高亮区域增益。
然而，仅用低镜面反射分量、高亮度和低色度的条件，诸如高亮度背景的大面积部分即被增强。
在此，因为高亮区域倾向于面积小，所以高亮区域检测单元32进行面积计数并排除大面积部分，以便减小高亮区域。
也就是说，如图6中所示，对于输入图像61，检测到基于高亮度、低色度和低镜面反射分量的高亮区域增益62。在此，白色是高亮区域，因此高亮区域增益62经检测完全以白色背景(高亮度背景)为高亮区域。有鉴于此，高亮区域检测单元32以黑色为大面积且以白色为小面积进行面积计数，并且检测小面积限制增益63。作为结果，检测到限制在小面积中的高亮增强增益64。
接下来，参考图7中所示的流程图，将描述通过高亮区域检测单元32进行的高亮区域估计处理。
在步骤S11中，高亮区域检测单元32通过使用镜面反射分量(其是来自反射特性估计单元31的反射特性估计结果)对于输入图像进行低镜面反射分量增益计算。
在步骤S12中，高亮区域检测单元32对于输入图像进行高亮度增益计算。在步骤S13中，高亮区域检测单元32对于输入图像进行低色度增益计算。在步骤S14中，将步骤S11至S13中获取的增益进行合成，并计算高亮区域增益。
在步骤S15中，高亮区域检测单元32进行高亮区域增益中的面积计数。在步骤S16中，高亮区域检测单元32对于高亮区域增益进行小面积限制处理，并检测高亮增强增益64。作为结果，高亮区域估计处理结束。
如上所述检测高亮区域，从而有可能检测并增强通过反射特性估计无法检测和增强的低色度、高亮度和小面积部分。进一步地，通过使用镜面反射分量，进行高亮区域检测，因此不大可能出现边界或过度检测。
[关于基于输入和输出差别的限制处理]
图8是具体解释通过限制处理单元42进行的基于输入和输出差别的限制处理的图示。
限制处理单元42在来自镜面反射增强单元41的输入图像71与输出图像72之间的差别的基础上针对造成太多突出的部分进行面积计数。也就是说，如图形81中所示，限制处理单元42对输入图像71与输出图像72之间的差别超出面积计数限制直线的像素的面积进行计数，并检测面积计数73。在图形81中，水平轴指示输入亮度，且垂直轴表示限制处理结果。面积计数73对与输入值对应的输出值超出面积计数限制直线的像素的面积进行计数和检测。面积计数限制直线被指定为参数并且被创建。
接下来，限制处理单元42以面积计数73为抑制增益进行限制处理。也就是说，限制处理单元42通过镜面反射增强单元41根据面积进行作为限制处理的限制(抑制)镜面反射和高亮区域的增强度的处理。
在图形82中，水平轴指示面积计数，且垂直轴指示基于面积计数的抑制增益。如图形82中所示，在面积计数大的情况下，增强限制处理(抑制增益)，且在面积计数小的情况下，削弱限制处理。
作为结果，小面积的突出是容许的，且因此有可能进行其中大面积的过度增强受到抑制的图像制作。
在图形83中，水平轴指示输入亮度，且垂直轴指示限制处理结果。由in表示输入值，由out表示输出值，由limit表示限制值，并且由area_gain表示基于图形83中所示的面积计数的抑制增益。由下面的表达式(1)表示基于面积计数结果的抑制处理。
area_out＝limit+(out-limit)*(1.0-area_gain)...(1)
也就是说，在面积计数大的情况下，当假设area_gain为1时，area_out＝limit成立。因此，具有大面积的区域受到显著抑制。另一方面，在面积计数小的情况下，当假设area_gain为0时，area_out＝out成立。因此，具有小面积的区域不被抑制而具有原有的值。
应当注意的是，根据输入来计算用于限制处理的限制直线，并且限制值取决于输入值而变化。因此，不大可能发生灰度破坏或灰度反转。进一步地，面积计数限制直线可用于限制处理。
接下来，参考图9的流程图，将描述通过限制处理单元42进行的限制处理。
在步骤S31中，限制处理单元42使用镜面反射增强单元41的输入图像71与输出图像72之间的差别来计算图形81中所示的面积计数限制直线。在步骤S32中，限制处理单元42对输入和输出差别超出限制值的区域进行计数。
在步骤S33中，限制处理单元42计算图形82中所示的抑制增益。在步骤S34中，限制处理单元42计算图形83中所示的用于限制处理的限制直线。
在步骤S35中，限制处理单元42用抑制增益和限制值来进行限制处理。之后，限制处理结束。
如上所述，通过基于输入和输出差别的限制处理，镜面反射和高亮区域的增强度受到限制。作为结果，有可能使镜面反射分量与高亮区域分量之间的边界不那么突出，并且抑制斑纹、过度增强或灰度破坏。
进一步地，针对输入图像与增强结果(输出图像)之间的差别大的部分进行面积计数，并且仅使大面积部分经受限制处理。作为结果，有可能进行其中小面积的突出是容许的图像制作，并且仅针对大面积的过度增强受到抑制。进一步地，有可能根据输入图像的值而改变限制值，从而不大可能发生灰度破坏或灰度反转。进一步地，通过进行面积计数，限制处理被局部地改变，从而不必完全削弱增强，以使得可能进行适当的增强。
[关于阴影控制]
图10是具体解释通过阴影控制单元43进行的阴影控制的图示。阴影控制单元43进行阴影控制，这是吸收(降低)镜面反射增强周围的亮度、从而局部地提高对比度的处理。
具体地，阴影控制单元43针对输入图像71与输出图像75之间的差别(输入和输出差别)作为限制处理单元42的限制处理结果的部分进行面积计数，并计算面积计数74作为计数结果。进一步地，在图形91中，水平轴指示面积计数，且垂直轴指示基于面积计数的应用增益(area_gain)。
在面积计数74中，白色部分对应于输入和输出差别大的部分，即镜面反射增强是强的部分。因此，如图形91中所示，通过将此部分的应用增益设定为强，可使镜面反射增强周围的区域经受阴影控制。另一方面，在面积计数74中，黑色部分是输入和输出差别小的部分，镜面反射增强弱，并且如图形91中所示，在小的程度上进行阴影控制(难以进行)。
在图形92中，水平轴指示基于输入和输出差别的限制处理结果(in)，且垂直轴指示阴影控制结果(out)。
阴影控制单元43针对从由用于阴影控制的吸收直线和输入的差别diff设定的吸收起点开始的上部区域进行镜面反射和高亮增强。另一方面，从吸收起点开始的下部区域由差别diff吸收。可以由表达式(2)表示此处理。
out＝in-(diff*area_gain)...(2)
其中area_gain表示图形91中所示的应用增益。
也就是说，在area_gain＝1.0之时，强烈地进行阴影控制，且在area_gain＝0.0之时，基本上不进行阴影控制。作为结果，有可能提高应该提高的亮度并降低应该降低的亮度。
进一步地，如图形93中所示，在吸收处理的同时，可进行用于阴影控制的限制处理。在图形93中，水平轴指示上面参考图8描述的基于输入和输出差别的限制处理结果(in)，且垂直轴指示阴影控制结果(out)。
也就是说，阴影控制单元43针对高于吸收起点的亮度进行镜面反射和高亮区域增强，并设置较低的亮度作为阴影区域的目标。另一方面，对低亮度的吸收导致发黑，因此作为对抗过度吸收黑色的对策，如图形93中所示，计算用于阴影控制的限制直线，并且通过用计算的用于阴影控制的限制直线进行的限制处理，将阴影控制目标设定为中间灰度。作为结果，有可能抑制由于对低亮度的吸收所致的发黑。
接下来，参考图11的流程图，将描述通过阴影处理单元43进行的阴影控制。
在步骤S51中，阴影处理单元43对具有大的输入和输出差别的部分(即镜面反射增强区域)进行计数。在步骤S52中，阴影处理单元43计算如图形91中所示的应用增益。
在步骤S53中，阴影处理单元43使用在步骤S52中计算的应用增益来进行如图形92中所示的吸收处理。
在步骤S54中，阴影处理单元43计算图形93中所示的用于阴影控制的限制直线。在步骤S55中，阴影处理单元43使用在步骤S54中计算的用于阴影控制的限制直线来进行限制处理。之后，阴影控制结束。
如上所述，进行阴影控制，其是吸收镜面反射增强周围的亮度的处理，因而与仅有镜面反射增强的处理相比，物体中的动态范围增大。因此，光泽度和透明度提高。对于白色饱和的区域的周边进行处理，因此即使在没有施加镜面反射增强效果的区域中光泽度和透明度也提高。
如上所述，在本技术中，进行使用镜面反射分量的高亮区域检测，并且在用镜面反射分量的整合处理之后，进行镜面反射和高亮增强。因此，有可能增强低色度/高亮度部分。也就是说，有可能再现高亮区域。进一步地，在高亮区域检测中，使用镜面反射分量，因此不大可能造成边界。
进一步地，在本技术中，除了高亮区域检测之外，还进行基于输入图像与增强结果之间的差别的限制处理，从而有可能防止斑纹和灰度破坏。
也就是说，在基于输入数据与增强结果之间的差别的限制处理中，有可能利用具有大差别的部分进行面积计数，并且仅针对大面积部分进行限制处理。因此，有可能进行这样的图像制作，使得小面积的突出是容许的，且大面积的过度增强受到抑制。进一步地，根据输入数据的值而改变限制值，因此不大可能引起灰度破坏或灰度反转。
进一步地，进行吸收镜面反射增强周围的亮度的阴影控制，从而局部地提高对比度。由于阴影控制，还针对白色饱和的区域周围的区域进行处理，且因此物体中的动态范围增大。作为结果，有可能提高光泽度和透明度。
[效果的实例]
图12是示出本技术的效果的实例的图示。在镜面反射分量102(其是对于示出苹果的表面上的光泽的输入图像101，通过反射特性估计单元31获取的反射特性估计结果)中，无法检测到苹果的表面上的高亮区域。
相比之下，在本技术的高亮区域检测结果103中，检测到在镜面反射分量中无法检测到的高亮区域。作为结果，有可能再现具有较高真实性的实体感。
[图像处理的实例]
接下来，参考图13中所示的流程图，将描述图3中所示的图像处理装置11的图像处理。
在步骤S101中，摄像环境信息获取单元21拍摄被摄体的图像并输入被摄体的图像。摄像环境信息获取单元21将输入图像提供给被摄体特性分析单元23、特性控制单元26和图像合成单元27。
在步骤S102中，摄像环境信息获取单元21、摄像环境信息分析单元22和被摄体特性分析单元23进行测量、估计和整合处理。将参考图14描述测量、估计和整合处理。通过步骤S102的处理，所测量的物理特性参数和估计的物理特性参数(被摄体的反射特性、高亮区域检测结果、摄像环境光、被摄体几何形状、被摄体的实体品质等)被提供给特性控制单元26。
在步骤S103中，视觉环境信息分析单元25和特性控制单元26基于视觉环境信息(其是在观看图像之时的环境)进行处理。稍后将参考图15描述基于视觉环境信息的处理。通过步骤S103的处理，确定基于视觉环境信息的实体感控制的处理内容。
在步骤S104中，特性控制单元26(的镜面反射增强单元41)基于被摄体的实体品质进行反射特性调节。将参考图16描述反射特性调节处理。应当注意的是，在此时，参考由特性信息整合单元24整合的物理特性参数(实体品质和反射特性、高亮区域检测结果)。通过步骤S104的处理，确定基于反射特性的实体感控制的处理内容，镜面反射和高亮由镜面反射增强单元41增强，并且其增强结果被提供给限制处理单元42。应当注意的是，反射特性调节处理图像也可在步骤S108中由合成单元27共同地进行，但实际上可如本说明中所述在稍后阶段进行以用于限制处理和阴影控制。在由图像合成单元27共同地进行的情况下，处理内容被提供给限制处理单元42。
在步骤S105中，限制处理单元42参考来自镜面反射增强单元41的镜面反射和高亮增强结果(在共同地进行处理的情况下的处理内容)，基于输入和输出差别进行限制处理。在限制处理中，进行与上面参考图9所述的限制处理基本上类似的处理。其解释可能会重叠，因此将被略去。通过步骤S105的处理，确定限制处理的处理内容，并进行限制处理。限制处理结果被提供给阴影控制单元43。应当注意的是，限制处理也可在步骤S108中由图像合成单元27共同地进行，但实际上可如本说明中所述在稍后阶段进行以用于阴影控制。在由图像合成单元27进行的情况下，处理内容被提供给阴影控制单元43。
在步骤S106中，阴影控制单元43使用来自限制处理单元42的处理结果(在共同地进行处理的情况下的处理内容)来进行阴影控制。在限制处理中，进行与上面参考图11所述的阴影控制基本上类似的处理。其解释可能会重叠，且因此将被略去。通过步骤S106的处理，确定阴影控制的处理内容，并进行阴影控制处理。阴影控制结果被提供给图像合成单元27。应当注意的是，阴影处理也可在步骤S108中由图像合成单元27共同地进行，但实际上可如本说明中所述进行。在由图像合成单元27进行的情况下，处理内容被提供给图像合成单元27。
在步骤S107中，视觉环境信息分析单元25和特性控制单元26基于视线信息进行处理。稍后将参考图17描述基于视线信息的处理。利用步骤S107的处理，确定基于视线信息的实体感控制的处理内容。
在步骤S108中，在确定的实体感控制的处理内容的基础上，图像合成单元27重新合成输入图像。也就是说，在图13的情况下，通过视觉环境光的对比度调节、基于图像的实体品质的反射特性(包括高亮区域检测结果)的调节、基于视线信息的调节、限制处理和阴影控制，被摄体的图像的实体感受到控制。
接下来，参考图14中所示的流程图，将给出关于图13中的步骤S102的测量、估计和整合处理的描述。
在步骤S131中，摄像环境信息获取单元21测量摄像环境光，并将所测量的摄像环境光提供给摄像环境信息分析单元22。摄像环境信息分析单元22分析来自摄像环境信息获取单元21的摄像环境光，并且作为分析的结果，将与摄像环境光有关的信息提供给特性信息整合单元24。
在步骤S132中，摄像环境信息获取单元21测量被摄体的反射特性，并将所测量的被摄体的反射特性和实体品质提供给摄像环境信息分析单元22。摄像环境信息分析单元22分析被摄体的反射特性和来自摄像环境信息获取单元21的实体品质，并将所分析的被摄体的反射特性和实体品质提供给特性信息整合单元24。
在步骤S133中，摄像环境信息获取单元21测量被摄体的几何形状，并将所测量的被摄体几何形状提供给摄像环境信息分析单元22。摄像环境信息分析单元22分析来自摄像环境信息获取单元21的被摄体几何形状，并将所分析的被摄体几何形状提供给特性信息整合单元24。
在步骤S134中，被摄体特性分析单元23估计并分析来自所提供的输入图像的摄像环境光，并且作为分析的结果，获取与摄像环境光有关的信息。被摄体特性分析单元23将与摄像环境光有关的信息提供给特性信息整合单元24。
在步骤S135中，特性信息整合单元24整合与所测量的摄像环境光有关的信息和与估计的摄像环境光有关的信息。特性信息整合单元24将与整合的摄像环境光有关的信息提供给特性控制单元26作为物理特性参数。
在步骤S136中，特性控制单元26使图像合成单元27利用从与摄像环境光有关的信息获取的照明色彩来调节图像的白色平衡。应当注意的是，此调节处理可以在上述图13的步骤S104中的反射特性调节处理等时机进行，但可取的是在白色平衡调节之后进行另一调节。因此提供此处理顺序。
在步骤S137中，被摄体特性分析单元23估计并分析被摄体的反射特性和实体品质，并将与所分析的反射特性和实体品质有关的信息提供给特性信息整合单元24。从此当中，由所提供的输入图像，反射特性估计单元31估计并分析作为被摄体的特性的例如被摄体的反射特性。反射特性估计单元31将作为反射特性估计结果的镜面反射分量提供给特性信息整合单元24作为图像估计信息，并且也提供给高亮区域检测单元32。
在步骤S138中，与用反射特性估计单元31处理并行的是，高亮区域检测单元32使用镜面反射分量(其是来自反射特性估计单元31的反射特性估计结果)，从而进行高亮区域检测。应当注意的是，此处理基本上类似于参考图7描述的处理，其解释可能会重叠且因此将被略去。利用步骤S138的处理，高亮区域检测结果被提供给特性信息整合单元24作为图像估计信息。
在步骤S139中，特性信息整合单元24整合作为来自反射特性估计单元31的被摄体估计结果的反射特性的镜面反射分量和来自高亮区域检测单元32的高亮区域检测结果。
在步骤S140中，特性信息整合单元24整合与所测量的被摄体的反射特性有关的信息和与估计的被摄体的反射特性有关的信息。特性信息整合单元24将所整合的与被摄体的反射特性有关的信息提供给特性控制单元26作为物理特性参数。
在步骤S141中，特性信息整合单元24整合与所测量的被摄体的实体品质有关的信息和与估计的被摄体的实体品质有关的信息。特性信息整合单元24将所整合的与被摄体的实体品质有关的信息提供给特性控制单元26作为物理特性参数。
在步骤S142中，被摄体特性分析单元23估计并分析被摄体的几何形状，并将与分析的被摄体的几何形状有关的信息提供给特性信息整合单元24。
在步骤S143中，特性信息整合单元24整合所测量的与被摄体的几何形状有关的信息和估计的与被摄体的几何形状有关的信息。特性信息整合单元24将所整合的被摄体的几何形状的信息提供给特性控制单元26作为物理特性参数。
接下来，参考图15中所示的流程图，将给出关于基于图13的步骤S103中的视觉环境信息的处理的描述。
在步骤S161中，视觉环境信息分析单元25获取并分析作为与视觉环境(其是在观看图像之时的环境)有关的信息的例如视觉环境光的信息。视觉环境信息分析单元25将分析的视觉环境光的信息提供给特性控制单元26作为视觉环境参数。
对特性控制单元26，由被摄体特性分析单元23估计并提供在摄像之时图像的绝对亮度信息。在步骤S162中，特性控制单元26确定在摄像之时目标像素的绝对亮度是否高于预定的亮度值。在步骤S162中，在确定在摄像之时目标像素的绝对亮度高于预定的亮度值的情况下，处理进行到步骤S163。
在步骤S163中，特性控制单元26参考来自视觉环境信息分析单元25的视觉环境参数，从而确定视觉环境光是否比预定的值更亮。在步骤S163中，在确定视觉环境光更亮的情况下，处理进行到步骤S164。在这种情况下，因为存在可能看到暗图像的可能性，所以在步骤S164中，特性控制单元26控制图像合成单元27将对比度调节值设定成较高作为实体感控制。
在步骤S163中，在确定视觉环境光更暗的情况下，跳过步骤S164，且处理进行到步骤S167。
在步骤S162中，在确定在摄像之时目标像素的绝对亮度较低的情况下，处理进行到步骤S165。在步骤S165中，特性控制单元26参考来自视觉环境信息分析单元25的视觉环境参数，从而确定视觉环境光是否比预定的值更亮。
在步骤S165中，在确定视觉环境光更暗的情况下，处理进行到步骤S166。在步骤S166中，特性控制单元26控制图像合成单元27将对比度调节值设定成较低作为实体感控制。
在步骤S165中，在确定视觉环境光更亮的情况下，跳过步骤S166，且处理进行到步骤S167。
在步骤S167中，特性控制单元26确定是否针对所有的像素结束反射特性的调节。
在步骤S167中，在确定针对所有像素结束处理的情况下，结束基于视觉环境信息的处理。在步骤S167中，在确定针对所有像素尚未结束处理的情况下，处理返回到步骤S162，且反复进行后续步骤。
如上所述，通过视觉环境，进行对比度调节和图像的反射特性的调节，且因此被摄体的图像的实体感受到控制。作为结果，在图像中，照明光被优化，光泽度得到提高，且透明度得到再现。
接下来，参考图16中所示的流程图，将给出关于图13的步骤S104中的基于实体品质的反射特性调节处理的描述。
在步骤S181中，在来自特性信息整合单元24的与被摄体的反射特性有关的信息的基础上，特性控制单元26确定镜面反射分量是否大。在步骤S181中，在确定镜面反射分量大的情况下，处理进行到步骤S182。
在步骤S182中，特性控制单元26确定，作为实体感控制，增强镜面反射分量。在步骤S181中，在确定镜面反射分量小的情况下，处理进行到步骤S183。
在步骤S183中，特性控制单元26确定漫反射分量是否大。在步骤S183中，在确定漫反射分量大的情况下，处理进行到步骤S184。在步骤S184中，特性控制单元26确定，作为实体感控制，减少漫反射分量。
在步骤S183中，在确定漫反射分量小的情况下，处理进行到步骤S185。
在步骤S185中，在由特性信息整合单元24整合的被摄体的实体品质的信息的基础上，特性控制单元26确定镜面反射是否是强实体品质。在步骤S185中，在确定镜面反射是强实体品质的情况下，处理进行到步骤S186。在步骤S186中，特性控制单元26确定，作为实体感控制，增强镜面反射分量。
在步骤S185中，在确定镜面反射不是强实体品质的情况下，处理进行到步骤S187。在步骤S187中，特性控制单元26确定，作为实体感控制，减少镜面反射分量。
在步骤S188中，特性控制单元26确定是否针对所有像素结束反射特性调节。
在步骤S188中，在确定针对所有像素结束反射特性调节的情况下，结束反射特性调节处理。在步骤S188中，在确定针对所有像素尚未结束反射特性调节的情况下，处理返回到步骤S181，且反复进行后续步骤。
如上所述，根据被摄体的实体品质，进行图像的反射特性调节，且因此被摄体的图像的实体感受到控制。作为结果，在图像中，照明光被优化，光泽度得到提高，且透明度得到再现。
接下来，参考图17中所示的流程图，将给出关于图13的步骤S107中的基于视线信息的处理的描述。
在步骤S201中，作为视觉环境信息，视觉环境信息分析单元25获取并分析例如关注被摄体信息或视线信息。视觉环境信息分析单元25将分析的视觉环境信息提供给特性控制单元26作为视觉环境参数。
在步骤S202中，特性控制单元26确定目标像素是否为关注被摄体区域和视线目标区域之一。在步骤S202中，在确定目标像素为关注被摄体区域和视线目标区域之一的情况下，处理进行到步骤S203。
在步骤S203中，特性控制单元26控制图像合成单元27将所进行的处理(即，基于视觉环境信息、反射特性和视线信息的处理)的图像品质调节值重新设定为更弱，作为实体感控制。
在步骤S202中，在确定目标像素不是关注被摄体区域和视线目标区域之一的情况下，跳过步骤S203，且处理进行到步骤S204。
在步骤S204中，特性控制单元26确定是否针对所有像素结束处理。
在步骤S204中，在确定针对所有像素结束处理的情况下，结束基于视线信息的处理。在步骤S204中，在确定不针对所有像素结束处理的情况下，处理返回到步骤S202，且反复进行后续步骤。
通过上述处理，在本技术中，测量与被摄体有关的物理特性参数(几何形状、反射特性、照明等)，并且控制所述特性，从而使得有可能提高视频品质。
在反射特性估计之时，检测到高亮区域，从而有可能检测并增强通过反射特性估计无法检测和增强的低色度、高亮度、小面积部分。进一步地，在此时，通过使用镜面反射分量进行高亮区域检测，因此不造成边界或过度检测。
进一步地，在特性控制之时，进行基于输入和输出差别的限制处理。因此，有可能使镜面反射分量和高亮区域分量的边界不那么突出，并且抑制斑纹、过度增强和灰度破坏。
在此时，针对输入图像与增强结果之间的差别大的部分进行面积计数，并且仅使大面积部分经受限制处理。因此，有可能进行这样的图像制作，使得小面积的突出是容许的，并且仅针对大面积的过度增强受到抑制。进一步地，有可能根据输入图像的值而改变限制值，从而不大可能发生灰度破坏或灰度反转。进一步地，进行面积计数，从而局部地改变限制处理，因此不必完全削弱增强，这允许进行最佳的增强。
进一步地，进行阴影控制，因而与仅有镜面反射增强的处理相比，物体中的动态范围增大，并且光泽度和透明度提高。针对白色饱和的区域的周边区域进行处理，因此即使在没有镜面反射增强效果的区域中光泽度和透明度也提高。
应当注意的是，本技术可应用于例如图像处理装置、电视装置、投影仪和包括这些的视频系统。
<第二实施方案>
[个人计算机]
可由硬件或软件进行上述的系列处理。在由软件进行系列处理的情况下，将构成软件的程序安装在计算机中。在此，计算机的实例包括并入专用硬件中的计算机和能够通过安装各种程序来执行各种功能的通用个人计算机。
图18是示出通过程序进行上述系列处理的个人计算机的硬件的配置实例的框图。
在个人计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503是用总线504彼此连接的。
输入和输出接口505进一步连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接到输入和输出接口505。
输入单元506由键盘、鼠标、麦克风等构成。输出单元507由显示器、扬声器等构成。存储单元508由硬盘、非易失性存储器等构成。通信单元509由网络接口等构成。驱动器510驱动诸如磁盘、光盘、磁光盘、半导体存储器的移动介质511。
在如上所述配置的个人计算机500中，例如CPU 501通过输入和输出接口505及总线504将存储单元508存储的程序加载到RAM 503上并执行程序。作为结果，上述系列处理得以进行。
可在移动介质511中记录并提供由计算机(CPU 501)执行的程序。例如，移动介质511是磁盘(包括软盘)、光盘(CD-ROM(压缩盘-只读存储器)、DVD(数字通用盘)等)、磁光盘或由半导体存储器等构成的封装介质等。进一步地，或者，可经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质提供程序。
在计算机中，可通过将移动介质511加载到驱动器510，经输入和输出接口505将程序安装在存储单元508中。进一步地，可由通信单元509经由有线或无线传输介质将程序接收并安装在存储单元508中。或者，可将程序预先安装在ROM 502或存储单元508中。
应当注意的是，由计算机执行的程序可以是这样的程序，其处理是按本说明书中描述的顺序在时间序列基础上进行的，或者可以是这样的程序，其处理是并行或在必要的阶段(例如在被调用之时)进行的。
进一步地，在本说明书中，描述要记录在记录介质中的程序的步骤包括按所述的顺序在时间序列基础上进行的处理，并且包括并行或单独进行的处理，即使所述处理不一定要在时间序列基础上进行。
进一步地，在本说明书中，系统指示由多个设备构成的整体装置。
进一步地，在上文中，描述为一个装置(或处理单元)的配置可以被分成多个装置(或处理单元)。相反地，上文中描述为多个装置(或处理单元)的配置可以合并成一个装置(或处理单元)。进一步地，对装置(或相应的处理单元)的配置，当然可以增加除了上述配置之外的配置。进一步地，装置(或处理单元)的配置的一部分可被包括在另一装置(或另一处理单元)的配置中，如果配置和操作作为整体系统基本上相同的话。也就是说，本技术不限于上述实施方案，并且可以在不背离本技术要点的情况下进行各种改动。
以上参考附图详细描述了本公开的理想实施方案，但本公开不限于这类实例。显而易见的是，本领域技术人员可设想出权利要求中所述的技术构思范围内的各种变化例或修改例，并且当然要理解的是，这些属于本公开的技术范围。
应当注意的是，本技术可采取以下配置。
(1)一种图像处理装置，包括：
反射特性估计单元，其估计图像的被摄体的反射特性；
高亮区域检测单元，其通过使用由所述反射特性估计单元估计的反射特性估计结果来检测所述图像中的高亮区域；和
实体感控制单元，其通过在所述反射特性估计结果和由所述高亮区域检测单元检测的高亮区域检测结果的基础上对于其中反射区域和高亮区域被增强的图像进行限制处理而控制所述图像中的所述被摄体的实体感，所述限制处理是基于所述图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别。
(2)根据(1)所述的图像处理装置，其中
由所述反射特性估计单元获取的所述反射特性估计结果是指示所述被摄体的所述反射特性为强镜面反射分量的信息。
(3)根据(1)或(2)所述的图像处理装置，其中
所述高亮区域检测单元将满足低镜面反射分量区域、高亮度区域和低色度区域的区域作为所述高亮区域来进行检测。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中
所述高亮区域检测单元将具有不被进行面积计数排除的小面积的区域作为所述高亮区域来进行检测。
(5)根据(1)至(4)中任一项所述的图像处理装置，其中
所述实体感控制单元包括
增强处理单元，其在所述反射特性估计结果和由所述高亮区域检测单元检测的所述高亮区域检测结果的基础上增强所述反射区域和所述高亮区域，和
限制处理单元，其对于其中所述反射区域和所述高亮区域被增强的图像进行限制处理，所述限制处理是基于所述图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别。
(6)根据(5)所述的图像处理装置，其中
所述限制处理单元通过在针对所述差别超出预定的限制直线的像素的面积计数的结果的基础上计算对于小面积部分抑制弱且对于大面积部分抑制强的抑制增益并使用所计算的抑制增益来进行所述限制处理。
(7)根据(6)所述的图像处理装置，其中
所述限制处理单元通过使用与所述预定的限制直线不同的限制直线来进行所述限制处理。
(8)根据(7)所述的图像处理装置，其中
所述不同的限制直线具有由输入值改变的限制值。
(9)根据(6)所述的图像处理装置，其中
所述限制处理单元通过使用所述预定的限制直线来进行所述限制处理。
(10)根据(5)至(9)中任一项所述的图像处理装置，其中
所述实体感控制单元进一步包括
阴影控制单元，其进行阴影控制以降低所述图像中增强的所述反射区域和高亮区域周围的亮度。
(11)根据(10)所述的图像处理装置，其中
所述阴影控制单元进行所述阴影控制，以通过降低在所述图像与针对其进行所述限制处理的图像之间差别较大的部分周围的亮度来降低所述图像中增强的所述反射区域和高亮区域周围的亮度。
(12)根据(11)所述的图像处理装置，其中
所述阴影控制单元计算要针对具有所述大差别的部分设定为强的应用增益，并通过使用所计算的应用增益来进行所述阴影控制。
(13)根据(12)所述的图像处理装置，其中
所述阴影控制单元对于比由用户设定的吸收起点低的亮度进行所述阴影控制。
(14)根据(13)所述的图像处理装置，其中
所述阴影控制单元对于比所述阴影控制的限制直线高的亮度进行所述阴影控制。
(15)一种图像处理方法，包括：
通过图像处理装置，
估计图像的被摄体的反射特性；
通过使用估计的反射特性估计结果来检测所述图像中的高亮区域；以及
通过在所述反射特性估计结果和检测的高亮区域检测结果的基础上对于其中反射区域和高亮区域被增强的图像进行限制处理来控制所述图像中的所述被摄体的实体感，所述限制处理是基于所述图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别。
附图标记清单
1 测量和估计区块
2 现实建模区块
3 实体感控制区块
4 渲染和润饰区块
11 图像处理装置
21 摄像环境信息获取单元
22 摄像环境信息分析单元
23 被摄体特性分析单元
24 特性信息整合单元
25 视觉环境信息分析单元
26 特性控制单元
27 图像合成单元
31 反射特性估计单元
32 高亮区域检测单元
41 镜面反射增强单元
42 限制处理单元
43 阴影控制单元
61 输入图像
62 高亮区域增益
63 小面积限制增益
64 高亮增强增益
71 输入图像
72 输出图像
73 面积计数
81至83 图形
74 面积计数
91至93 图形
101 输入图像
102 镜面反射分量
103 高亮区域检测结果。

Claims (13)

1.一种图像处理装置，包括：
反射特性估计单元，其估计原图像中的被摄体的反射特性；
高亮区域检测单元，其通过使用由所述反射特性估计单元估计的反射特性估计结果来检测所述原图像中的高亮区域；和
实体感控制单元，其包括
增强处理单元，其在所述反射特性估计结果和由所述高亮区域检测单元检测的所述高亮区域检测结果的基础上增强反射区域和所述高亮区域，和
限制处理单元，其对于其中所述反射区域和所述高亮区域被增强的图像进行限制处理以控制所述图像中的所述被摄体的实体感，所述限制处理是基于所述原图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别，
其中，所述限制处理单元通过在针对所述差别超出预定的限制直线的像素的面积计数的结果的基础上计算对于小面积部分抑制弱且对于大面积部分抑制强的抑制增益并使用所计算的抑制增益来进行所述限制处理。
2.根据权利要求1所述的图像处理装置，其中
由所述反射特性估计单元获取的所述反射特性估计结果是指示所述被摄体的所述反射特性为强镜面反射分量的信息。
3.根据权利要求1所述的图像处理装置，其中
所述高亮区域检测单元将满足低镜面反射分量区域、高亮度区域和低色度区域的区域作为所述高亮区域来进行检测。
4.根据权利要求3所述的图像处理装置，其中
所述高亮区域检测单元将具有不被进行面积计数排除的小面积的区域作为所述高亮区域来进行检测。
5.根据权利要求1所述的图像处理装置，其中
所述限制处理单元通过使用与所述预定的限制直线不同的限制直线来进行所述限制处理。
6.根据权利要求5所述的图像处理装置，其中
所述不同的限制直线具有由输入值改变的限制值。
7.根据权利要求1所述的图像处理装置，其中
所述限制处理单元通过使用所述预定的限制直线来进行所述限制处理。
8.根据权利要求1所述的图像处理装置，其中
所述实体感控制单元进一步包括
阴影控制单元，其进行阴影控制以降低所述原图像中增强的所述反射区域和高亮区域周围的亮度。
9.根据权利要求8所述的图像处理装置，其中
所述阴影控制单元进行所述阴影控制，以通过降低在所述原图像与针对其进行所述限制处理的图像之间差别较大的部分周围的亮度来降低所述原图像中增强的所述反射区域和高亮区域周围的亮度。
10.根据权利要求9所述的图像处理装置，其中
所述阴影控制单元计算要针对具有所述差别较大的部分设定为强的应用增益，并通过使用所计算的应用增益来进行所述阴影控制。
11.根据权利要求10所述的图像处理装置，其中
所述阴影控制单元对于比由用户设定的吸收起点低的亮度进行所述阴影控制。
12.根据权利要求11所述的图像处理装置，其中
所述阴影控制单元对于比所述阴影控制的限制直线高的亮度进行所述阴影控制。
13.一种图像处理方法，包括：
通过图像处理装置，
估计原图像的被摄体的反射特性；
通过使用估计的反射特性估计结果来检测所述原图像中的高亮区域；以及
通过在所述反射特性估计结果和检测的高亮区域检测结果的基础上对于其中反射区域和高亮区域被增强的图像进行限制处理来控制所述原图像中的所述被摄体的实体感，所述限制处理是基于所述原图像与其中所述反射区域和所述高亮区域被增强的图像之间的差别，
其中，通过在针对所述差别超出预定的限制直线的像素的面积计数的结果的基础上计算对于小面积部分抑制弱且对于大面积部分抑制强的抑制增益并使用所计算的抑制增益来进行所述限制处理。
CN201680027604.2A 2015-05-22 2016-05-06 处理图像的装置和方法 Active CN107533757B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-104708 2015-05-22
JP2015104708 2015-05-22
PCT/JP2016/063633 WO2016190062A1 (ja) 2015-05-22 2016-05-06 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN107533757A CN107533757A (zh) 2018-01-02
CN107533757B true CN107533757B (zh) 2022-06-07

Family

ID=57392766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680027604.2A Active CN107533757B (zh) 2015-05-22 2016-05-06 处理图像的装置和方法

Country Status (5)

Country Link
US (1) US10445621B2 (zh)
EP (1) EP3300016B1 (zh)
JP (1) JP6801647B2 (zh)
CN (1) CN107533757B (zh)
WO (1) WO2016190062A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016181804A1 (ja) * 2015-05-08 2018-03-08 ソニー株式会社 画像処理装置および方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187443A (ja) * 1992-09-14 1994-07-08 Nippon Telegr & Teleph Corp <Ntt> 反射成分を用いたカラー画像のハイライト領域抽出装置およびカラー画像変換装置
WO2010087162A1 (ja) * 2009-01-27 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
CN102640185A (zh) * 2009-10-20 2012-08-15 全浸公司 图像序列中对象实时表示的混合跟踪的方法、计算机程序和设备
CN102792124A (zh) * 2009-10-17 2012-11-21 荷马里光电子公司 增强的成像方法及装置
JP2013196651A (ja) * 2012-03-22 2013-09-30 Toshiba Corp 画像処理装置、画像表示装置及び画像処理方法
EP2645328A1 (en) * 2012-03-29 2013-10-02 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
CN103516996A (zh) * 2012-06-22 2014-01-15 索尼公司 图像处理装置、图像处理方法和程序
CN104159023A (zh) * 2013-05-14 2014-11-19 索尼公司 图像处理装置及方法
CN104335227A (zh) * 2012-06-06 2015-02-04 索迪欧有限公司 用于基于位置的导航和增强现实应用的锚点

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007066064A (ja) * 2005-08-31 2007-03-15 Sega Corp 画像生成装置及びプログラム
US7612795B2 (en) * 2006-05-12 2009-11-03 Anthony Italo Provitola Enhancement of visual perception III
CN102985941B (zh) * 2010-06-30 2015-08-19 日本电气株式会社 彩色图像处理方法和彩色图像处理设备
JP5907196B2 (ja) * 2014-02-28 2016-04-26 富士ゼロックス株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム
CA2950908C (en) * 2014-05-30 2022-08-23 Frank Wilczek Systems and methods for expanding human perception

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06187443A (ja) * 1992-09-14 1994-07-08 Nippon Telegr & Teleph Corp <Ntt> 反射成分を用いたカラー画像のハイライト領域抽出装置およびカラー画像変換装置
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
WO2010087162A1 (ja) * 2009-01-27 2010-08-05 日本電気株式会社 カラー画像処理方法、カラー画像処理装置および記録媒体
CN102792124A (zh) * 2009-10-17 2012-11-21 荷马里光电子公司 增强的成像方法及装置
CN102640185A (zh) * 2009-10-20 2012-08-15 全浸公司 图像序列中对象实时表示的混合跟踪的方法、计算机程序和设备
JP2013196651A (ja) * 2012-03-22 2013-09-30 Toshiba Corp 画像処理装置、画像表示装置及び画像処理方法
EP2645328A1 (en) * 2012-03-29 2013-10-02 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
CN104335227A (zh) * 2012-06-06 2015-02-04 索迪欧有限公司 用于基于位置的导航和增强现实应用的锚点
CN103516996A (zh) * 2012-06-22 2014-01-15 索尼公司 图像处理装置、图像处理方法和程序
CN104159023A (zh) * 2013-05-14 2014-11-19 索尼公司 图像处理装置及方法
JP2014222447A (ja) * 2013-05-14 2014-11-27 ソニー株式会社 画像処理装置および方法

Also Published As

Publication number Publication date
JP6801647B2 (ja) 2020-12-16
WO2016190062A1 (ja) 2016-12-01
EP3300016A4 (en) 2019-01-02
EP3300016A1 (en) 2018-03-28
JPWO2016190062A1 (ja) 2018-03-08
CN107533757A (zh) 2018-01-02
US20180129909A1 (en) 2018-05-10
EP3300016B1 (en) 2021-06-30
US10445621B2 (en) 2019-10-15

Similar Documents

Publication Publication Date Title
JP7150147B2 (ja) 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出
EP2987135B1 (en) Reference image selection for motion ghost filtering
US9661239B2 (en) System and method for online processing of video images in real time
JP7150979B2 (ja) エントロピー分散に基づくイメージセンサの自動露出
US11328679B2 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
US20130169834A1 (en) Photo extraction from video
US10297055B2 (en) Image processing apparatus and method for modifying a display texture of an image
US8189947B2 (en) Image edge correction apparatus and method
US9240037B2 (en) Image processing apparatus and image processing method
JP5887303B2 (ja) 画像信号処理装置，撮像装置および画像処理プログラム
JP5781372B2 (ja) 画像処理装置及び撮像装置
JP7253634B2 (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
TWI567707B (zh) 影像調整方法及其顯示器
WO2020090176A1 (ja) 画像処理装置および画像処理方法
US10863103B2 (en) Setting apparatus, setting method, and storage medium
CN112819699A (zh) 视频处理方法、装置及电子设备
CN107533757B (zh) 处理图像的装置和方法
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP4359662B2 (ja) カラー画像の露出補正方法
JP6627530B2 (ja) 画像処理装置及びプログラム
JP5381354B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記憶媒体
JP2015076642A (ja) 画像処理装置及びプログラム
KR102272978B1 (ko) 임의 화각을 갖는 내시경 영상의 레티넥스 영상처리 시스템, 방법 및 상기 방법을 실행시키기 위한 컴퓨터 판독 가능한 프로그램을 기록한 기록 매체
Gil et al. Comparative analysis of contrast enhancement algorithms in surveillance imaging
Lee et al. Image contrast enhancement using gray-level grouping based on the just-noticeable-difference model of the human visual system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant