CN107960150A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN107960150A
CN107960150A CN201680025114.9A CN201680025114A CN107960150A CN 107960150 A CN107960150 A CN 107960150A CN 201680025114 A CN201680025114 A CN 201680025114A CN 107960150 A CN107960150 A CN 107960150A
Authority
CN
China
Prior art keywords
information
image
texture
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680025114.9A
Other languages
English (en)
Other versions
CN107960150B (zh
Inventor
森藤孝文
堤朋纪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107960150A publication Critical patent/CN107960150A/zh
Application granted granted Critical
Publication of CN107960150B publication Critical patent/CN107960150B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/005—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes forming an image using a quickly moving array of imaging elements, causing the human eye to perceive an image which has a larger resolution than the array, e.g. an image on a cylinder formed by a rotating line of LEDs parallel to the axis of rotation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3607—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals for displaying colours or for displaying grey scales with a specific pixel layout, e.g. using sub-pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Analysis (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

本公开涉及使得如同存在真实物体一样的质感能够更有利地再现的图像处理装置和方法。特性控制单元基于来自特性信息集成单元的物理特性参数和来自设备信息分析器的设备信息来确定用于控制所述质感，例如改变图像质量、调节反射特性或改变形状的处理内容。所述特性控制单元将关于所确定的处理内容的信息提供给图像合成单元和附加信息生成单元，并且使所述图像合成单元和所述附加信息生成单元执行质感控制。即，在所述图像处理装置中，通过一个设备的图像输出以及来自另一个设备的不同于图像的输出，使得更加逼真的视觉表现成为可能。例如，本公开可应用于所述图像处理装置。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理装置和方法，并且更具体地，涉及使得如同存在真实物体一样的质感能够更有利地再现的图像处理装置和方法。
背景技术
为了提高视频的真实度，已开发出调节对比度、细腻度等的技术。
注意：专利文献1提出了一种实现对图像中的物体的颜色校正和期望颜色再现的技术。
引用清单
专利文献
专利文献1：WO2010/087162
发明内容
技术问题
然而，一直难以仅通过增强诸如对比度和细腻度的基本图像质量来进一步改善性能。因此，期望再现如同存在真实物体一样的质感，例如，将某个情形在视觉上再现得如同物体被实际看到一样。
鉴于上述情况做出了本公开，使得能够更有利地再现如同存在真实物体一样的质感。
问题解决方案
根据本公开的一个方面的图像处理装置包括：物理特性参数获取单元，其获取关于图像中的物体的物理特性参数；质感控制单元，其通过使用由物理特性参数获取单元获取的物理特性参数来控制图像中的物体的质感；以及多个输出单元，其分别输出与质感已被质感控制单元控制的物体有关的多条信息。
图像处理装置还可包括获取多个输出单元的功能信息的功能信息获取单元，其中质感控制单元通过使用物理特性参数和由功能信息获取单元获取的功能信息来控制图像中的物体的质感。
多个输出单元由输出与物体有关的图像的同一类型的显示单元构成。
多个输出单元在同一像素位置处输出与物体有关的图像。
多个输出单元由输出与物体有关的图像的至少一个显示单元以及输出与物体有关的图像以外的信息的输出单元构成。
物理特性参数可为指示物体的反射特性的反射特性信息，并且输出单元可输出物体的反射特性。
一个输出单元可输出物体的反射特性的镜面反射分量，并且另一个输出单元可输出物体的反射特性的漫反射分量。
一个输出单元可将物体的反射特性的镜面反射分量输出至前面，并且另一个输出单元可将物体的反射特性的漫反射分量输出至背面。
一个输出单元可为具有高峰值亮度的设备，并且另一个输出单元可为具有低峰值亮度的设备。
物理特性参数可为物体的波长，并且输出单元可对于关于物体的波长执行输出。
一个输出单元可为电子纸并且输出物体的波长的物体颜色，并且另一个输出单元可为LCD(液晶显示器)并且输出物体的波长的物体颜色。
物理特性参数可为物体的频率分量，并且输出单元可对于物体的频率分量执行输出。
物理特性参数可为物体的频率分量，并且输出单元可对于物体的频率分量的纹理执行输出。
一个输出单元可为触觉显示器并且输出物体的频率分量的纹理，并且另一个输出单元可为LCD(液晶显示器)并且输出物体的频率分量的结构。
物理特性参数可为物体的景深或深度，并且输出单元可对于物体的景深或深度执行输出。
物理特性参数可为关于物体的时间方向的信息，并且输出单元可对于在物体的时间方向上的移动物体和静止物体执行输出。
根据本公开的一个方面的图象处理方法包括：通过图像处理装置获取关于图像中的物体的物理特性参数；通过使用所获取的物理特性参数来控制图像中的物体的质感；以及将与质感已被控制的物体有关的多条信息分别输出至多个显示单元。
在本公开的一个方面，获取关于图像中的物体的物理特性参数并且通过使用所获取的物理特性参数来控制图像中的物体的质感。然后，将与质感已被控制的物体有关的多条信息分别输出至多个显示单元。
发明的有利效果
根据本公开的一个方面，可对图像进行处理。具体地，可更有利地再现如同存在真实物体一样的质感。
注意：本说明书中所描述的效果仅是示例性的，本技术的效果并不受本说明书中所描述的效果的限制，并且可以提供额外的效果。
附图说明
[图1]描述本技术的构思的图。
[图2]描述根据本技术的质感控制方法的图。
[图3]示出图像处理装置的一个主要配置实例的框图。
[图4]示出图像处理装置的另一配置实例的框图。
[图5]示出显示系统的一个实例的图。
[图6]描述本技术的一个处理实例的图。
[图7]描述本技术的另一个处理实例的图。
[图8]描述本技术的图像处理装置的图像处理的流程图。
[图9]描述测量/估计/集成处理的流程图。
[图10]描述基于观察环境信息的处理的流程图。
[图11]描述基于物体的材料的反射特性调节处理的流程图。
[图12]描述基于视线信息的处理的流程图。
[图13]描述基于操作信息的反射特性调节处理的流程图。
[图14]描述基于设备信息的输出控制处理的流程图。
[图15]描述基于设备信息的输出控制处理的流程图。
[图16]描述基于设备信息的输出控制处理的流程图。
[图17]描述基于设备信息的输出控制处理的流程图。
[图18]示出个人计算机的一个主要配置实例的框图。
具体实施方式
在下文中，将对用于实施本公开的方式(在下文中，称为实施方案)进行描述。注意：将按照下面的顺序进行描述。
1.本技术概述
2.配置实例
3.实施方案
4.处理实例
5.计算机的配置实例
<1.本技术概述>
[本技术的构思]
将参照图1对本技术的构思进行描述。本技术用于改善图像中的物体的质感。
在现实世界中，人通过眼睛所感知的信息，即指示光如何进入眼睛的物理信息(材料信息)是根本上必要的信息。此物理信息为例如阳光(照明)、物体的形状(几何形状)和物体的反射分量(反射率)等。利用此物理信息，理论上可使光再现。
此物理信息进入照像机的传感器。因此，可基于从图像(2D图像)提取的信息(拍摄时的图像统计量、漫反射/镜面反射分量和照明信息)来估计和获取此物理信息作为物体的特性信息(物体的区域信息或识别信息)。
注意，从图像提取信息的处理是将光的特性考虑在内的处理，并且将其估计为物体的特性信息的处理是基于物体的处理。
因此，在本技术中，将从图像中提取的信息用作物体的特性信息以控制图像中的物体的(表面)的质感。另外，在此控制中，还可利用从现实世界测量和获取的物理信息。
此外，图像中的物体的质感实际上不仅与此物理信息有关而且还与进行观察的环境的信息(观察环境中的照明信息)和指示人如何进行感知的信息(知觉：超敏度)有关。因此，在本技术中，不仅利用从物理信息而且还利用进行观察的环境的信息(观察环境中的照明信息)和指示人如何进行感知的信息来控制图像中的物体的质感并且重新创建图像。
在本技术中，以这种方式控制图像中的物体的质感。在本文中，质感是指人的心理感觉(心理因素)，这是相对于材料的性质(物理因素)所引起的。
即，在本说明书中，所定义的质感包括表示物体的物理特性的参数(其为物理因素)和表示物体的识别敏感度的参数(其为心理因素)。
因此，本说明书中的质感控制是指对这些物理因素和心理因素的参数的控制。注意：尽管将仅在下文中给出描述“在质感控制时对作为物理因素的参数的物理特性参数进行控制”，但在这种情况下实际上还对表示物体的认知敏感度的参数(其为心理因素的参数)进行控制。
此外，在本技术中，不仅对应于图像输出而且还对应于各输出设备，通过分析关于输出设备的信息不仅对输出图像而且对与输出图像相关的附加信息进行质感控制。
由此，可将物体的特性信息的分析结果以信息而非图像输出。因此，更加逼真的视觉表现成为可能。
另外，在本技术中，对应于多个输出设备，还通过分析关于输出设备的信息来对具有不同特征的多个输出图像进行质感控制。
由此，其与诸如光场显示器和混合式显示器如DFD(景深融合显示器)的各种显示器兼容。因此，更加逼真的视觉表现成为可能。
注意，通过将这些输出图像和附加信息输入输出设备，使得使用针对设备控制的附加信息成为可能。
另外，关于图像显示期间执行的用户操作的信息、视线信息和观察信息是关于关于图像显示期间执行的用户操作的操作信息。因此，在下文中，这些信息也将统称为用户操作信息。
[根据本技术的质感控制方法]
接下来，将参照图2对根据本技术的质感控制方法进行描述。
首先，拍摄现实世界中的物体，并且将物体的图像输入测量和估计模块1。在测量和估计模块1中，在拍摄物体时，从现实世界中测量和获取指示物体的物理特性的物理特性参数。或者，在测量和估计模块1中，从物体的输入图像估计和获取指示物体的物理特性的物理特性参数。例如，获取上述照明、物体的结构和反射特性作为物理特性参数。
在现实世界建模模块2中对所获取的物体的物理特性参数进行建模。将物体的经建模的物理特性参数输入质感控制模块3。
在质感控制模块3中，根据物体的经建模的物理特性参数和从图像获得的特征量(纹理)来控制图像中的物体的质感。作为质感控制的一个实例，例如，改变物理特性参数以使得反射变得容易。由此，物体的光学特性被优化。另外，例如，如果存在纹理不足的部分，对该部分进行适当地恢复。即，在质感控制模块3中，为了提高外观的光泽度和透明度，作为质感控制，改变(控制)与光泽度和透明度有关的物理特性参数。
另外，在质感控制模块3中，获取并分析关于图像显示期间执行的用户操作的用户操作信息(例如，操作信息、视线信息和观察信息)并且用于其质感控制。此外，对关于输出设备和具有不同特征的多个图像输出设备的信息而非图像输出进行分析并用于质感控制。
在渲染和润饰模块4中，为了根据质感控制的结果(改变的参数)重构图像，再合成(渲染)图像并且输出所产生的一个或多个图像，这些图像的图像质量被精细地调节(图像的数量取决于图像输出设备的数量)。另外，根据质感控制，生成作为信息而非图像的附加信息，该附加信息与图像相关。根据所生成的附加信息，将其输出至输出设备而非图像输出。
通过上述根据本技术的处理，例如，如果输入图像不同于实际外观，则执行对图像中的照明光的优化、光泽度的增强或透明度的再现。即，实际看到物体时的情形可在视觉上再现。
另外，根据本技术，以取决于用户操作信息(用户交互)的方式改变图像质量和显示方法。因此，还可提供物体的感觉而非外观，例如触感。
此外，根据本技术，不仅对应于图像输出而且还对应于各种输出设备，对关于输出设备的信息进行分析，不仅对输出图像而且对与输出图像相关的附加信息进行质感控制。另外，根据本技术，不仅对一个图像输出而且还对于具有不同特征的多个图像输出进行质感控制。由此，更加逼真的视觉表现成为可能。
<2.装置的配置实例>
[图像处理装置的配置实例]
图3是示出应用本公开的图像处理装置的一个实施方案的配置的框图。
图3中示出的图像处理装置11获取与拍摄现实世界的物体之后输入的图像中的物体有关的物理特性参数，并且获取用户(观察者)的操作信息。另外，图像处理装置11不仅包括图像输出而且还包括各种输出设备。图像处理装置11还分析关于输出设备的信息，以取决于物理特性参数和操作信息以及输出设备的分析结果的方式控制图像中的物体的质感，并且输出物体质感已被控制的图像和与图像相关的附加信息。
图像处理装置11被配置成包括拍摄环境信息获取单元21、拍摄环境信息分析器22、物体特性分析器23、特性信息集成单元24、观察环境信息分析器25、特性控制单元26、图像合成单元27以及操作环境信息分析器28。此外，图像处理装置11被配置成包括先验知识数据库29、附加信息生成单元30、设备31-1、设备31-2以及设备信息分析器33。
拍摄环境信息获取单元21、拍摄环境信息分析器22和物体特性分析器23对应于图2的测量和估计模块1。特性信息集成单元24对应于图2的现实世界建模模块2。特性控制单元26对应于图2的质感控制模块3。图像合成单元27对应于渲染和润饰模块4。
拍摄环境信息获取单元21拍摄物体的图像、输入物体的图像并且将已经输入的输入图像提供给物体特性分析器23和图像合成单元27。另外，拍摄环境信息获取单元21获取物体图像拍摄时的环境和物体的拍摄时间信息并且将所获取的拍摄时间信息提供给拍摄环境信息分析器22。
拍摄环境信息分析器22对来自拍摄环境信息获取单元21的拍摄时获取的拍摄时间信息进行分析。拍摄环境信息分析器22将所分析的拍摄时间信息提供给特性信息集成单元24。
物体特性分析器23基于来自拍摄环境信息获取单元21的输入图像来估计和分析物体的特性。物体特性分析器23将所分析的图像估计信息提供给特性信息集成单元24。在物体特性分析器23中，可通过基于图像的估计来获取关于细部(例如，具有高采样率的部分)的信息，该信息无法作为拍摄时间信息在拍摄时获取。
特性信息集成单元24对来自拍摄环境信息分析器22的拍摄时间信息和来自物体特性分析器23的图像估计信息进行集成。特性信息集成单元24将其提供给特性控制单元26和先验知识数据库29作为关于物体的物理特性参数。
观察环境信息分析器25获取并分析关于观察环境的信息，所述观察环境为观察图像时的环境(观察环境信息)。观察环境信息分析器25将所分析的观察环境信息提供给特性控制单元26作为观察环境参数。
特性控制单元26使用来自特性信息集成单元24的关于物体的物理特性参数、来自观察环境信息分析器25的观察环境参数、来自操作环境信息分析器28的操作环境参数以及来自设备信息分析器33的设备信息，以作为控制参数。具体地，例如，特性控制单元26基于物理特性参数和设备信息来确定用于控制质感，例如改变图像质量、调节反射特性或改变形状的处理内容。特性控制单元26将关于所确定的处理内容的信息提供给图像合成单元27和附加信息生成单元30，并且使图像合成单元27和附加信息生成单元30执行质感控制。另外，特性控制单元26使图像合成单元27以取决于用于优化质感控制的观察环境参数、操作环境参数和设备信息的方式来执行质感控制。即，在图像处理装置11中，由于除了设备31-1的图像输出之外，还有来自设备31-2的不同于图像的额外输出，因此使得更加逼真的视觉表现成为可能。
在特性控制单元26的控制下，图像合成单元27对来自拍摄环境信息获取单元21的输入图像进行再合成(进行渲染)和调节，并且将再合成结果输出至设备31-1作为输出图像。
操作环境信息分析器28获取并分析用户的关于图像的操作环境信息，这在图像显示期间执行。
注意，操作环境信息的实例可包括观察者的视线信息、使用诸如触摸面板和鼠标的操作单元的操作信息、提供给显示器的传感器信息以及用户的观察时间信息。观察者的视线信息的实例可包括关于注视区域的位置和范围的信息以及关于眨眼次数的信息。操作信息的实例可包括关于以下各项的信息：触摸位置、指针位置、轻击范围，通过手势识别获得的手臂移动方式等。传感器信息的实例可包括关于显示器的倾斜度及其移动速度的信息。
操作环境信息分析器28将所分析的操作环境信息提供给特性控制单元26作为操作环境参数。
先验知识数据库29保留了诸如宝石、金属部分、水、皮革的物体的材料信息，以及关于物体的大小、硬度等的信息而非图像。例如，在先验知识数据库29中，基于与由特征信息集成单元24提供的关于物体的物理特性参数，搜索子、宝石、金属等，并且将搜索到的桌子、宝石或金属的触感、声音信息等提供给附加信息生成单元30。即，例如，如果在设备信息分析器33中没有获取关于设备的信息，或者如果在生成附加信息的过程中没有分析关于设备的信息，则使用此先验知识数据库29的信息。
附加信息生成单元30基于关于所确定的处理内容(质感控制)的信息生成附加信息，该附加信息为例如图像的物体的声音、振动、触感等的附加信息并且用于控制设备31-2。附加信息生成单元30将所生成的附加信息提供给设备31-2。即，附加信息生成单元30将物体特性信息的分析结果以附加信息而非图像输出。附加信息的实例可包括表现物体质感的声音和感触感信息、关于镜面反射分量的信息、伽马特性信息和颜色信息。
设备31-1为例如由LCD(液晶显示器)等构成，并显示来自图像合成单元27的输出图像。另外，设备31-1为例如LCD本身，并且作为用于显示图像的设备将关于功能和性能的信息提供给例如设备信息分析器33。
设备31-2由输出附加信息的设备构成，该附加信息为诸如关于图像的物体的声像、振动以及触感的附加信息而非图像。例如，设备31-2由输出声音的扬声器和堆叠在设备31-1上并且在用户触摸操作中通过输出空气、振动、温度等来向用户提供触感的设备构成。
设备信息分析器33从设备31-1和设备31-2获取并分析关于设备的性能和功能的信息。设备信息分析器33将所分析的设备信息提供给特性控制单元26。
注意，控制参数由关于物体的物理特性参数和来自观察环境信息分析器25的观察环境参数构成，在所述物理特性参数中，来自拍摄环境信息分析器22的拍摄时间信息与来自物体特性分析器23的图像估计信息集成。
关于物体的物理特性参数被配置成包括物体的深度和形状信息、拍摄时的照明信息、物体的材料信息以及物体的反射特性信息。注意：拍摄时的照明信息也影响物体的颜色等，并且可以说其是与物体相关或与物体的背景相关的信息。因此，它被包括在关于物体的物理特性参数中。
观察环境参数被配置成包括观察环境光信息。
[图像处理装置的另一配置实例]
图4示出应用本公开的图像处理装置的实施方案的另一配置。在图4的实例中，图像处理装置51不仅对于一个图像输出而且对于具有不同特征的多个图像输出控制图像中的物体的质感，并且输出物质的质感已被控制的图像。因此，输入图像不限于单个图像并且多视点图像可以作为输入图像输入。
图4中示出的图像处理装置51与图3中的图像处理装置11的共同之处在于其包括拍摄环境信息获取单元21、拍摄环境信息分析器22、物体特性分析器23、特性信息集成单元24、观察环境信息分析器25、特性控制单元26和设备信息分析器33。
图像处理装置51与图3中的图像处理装置11的不同之处在于先验知识数据库29和附加信息生成单元30被排除，并且图像合成单元27-1至27-2和设备31-1至31-2被更改为图像合成单元27-1至27-N和设备31-1至31-N(N>1)。
即，设备31-1至31-N为例如由构成显示系统的各显示器(或像素)构成，例如图5中的A所示的DFD(景深融合显示器：多层显示器)的混合式显示器、图5的B所示的多个投影仪，图5的C所示的光场显示器等。注意：设备31-1至31-N可以是相同类型的设备或也可以是不同类型的设备。
多层显示器包括位于前面和后面的显示屏，如图5的A所示。作为在深度方向上的融合，可通过显示在前面和后面以相互重叠的方式布置的物体来感知3D图像。另外，作为连续的深度表现，通过在整个屏幕中以连续重叠的方式在前面显示亮度比以三个步长从暗到亮变化的物体以及在后面显示亮度比以三个步长从亮到暗变化的物体，可感知前面的高亮度物体就如同其定位在前侧上，并且感知低亮度物体就如同其定位在深侧上。
在多个投影仪中，如图5的B所示，多个投影仪将光投射到单个显示表面上。用照相机等对其进行感测。对感测到的信息进行分析信号处理并回馈到每个投影仪视频因此得以调节。
光场是指处理空间中存在的所有光线的方法。其考虑光线行进的方向。常规照相机获得二维平面中的光线强度。另一方面，适用于光场的照相机能够甚至在光线已通过的方向上在某个位置进行四维地(原则上五维地)存储。光场显示器是能够控制(再现和实现)“光线方向”的显示器。
例如，在光场显示器的情况下，光线信息以及亮度信息在构成光场显示器的各显示器(或像素)之间是不同的。例如，在DFD的情况下，深度信息以及亮度信息在构成DFD的各显示器之间是不同的。
因此，特性控制单元26基于来自特性信息集成单元24的物理特性参数、来自设备信息分析器33的设备31-1至31-N中的每一个的信息(例如位置信息、深度信息和光线信息)等来确定每个显示器的用于控制质感的处理内容(作为显示系统)。然后，特性控制单元26使图像合成单元27-1至27-N执行所确定的质感控制。
在特性控制单元26的控制下，图像合成单元27-1至27-N进行重构(渲染)并且调节来自拍摄环境信息获取单元21的输入图像，并且将再合成结果分别输出至对应的设备31-1至31-N作为输出图像。
设备31-1至31-N由构成诸如混合式显示器如DFD(景深融合显示器)的显示系统的各显示器构成，例如，代表了上文参考图5所描述的实例。设备31-1至31-N显示来自对应的图像合成单元27-1至27-N的输出图像另外，设备31，例如，将诸如其本身的功能和性能信息、位置信息、光线信息、方向信息、深度信息设备提供给信息分析器33。
设备信息分析器33分析来自设备31-1至31-N的设备信息并提供给特性控制单元26
<3.实施方案>
接下来，将参照图6来描述图像处理装置51中的处理实例。在图6的实例中，作为处理实例，示出输出目标、从输出目标输出的多个信息输出以及与其对应的效果。
例如，如果输出目标(设备31-1至31-N)为多层显示器，则多个信息输出可分类成前侧上的物体的图像和深侧上的物体的图像。作为其效果，可获得立体感的加强。另外，多个信息输出可分类成漫反射分量的输出和镜面反射分量的输出。作为其效果，可增强利用动态范围的光泽度。另外，多个信息输出可分类成物体侧和光源颜色。作为其效果，可通过在电子纸上显示不变的物体颜色并在LCD上显示差异来实现功耗的降低。
如果输出目标是多个投影仪，则多个信息输出可分类成漫反射分量和镜面反射分量。作为其效果，可获取对利用动态范围的光泽度的改善。
如果输出目标是LCD或OLED(有机电致发光)，则多个信息输出可分类成漫反射分量和镜面反射分量。作为其效果，由于镜面反射分量减少，因此可降低功耗并且可防止屏幕老化，同时保持可视性。
如果输出目标是触觉显示器，则多个信息输出可分类成结构分量和纹理分量。作为其效果，可再现利用纹理分量的触感。
如果输出目标是视频+音频，多个信息输出可分类成对应于材料的视频和音频。作为其效果，可输出对应于物体的音频。多个信息输出可分类成亮度信息和颜色信息(波长)。另外，其可分类成聚焦的和未聚焦的，并且可分类成高频率分量和低频率分量。
另外，图7是描述另一个处理实例的图。在图7的实例中，作为处理实例，示出待使用的物体的特性、多个设备(设备31-1至31-N)的类型(相同类型或不同类型)及其像素的位置(相同位置或像素偏移)及其效果。
作为物体的特性，在相同位置(即相同类型)的多个投影仪中使用波长的亮度/颜色。可因此获得增强颜色再现性的效果。
作为物体的特性，在相同位置(即相同类型)的多个投影仪中使用波长的光源颜色/物体颜色。可因此获得增强颜色再现性的效果。另外，将波长的光源颜色/物体颜色用作物体的特性，物体颜色显示在电子纸上，光源颜色显示在LCD的相同位置处。可因此获得降低功耗的效果。注意，下文将参照图16来描述该处理实例的细节以作为处理实例e3。
作为物体的特性，对于每个频率分量，在相同位置的(相同类型的)多个投影仪中使用频率分量。可因此获得增强颜色再现的效果。对于(相同类型的)多个投影仪中的每个频率分量，可通过使用频率分量作为物体的特性来获得提高分辨率的效果。
作为物体的特性，对于每个频率分量，在低分辨率设备中使用低频率，在高分辨率设备中使用高频率，所述设备处于相同位置或具有像素偏移。可因此获得增强解析感的效果。
作为物体的特性，利用频率分量的纹理、结构(形状)，并且将纹理显示在相同类型的LCD或OLED的整个表面上的相同位置处。可因此获得加强立体感的效果。另外，通过利用频率分量的纹理、结构(形状)作为物体的特性并且使用触觉显示器上的纹理以及LCD或OLED的相同位置处的结构来再现触感。注意，下文将参照图15来描述该处理实例的细节以作为处理实例e2。
作为物体的特性，利用频率分量的焦点，并且将未聚焦部分用在背面中，将聚焦部分用在前面的相同位置处。可因此获得加强立体感的效果。
作为物体的特性，利用频率分量的焦点，并且将未聚焦部分用在低分辨率设备中，将聚焦部分用在高分辨率设备的相同位置处。可因此获得增强解析感的效果。
作为物体的特性，利用频率分量的曝光，并且将曝光不同的视频集成在相同类型的设备的相同位置处。可因此获得增强动态范围的效果。
作为物体的特性，在相同位置的(相同类型的)多个投影仪中使用反射分量的镜面反射/漫反射。由于加强了镜面反射，可因此获得增强光泽度的效果。注意，下文将参照图14来描述该处理实例的细节以作为处理实例e1。
作为物体的特性，将反射分量的镜面反射显示在前面并且将漫反射显示在背面的相同位置处。可获得增强光泽度以及加强立体感的效果。
作为物体的特性，利用反射分量的镜面反射/漫反射，并且在LCD或OLED的相同位置处抑制镜面反射。可因此获得降低功耗以及防止屏幕老化的效果。
作为物体的特性，利用反射分量的镜面反射/漫反射，并且在相同位置处使用不同的镜面反射加强程度以及HMD(头戴式显示器)的L与R之间的视差来执行显示。可因此获得增强光泽度的效果。
作为物体的特性，将反射分量的镜面反射显示在具有高峰值亮度的设备上并且将漫反射显示在具有低峰值亮度的设备的相同位置处。可因此获得增强动态范围的效果。注意，下文将参照图17来描述该处理实例的细节以作为处理实例e4。
作为物体的特性，利用反射分量的相互反射，并且将相互反射显示在透明显示器上，并且将其他反射显示在LCD的相同位置处。可因此获得增强透明度的效果。
作为物体的特性，对于景深/深度的每个景深，将前面的物体显示在相同类型的LCD或OLED的前面的相同位置处。可因此获得加强立体感的效果。
作为物体的特性，对于景深/深度的每个景深，将背景部分显示在低分辨率设备中并且将前景部分显示在高分辨率设备的相同位置处。可因此获得增强解析感的效果。
作为物体的特性，利用景深/深度的所关注物体，并且将所关注物体显示在相同类型的LCD或OLED的前面的相同位置处。可因此获得加强立体感的效果。
作为物体的特性，利用景深/深度的所关注物体，并且将所关注物体显示在前移动显示器并且将背景显示在大屏幕显示器的相同位置处。可因此获得加强立体感的效果。
作为物体的特性，利用时间方向上的移动物体和静止物体，并且将静止物体显示在电子纸上，将移动物体显示在LCD的相同位置处。可因此获得降低功耗的效果。
作为物体的特性，使用其他音频信息、味觉信息、嗅觉信息和意义(文本)，并且在显示器上显示视频，将与物体相关的音频显示给扬声器和在相同位置处输出视觉辅助的设备。可因此实现更加逼真的视觉表现。
<4.处理实例>
[图像处理的实例]
接下来，将参照图8的流程图来描述图像处理。
在步骤S11中，拍摄环境信息获取单元21拍摄物体的图像并输入物体的图像。拍摄环境信息获取单元21将已经输入的输入图像提供给物体特性分析器23和图像合成单元27。
在步骤S12中，拍摄环境信息获取单元21、拍摄环境信息分析器22和物体特性分析器23执行测量/估计/集成处理。下文将参照图9来描述此测量/估计/集成处理。通过步骤S12的处理，将测量的物理特性参数和估计的物理特性参数(物体的反射特性、拍摄环境光、物体形状和物体的材料等)提供给特性控制单元26。
在步骤S13中，观察环境信息分析器25和特性控制单元26执行基于观察环境信息的处理，所述观察环境信息是关于观察图像时的环境的信息。下文将参照图10来描述此基于观察环境信息的处理。通过步骤S13的处理，确定基于观察环境信息的质感控制的处理内容。
在步骤S14中，特性控制单元26执行基于物体材料的反射特性调节处理。下文将参照图11来描述此反射特性调节处理。注意：此时，由特性信息集成单元24参照集成的物理特性参数(材料和反射特性)。通过步骤S14的处理，确定基于反射特性的质感控制的处理内容。
在步骤S15中，操作环境信息分析器28和特性控制单元26执行基于包括在用户操作信息中的视线信息的处理。下文将参照图12来描述此基于视线信息的处理。通过步骤S15的处理，确定基于视线信息的质感控制的处理内容。
在步骤S16中，操作环境信息分析器28和特性控制单元26执行基于包括在用户操作信息中的操作信息的处理。下文将参照图13来描述此基于此操作信息的处理。通过步骤S16的处理，确定基于操作信息的质感控制的处理内容。
在步骤S17中，特性控制单元26和设备信息分析器33执行基于设备信息的输出控制处理。下文将参照图14至17来描述此基于设备信息的输出控制处理。
由于步骤S17的输出控制，质感是以取决于设备信息的方式受到控制，并且将质感已被控制的物体的图像输出至设备31-1至31-N(N>1)。注意：在图3的图像处理装置11的情况下，由于步骤S17的输出控制，质感已被控制的物体的图像从设备31-1输出，并且与图像相关的附加信息从设备31-2输出。
如上所述，使用在拍摄时或从图像获得的所有物理特性参数。于是，只要准确地获取这些物理特性参数，则对图像中的照明光的优化、光泽度的增强和透明度的再现就通过改变它们来执行，即使输入图像的再现性较差也可执行。即，实际看到物体时的情形可在视觉上再现如CG(计算机制图)。
以上述方式，在本技术中，可通过测量关于物体的物理特性参数(形状、反射特性，照明等)并控制其特性来改善视频质量。
另外，与图像相关的多个图像和信息可以取决于设备信息的方式输出。因此，可更有利地再现如同存在真实物体一样的质感。例如，可通过DFD等的显示器来提供深度质感等等，或还可提供不同于外观的感觉例如触感。
接下来，将参照图9的流程图来描述图8的步骤S12的测量/估计/集成处理。
在步骤S31中，拍摄环境信息获取单元21测量拍摄环境光并且将所测量的拍摄环境光提供给拍摄环境信息分析器22。拍摄环境信息分析器22分析来自拍摄环境信息获取单元21的拍摄环境光并且将分析的结果(关于拍摄环境光的信息)提供给特性信息集成单元24。
在步骤S32中，拍摄环境信息获取单元21测量物体的反射特性并且将所测量的物体的反射特性和材料提供给拍摄环境信息分析器22。拍摄环境信息分析器22对来自拍摄环境信息获取单元21的物体的反射特性进行分析并且将所分析的物体的反射特性和材料提供给特性信息集成单元24。
在步骤S33中，拍摄环境信息获取单元21测量物体形状并且将所测量的物体形状提供给拍摄环境信息分析器22。拍摄环境信息分析器22分析对来自拍摄环境信息获取单元21的物体形状进行分析并且将所分析的物体形状提供给特性信息集成单元24。
在步骤S34中，物体特性分析器23对来自所提供的输入图像的拍摄环境光估计和分析并且获取分析的结果(关于拍摄环境光的信息)。物体特性分析器23将关于拍摄环境光的信息提供给特性信息集成单元24。
在步骤S35中，特性信息集成单元24对关于所测量的拍摄环境光的信息和关于所估计的拍摄环境光的信息进行集成。特性信息集成单元24将关于拍摄环境光的所集成的信息提供给特性控制单元26作为物理特性参数。
在步骤S36中，特性控制单元26使得图像合成单元27通过从关于拍摄环境光的信息获得的照明颜色来调节图像的白平衡。
在步骤S37中，物体特性分析器23对物体的反射特性和材料进行估计和分析并且将关于所分析的反射特性和材料的信息提供给特性信息集成单元24。
在步骤S38中，特性信息集成单元24对关于所测量的物体的反射特性的信息和关于所估计的物体的反射特性的信息进行集成。特性信息集成单元24将关于物体的反射特性的所集成的信息提供给特性控制单元26作为物理特性参数。
在步骤S39中，特性信息集成单元24对关于所测量的物体的材料的信息和关于所估计的物体的材料的信息进行集成。特性信息集成单元24将关于物体的材料的所集成的信息提供给特性控制单元26作为物理特性参数。
在步骤S40中，物体特性分析器23对物体的形状进行估计和分析并且将关于所分析的物体的形状的信息提供给特性信息集成单元24。
在步骤S41中，特性信息集成单元24对关于所测量的物体的形状的信息和关于所估计的物体的形状的信息进行集成。特性信息集成单元24将关于物体的形状的所集成的信息提供给特性控制单元26作为物理特性参数。
以上述方式，在拍摄时，测量作为物体特性的物体的材料等以及物体的照明光、反射特性和形状。另外，基于输入图像对这些特性进行估计，并且基于可靠性对关于其的各条信息进行集成。将如此集成的物理特性参数用于质感控制。因此，对图像中的照明光的优化、光泽度的增强和透明度的再现进一步得到改善。
接下来，将参照图10的流程图来描述图8的步骤S13中基于观察环境信息的处理。
在步骤S61中，观察环境信息分析器25获取并分析关于观察环境光的信息例如，作为关于观察环境(观察图像时的环境)的信息。观察环境信息分析器25将关于所分析的观察环境光的信息提供给特性控制单元26作为观察环境参数。
在特性控制单元26中，图像拍摄时的绝对亮度信息还通过物体特性分析器23估计并提供给特性控制单元26。在步骤S62中，特性控制单元26确定拍摄时的目标像素的绝对亮度是否高于预定亮度值。在步骤S62中，如果确定拍摄时的目标像素的绝对亮度较高，则处理进行至步骤S63。
在步骤S63中，特性控制单元26参照来自观察环境信息分析器25的观察环境参数并且确定观察环境光是否亮于预定值。在步骤S63中，如果确定观察环境光较亮，则处理进行至步骤S64。在这种情况下，其可能看起来是暗的。因此，在步骤S64中，作为质感控制，特性控制单元26控制图像合成单元27并将对比度调节值设定为较高。
在步骤S63中，如果确定观察环境光较弱，则跳过步骤S64并且处理进行至步骤S67。
在步骤S62中，如果确定拍摄时的目标像素的绝对亮度较低，则处理进行至步骤S65。在步骤S65中，特性控制单元26参照来自观察环境信息分析器25的观察环境参数并且确定观察环境光是否亮于预定值。
在步骤S65中，如果确定观察环境光较弱，则处理进行至步骤S66。在步骤S66中，作为质感控制，特性控制单元26控制图像合成单元27以将对比度调节值设定为较低。
在步骤S65中，如果确定观察环境光较亮，则跳过步骤S66并且处理进行至步骤S67。
在步骤S67中，特性控制单元26确定相对于所有像素的反射特性的调节是否已终止。
在步骤S67中，如果确定处理已相对于所有像素终止，则结束基于观察环境信息的处理。在步骤S67中，如果确定对于所有像素的处理还未终止，则处理返回至步骤S62并且重复此步骤后的处理。
如上所述，基于观察环境调节图像的对比度和反射特性，并且控制物体图像的质感。由此，执行对图像的照明光的优化、光泽度的增强和透明度的再现。
接下来，将参照图11的流程图来描述图8的步骤S14中基于材料的反射特性调节处理。
在步骤S81中，特性控制单元26基于来自特性信息集成单元24的关于物体反射特性的信息来确定镜面反射分量是否较大。在步骤S81中，如果确定镜面反射分量较大，则处理进行至步骤S82。
在步骤S82，作为质感控制，特性控制单元26确定加强镜面反射分量。在步骤S81中，如果确定镜面反射分量较小，则处理进行至步骤S83。
在步骤S83中，特性控制单元26确定漫反射分量较大。在步骤S83中，如果确定漫反射分量较大，则处理进行至步骤S84。在步骤S84中，作为质感控制，特性控制单元26确定减少漫反射分量。
在步骤S83中，如果确定漫反射分量较小，则处理进行至步骤S85。
在步骤S85中，特性控制单元26基于由特性信息集成单元24集成的关于物体材料的信息确定其为具有强镜面反射的材料。在步骤S85中，如果确定其为具有强镜面反射的材料，则处理进行至步骤S86。在步骤S86，作为质感控制，特性控制单元26确定加强镜面反射分量。
在步骤S85中，如果确定其为具有强镜面反射的材料，则处理进行至步骤S87。在步骤S87中，作为质感控制，特性控制单元26确定减少镜面反射分量。
在步骤S88中，特性控制单元26确定相对于所有像素的反射特性的调节是否已终止。
在步骤S88中，如果确定相对于所有像素的反射特性的调节是否已终止，则结束反射特性调节处理。在步骤S88中，如果确定反射特性的调节还未相对于所有像素终止，处理返回至步骤S81并且重复此步骤后的处理。
如上所述，以取决于物体的材料的方式，调节图像的反射特性并且控制物体图像的质感。由此，执行对图像的照明光的优化、光泽度的增强和透明度的再现。
接下来，将参照图12的流程图来描述图8的步骤S15中基于视线信息的处理。
在步骤S101中，操作环境信息分析器28获取并分析例如所关注物体的信息或视线信息作为关于操作环境的信息。操作环境信息分析器28将关于所分析的操作环境的信息提供给特性控制单元26作为操作环境参数。
在步骤S102中，特性控制单元26确定目标像素是否为所关注物体的区域或视线目标区域。在步骤S102中，如果确定其为所关注物体的区域或视线目标区域，则处理进行至步骤S103。
在步骤S103中，作为质感控制，特性控制单元26控制图像合成单元27以将直至此时处理(即基于观察环境信息、材料的处理)的图像质量调节值设定为例如较低。
在步骤S102中，如果确定目标像素不是所关注物体的区域或视线目标区域，则跳过步骤S103并且处理进行至步骤S104。
在步骤S104中，特性控制单元26确定处理是否已相对于所有像素终止。
在步骤S104中，如果确定处理已相对于所有像素终止，则结束基于视线信息的处理。在步骤S104中，如果确定对于所有像素的处理还未终止，则处理返回至步骤S102并且重复此步骤后的处理。
如上所述，基于观察环境调节图像的对比度和反射特性，并且控制物体图像的质感。由此，执行对图像的照明光的优化、光泽度的增强和透明度的再现。
接下来，将参照图13的流程图来描述图8的步骤S16中基于操作信息的处理。
在步骤S121中，操作环境信息分析器28获取并分析例如用户的操作信息(轻击等)作为关于操作环境的信息。操作环境信息分析器28将关于所分析的操作环境的信息提供给特性控制单元26作为操作环境参数。
在步骤S122中，特性控制单元26确定目标像素是否为用户触摸的区域。在步骤S122中，如果确定其为用户触摸的区域，则处理进行至步骤S123。
在步骤S123中，作为质感控制，特性控制单元26控制图像合成单元27将直至此时处理(即基于观察环境信息、反射特性、视线信息的处理)的图像质量调节值重新设定为较高。
在步骤S122中，如果确定目标像素不是用户触摸的区域，则跳过步骤S123并且处理进行至步骤S124。
在步骤S124中，特性控制单元26确定处理是否已相对于所有像素终止。
在步骤S124中，如果确定处理已相对于所有像素终止，则结束基于视线信息的处理。在步骤S124中，如果确定对于所有像素的处理还未终止，则处理返回至步骤S122并且重复此步骤后的处理。
如上所述，以取决于关于操作环境中用户操作的信息，调节图像的反射特性。由此，实现了对图像中的照明光的优化、光泽度的增强和透明度的进一步优化。即，可更有利地再现如同存在真实物体一样的质感。
另外，可通过以取决于如上所述的用户操作、相对于显示设备的交互的方式执行如上所述的控制来提供高级质感等而非外观，例如物体的触感。
可加强质感。因此，甚至在小屏幕上显示也可表现出更加逼真的质感。
注意，此处理也可通过确定其是否为作为视线信息而非操作信息的用户的视线区域来执行。即，可仅对基于视线检测的所关注区域或基于触摸位置的指定区域执行处理。因此，例如，可部分地加强镜面反射分量。相比之下，在感觉太亮的视频的情况下，镜面反射分量可降低以便不提供太亮的视频。
此外，可通过在长时间观察中逐渐降低镜面反射分量来实现功耗的降低。
接下来，将参照图14的流程图来描述图8的步骤S17中基于设备信息的输出控制处理。注意：图14的实例参照图7描述上述处理实例e1并且由图4的图像处理装置51进行处理执行。
在步骤S141中，设备信息分析器33获取来自设备31-1至31-N的设备信息并且将所获取的设备信息提供给特性控制单元26。
在步骤S142中，特性控制单元26基于来自设备信息分析器33的设备信息来确定其是否为多个投影仪。在步骤S142中，如果确定其为多个投影仪，则处理进行至步骤S143。
在步骤S143中，特性控制单元26分离图8的步骤S14中所确定的处理内容，即镜面反射分量控制结果和漫反射分量控制结果，并且使投影仪(设备31-1至31-N)中的每一者输出所述内容。即，为了使设备31-1至31-N中的每一者输出所述内容，特性控制单元26将其中镜面反射分量控制结果和漫反射分量控制结果被分离的处理内容输出至分别对应于设备31-1至31-N的图像合成单元27-1至27-N。为响应这种情况，图像合成单元27-1至27-N基于所确定的质感控制的处理内容再合成输入图像，并且使分别对应的设备31-1至31-N输出再合成图像。
另一方面，在步骤S142中，如果确定其不是多个投影仪，则处理进行至步骤S144。即，由于其不是多个投影仪，因此仅图像合成单元27-1和设备31-1未输出目标。
因此，在步骤S144中，图像合成单元27-1基于质感控制的处理内容(其已在图8的步骤S13至S16中确定)再合成输入图像，并且使每个对应的设备31-1输出再合成图像。
如上所述，在相同位置的多个投影仪中使用反射分量的镜面反射/漫反射作为物体的特性。因此，由于加强了镜面反射，因此可获得增强光泽度的效果。
接下来，将参照图15的流程图来描述图8的步骤S17中基于设备信息的输出控制处理的另一个实例。注意，图15的实例参照图7描述上述处理实例e2并且由图3的图像处理装置11进行处理执行。
在步骤S161中，设备信息分析器33获取来自设备31-1和31-2的设备信息并且将所获取的设备信息提供给特性控制单元26。
在步骤S162中，特性控制单元26基于来自设备信息分析器33的设备信息来确定其是否为混合式显示器(触觉显示器+LCD)。例如，如果设备31-1为LCD显示器并且设备31-2为触觉显示器，则在步骤S162中确定其为混合式显示器并且处理进行至步骤S163。
在步骤S163中，特性控制单元26基于来自特性信息集成单元24的物理特性参数中的物体形状信息来估计纹理分量和结构分量。
在步骤S164中，特性控制单元26使触觉显示器(设备31-2)输出步骤S163中估计的纹理分量。即，为了使触觉显示器(设备31-2)输出所述分量，特性控制单元26将指示纹理分量的处理内容输出至附加信息生成单元30。与此对应，附加信息生成单元30生成用于提供纹理分量的触感的附加信息并且将所生成的附加信息输出至设备31-2。由此，作为触觉显示器的设备31-2能够执行对应于纹理分量的触感的输出。
注意，如果在生成附加信息的过程中存在很少的关于纹理分量的触感的信息，则可以从先验知识数据库29获得信息。
在步骤S165中，特性控制单元26使LCD显示器(设备31-1)输出步骤S163中估计的结构分量。即，为了使LCD显示器(设备31-1)输出所述分量，特性控制单元26将指示结构分量的处理内容输出至图像合成单元27。与此对应，图像合成单元27基于所确定的质感控制的处理内容再合成输入图像。由此，作为LCD显示器的设备31-1能够执行对应于结构分量的输出。
另一方面，在步骤S162中，如果确定其不是混合式显示器，则处理进行至步骤S166。即，由于其不是混合式显示器，因此仅图像合成单元27和设备31-1为输出目标。
因此，在步骤S166中，图像合成单元27基于质感控制的处理内容(其已在图8的步骤S13至S16中确定)再合成输入图像，并且使每个对应的设备31-1输出再合成图像。
如上所述，如果由触觉显示器和LCD形成的混合式显示器作为输出设备提供，则在相同位置的多个投影仪中使用反射分量的镜面反射/漫反射作为物体的特性。因此，由于加强了镜面反射，因此可获得增强光泽度的效果。
接下来，将参照图16的流程图来描述图8的步骤S17中基于设备信息的输出控制处理的另一个实例。注意：图15的实例参照图7描述上述处理实例e3并且由图4的图像处理装置11进行处理执行。
在步骤S181中，设备信息分析器33获取来自设备31-1和31-2的设备信息并且将所获取的设备信息提供给特性控制单元26。
在步骤S182中，特性控制单元26基于来自设备信息分析器33的设备信息来确定其是否为混合式显示器(电子纸+LCD)。例如，如果设备31-1为LCD显示器并且设备31-2为电子纸，则在步骤S182中确定其为混合式显示器并且处理进行至步骤S183。
在步骤S183中，特性控制单元26基于来自特性信息集成单元24的物理特性参数中的物体的拍摄环境光、反射特性和形状信息来估计物体颜色分量/光源颜色分量。
在步骤S184中，特性控制单元26使电子纸(设备31-2)输出步骤S183中估计的物体颜色分量。即，为了使电子纸(设备31-2)输出所述分量，特性控制单元26将指示物体颜色分量的处理内容输出至附加信息生成单元30。与此对应，附加信息生成单元30生成用于输出物体颜色分量的附加信息并且将所生成的附加信息输出至设备31-2。由此，作为电子纸的设备31-2能够输出物体颜色分量。
注意，如果在生成附加信息的过程中存在很少的关于物体颜色分量的信息，则可以从先验知识数据库29获得信息。
在步骤S185中，特性控制单元26使LCD显示器(设备31-1)输出步骤S183中估计的光源颜色分量。即，为了使LCD显示器(设备31-1)输出所述分量，特性控制单元26将指示结构分量的处理内容输出至图像合成单元27。与此对应，图像合成单元27基于所确定的质感控制的处理内容再合成输入图像。由此，作为LCD显示器的设备31-1能够执行对应于结构分量的输出。
另一方面，在步骤S182中，如果确定其不是混合式显示器，则处理进行至步骤S186。即，由于其不是混合式显示器，因此仅图像合成单元27和设备31-1为输出目标。
因此，在步骤S186中，图像合成单元27基于质感控制的处理内容(其已在图8的步骤S13至S16中确定)再合成输入图像，并且使每个对应的设备31-1输出再合成图像。
如上所述，如果由电子纸和LCD形成的混合式显示器作为输出设备提供，则将波长的光源颜色/物体颜色用作物体的特性，物体颜色显示在电子纸上，光源颜色显示在LCD的相同位置处。因此，可获得降低功耗的效果。
接下来，将参照图17的流程图来描述图8的步骤S17中基于设备信息的输出控制处理。注意：图14的实例参照图7描述上述处理实例e4并且由图4的图像处理装置51进行处理执行。
在步骤S201中，设备信息分析器33获取来自设备31-1至31-N的设备信息并且将所获取的设备信息提供给特性控制单元26。
在步骤S202中，特性控制单元26基于来自设备信息分析器33的设备信息来确定其是否为不同类型的多个投影仪。在步骤S202中，如果确定其为不同类型的多个投影仪，则处理进行至步骤S203。
在步骤S203中，特性控制单元26使具有高峰值亮度的投影仪(设备31-1)输出图8的步骤S14中确定的处理内容的镜面反射分量控制结果。即，为了使设备31-1输出所述结果，特性控制单元26将指示镜面反射分量控制结果的处理内容输出至对应于设备31-1的图像合成单元27-1。为响应这种情况，图像合成单元27-1基于所确定的质感控制的处理内容再合成输入图像，并且使每个对应的设备31-1输出再合成图像。
在步骤S204中，特性控制单元26使具有低峰值亮度的投影仪(设备31-2)输出图8的步骤S14中确定的处理内容的漫反射分量控制结果。即，为了使设备31-2输出所述结果，特性控制单元26将指示漫反射分量控制结果的处理内容输出至对应于设备31-2的图像合成单元27-2。为响应这种情况，图像合成单元27-2基于所确定的质感控制的处理内容再合成输入图像，并且使每个对应的设备31-2输出再合成图像。
另一方面，在步骤S202中，如果确定其不是不同类型的多个投影仪，则处理进行至步骤S205。即，由于其不是不同类型的多个投影仪，因此仅图像合成单元27-1和设备31-1未输出目标。
因此，在步骤S205中，图像合成单元27-1基于质感控制的处理内容(其已在图8的步骤S13至S16中确定)再合成输入图像，并且使每个对应的设备31-1输出再合成图像。
如上所述，如果不同类型的多个投影仪作为输出设备提供，则作为物体的特性，将反射分量的镜面反射显示在具有高峰值亮度的设备上并且将漫反射显示在具有低峰值亮度的设备的相同位置处。因此，可获得增强动态范围的效果。
注意，尽管处理的细节将被省略，但同样在图6和图7的其他处理的情况下，图6和图7中所示的效果可通过执行图6和图7所示的处理来获得。
如上所述，使用在拍摄时或从图像获得的所有物理特性参数。于是，只要准确地获取这些物理特性参数，则对图像中的照明光的优化、光泽度的增强和透明度的再现就通过改变它们来执行，即使输入图像的再现性较差也可执行。即，实际看到物体时的情形可在视觉上再现如CG(计算机制图)。
以上述方式，在本技术中，可更加逼真地再现如同存在真实物体一样的质感。具体地，以取决于操作环境(用户交互)的方式改变图像质量和显示方法。因此，还可提供物体的感觉而非外观，例如触感。
另外，获取输出设备的性能或功能信息，并且以取决于所获取的输出设备的性能或功能的方式再合成最佳图像。因此，可将最佳信息输出至输出设备。由此，可增强仅通过观察无法获得的效果，并且可以表现出高级质感。因此，更加逼真的视觉表现成为可能。
通过输出触觉传感器信息，可通过用户触摸操作提供触感。还通过输出物体的音频信息，可通过用户触摸操作等来提供感觉而非外观。另外，可将物体的特性信息的分析结果以信息而非图像输出。例如，其包括表现质感的声音和触觉信息、关于镜面反射分量等的信息、伽马特性信息和颜色信息。
此外，输出具有不同特征的多个图像。因此，更加逼真的视觉表现成为可能。输出至光场显示器成为可能，并且取决于视点的视点生成成为可能。通过以取决于反射特性的大小的方式将图像输出至多层显示器如DFD，具有较强立体感的表现成为可能。
通过以取决于反射特性的大小的方式输出图像，可获得常规显示器与HDR显示器之间的兼容性。通过将图像分离并输出作为漫反射分量和镜面反射分量，可执行设备之间的协作。
此外，可执行对OLED或LCD的镜面反射分量的升降控制；降低功耗并防止多功能移动电话的屏幕老化；使用两台投影仪通过显示镜面反射分量和漫反射分量中的每一者来在屏幕上进行图像合成；等等。
注意：本发明可应用于图像处理装置、电视装置、投影仪等以及包括它们的视频系统等。
<5.计算机的配置实例>
[个人计算机]
可以通过硬件或软件执行上述一系列处理。当通过软件执行所述一系列处理时，将配置所述软件的程序安装到计算机中。在本文中，计算机包括结合在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机，等等。
图18为示出根据程序执行上述一系列处理的个人计算机的硬件的配置实例的框图。
在个人计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503经由总线504彼此连接。
输入/输出接口505还连接至总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接至输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风等。输出单元507包括显示器、扬声器等。存储单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动可移除介质511如磁盘、光盘、磁光盘和半导体存储器。
如上所述，在待配置的个人计算机500中，CPU 501经由输入/输出接口505和总线504将存储在例如存储单元508中的程序加载到RAM 503中并且执行所述程序。由此，执行上述一系列处理。
由计算机(CPU501)执行的程序可在可移除介质511上存储并提供。可移除介质511为例如封装介质。封装介质包括磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘只读存储器)和DVD(数字多功能盘)等等)、磁光盘和半导体存储器等。除此之外或作为另外一种选择，可经由有线或无线传输介质如局域网、因特网和数字卫星广播来提供程序。
在计算机中，可移除介质511安装到驱动器510中，使得程序可经由输入/输出接口505安装到存储单元508中。另外，程序由通信单元509经由有线或无线传输介质进行接收并且安装到存储介质508中。另外，程序可预先安装到ROM 502或存储单元508中。
注意：由计算机执行的程序可以是按照本说明书中描述的顺序以时间顺序来处理的程序，或者可以是同时地或在必要阶段(例如在调用时)处理的程序。
另外，在本说明书中，描述存储在所存储介质中的程序的步骤除了必然包括按照所描述的顺序以时间顺序执行的处理之外，还包括同时地或单独地执行而不必按时间顺序处理的处理。
另外，在本说明书中，系统是指由多个设备(装置)构成的整个装置。
另外，如上文描述为单个装置(或处理器)的配置可以被划分并且配置成多个装置(或处理器)。相比之下，如上文描述为多个装置(或处理器)的配置可以被集成并且配置成单个装置(或处理器)。另外，必然地，可将除上述之外的那些的配置加入每个装置(或每个处理器)的配置中。此外，只要作为整个系统的配置和操作基本上相同，某个装置(或处理器)的一部分的配置就可以包括在另一装置(或另一处理器)的配置中。即，本公开不限于上述实施方案，并且在不脱离本公开的主旨的情况下可进行各种修改。
尽管已参照附图对本公开的有利实施方式进行了详细描述，但本公开不限于此类实例。显然，本领域的普通技术人员可想到权利要求范围中所述技术理念范围内的各种更改的实例或修改的实例，并且应当理解这些实例必然也落在本公开的技术范围之内。
注意：本技术还可采取以下配置。
(1)一种图像处理装置，包括：
物理特性参数获取单元，其获取关于图像中的物体的物理特性参数；
质感控制单元，其通过使用由所述物理特性参数获取单元获取的所述物理特性参数来控制所述图像中的所述物体的质感；和
多个输出单元，其分别输出关于质感已被所述质感控制单元控制的所述物体的多条信息。
(2)根据(1)所述的图像处理装置，还包括：
功能信息获取单元，其获取所述多个输出单元的功能信息，其中
所述质感控制单元通过使用所述物理特性参数和由所述功能信息获取单元获取的所述功能信息来控制所述图像中的所述物体的所述质感。
(3)根据(1)或(2)所述的图像处理装置，其中
所述多个输出单元由输出与所述物体有关的图像的同一类型的显示单元构成。
(4)根据(3)所述的图像处理装置，其中
所述多个输出单元在同一像素位置处输出与所述物体有关的所述图像。
(5)根据(1)或(2)所述的图像处理装置，其中
所述多个输出单元由
输出与所述物体有关的所述图像的至少一个显示单元和
输出与所述物体有关的所述图像以外的信息的输出单元构成。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中
所述物理特性参数为指示所述物体的反射特性的反射特性信息，并且
所述输出单元输出所述物体的所述反射特性。
(7)根据(6)所述的图像处理装置，其中
一个输出单元输出所述物体的所述反射特性的镜面反射分量，并且
另一个输出单元输出所述物体的所述反射特性的漫反射分量。
(8)根据(7)所述的图像处理装置，其中
所述一个输出单元将所述物体的所述反射特性的所述镜面反射分量输出至前面，并且
所述另一个输出单元将所述物体的所述反射特性的所述漫反射分量输出至背面。
(9)根据(1)至(8)中任一项所述的图像处理装置，其中
所述一个输出单元为具有高峰值亮度的设备，并且
所述另一个输出单元可为具有低峰值亮度的设备。
(10)根据(1)至(9)中任一项所述的图像处理装置，其中
所述物理特性参数为所述物体的波长，并且
所述输出单元对于所述物体的波长执行输出。
(11)根据(10)所述的图像处理装置，其中
所述一个输出单元为电子纸并且输出所述物体的所述波长的物体颜色，并且
所述另一个输出单元为LCD(液晶显示器)并且输出所述物体的所述波长的光源颜色。
(12)根据(1)至(11)中任一项所述的图像处理装置，其中
所述物理特性参数为所述物体的频率分量，并且
所述输出单元对于所述物体的所述频率分量执行输出。
(13)根据(1)至(12)中任一项所述的图像处理装置，其中
所述物理特性参数为所述物体的所述频率分量，并且
所述输出单元对于所述物体的所述频率分量的纹理执行输出。
(14)根据(13)所述的图像处理装置，其中
所述一个输出单元为触觉显示器并且输出所述物体的所述频率分量的所述纹理，并且
所述另一个输出单元为LCD(液晶显示器)并且输出所述物体的所述频率分量的结构。
(15)根据(1)至(14)中任一项所述的图像处理装置，其中
所述物理特性参数为所述物体的景深或深度，并且
所述输出单元对于所述物体的所述景深或深度执行输出。
(16)根据(1)至(15)中任一项所述的图像处理装置，其中
所述物理特性参数为关于所述物体的时间方向的信息，并且
所述输出单元对于在所述物体的所述时间方向上的移动物体和静止物体执行输出。
(17)一种图象处理方法，包括：由图像处理装置
获取关于图像中的物体的物理特性参数；
通过使用所获取的物理特性参数来控制所述图像中的所述物体的质感；以及
将与质感已被控制的所述物体有关的多条信息分别输出至多个显示单元。
参考标号列表
1测量和估计模块、2现实世界建模模块、3质感控制模块、4渲染和润饰模块、11图像处理装置、21拍摄环境信息获取单元、22拍摄环境信息分析器、23物体特性分析器、24特性信息集成单元、25观察环境信息分析器、26特性控制单元、27-1至27-N图像合成单元、28操作环境信息解译单元、29先验知识数据库、30附加信息生成单元、31-1至31-N设备、33设备信息分析器、51图像处理装置。

Claims (17)

1.一种图像处理装置，包括：
物理特性参数获取单元，其获取关于图像中的物体的物理特性参数；
质感控制单元，其通过使用由所述物理特性参数获取单元获取的所述物理特性参数来控制所述图像中的所述物体的质感；和
多个输出单元，其分别输出关于质感已被所述质感控制单元控制的所述物体的多条信息。
2.根据权利要求1所述的图像处理装置，还包括：
功能信息获取单元，其获取所述多个输出单元的功能信息，其中
所述质感控制单元通过使用所述物理特性参数和由所述功能信息获取单元获取的所述功能信息来控制所述图像中的所述物体的质感。
3.根据权利要求1所述的图像处理装置，其中
所述多个输出单元由输出与所述物体有关的图像的同一类型的显示单元构成。
4.根据权利要求3所述的图像处理装置，其中
所述多个输出单元在同一像素位置处输出与所述物体有关的所述图像。
5.根据权利要求1所述的图像处理装置，其中
所述多个输出单元由
输出与所述物体有关的所述图像的至少一个显示单元和
输出与所述物体有关的所述图像以外的信息的输出单元构成。
6.根据权利要求1所述的图像处理装置，其中
所述物理特性参数为指示所述物体的反射特性的反射特性信息，并且
所述输出单元输出所述物体的所述反射特性。
7.根据权利要求6所述的图像处理装置，其中
一个输出单元输出所述物体的所述反射特性的镜面反射分量，并且
另一个输出单元输出所述物体的所述反射特性的漫反射分量。
8.根据权利要求7所述的图像处理装置，其中
所述一个输出单元将所述物体的所述反射特性的所述镜面反射分量输出至前面，并且
所述另一个输出单元将所述物体的所述反射特性的所述漫反射分量输出至背面。
9.根据权利要求7所述的图像处理装置，其中
所述一个输出单元为具有高峰值亮度的设备，并且
所述另一个输出单元可为具有低峰值亮度的设备。
10.根据权利要求1所述的图像处理装置，其中
所述物理特性参数为所述物体的波长，并且
所述输出单元对于所述物体的波长执行输出。
11.根据权利要求10所述的图像处理装置，其中
所述一个输出单元为电子纸并且输出所述物体的所述波长的物体颜色，并且
所述另一个输出单元为LCD(液晶显示器)并且输出所述物体的所述波长的光源颜色。
12.根据权利要求1所述的图像处理装置，其中
所述物理特性参数为所述物体的频率分量，并且
所述输出单元对于所述物体的所述频率分量执行输出。
13.根据权利要求12所述的图像处理装置，其中
所述物理特性参数为所述物体的所述频率分量，并且
所述输出单元对于所述物体的所述频率分量的纹理执行输出。
14.根据权利要求13所述的图像处理装置，其中
所述一个输出单元为触觉显示器并且输出所述物体的所述频率分量的所述纹理，并且
所述另一个输出单元为LCD(液晶显示器)并且输出所述物体的所述频率分量的结构。
15.根据权利要求1所述的图像处理装置，其中
所述物理特性参数为所述物体的景深或深度，并且
所述输出单元对于所述物体的所述景深或深度执行输出。
16.根据权利要求1所述的图像处理装置，其中
所述物理特性参数为关于所述物体的时间方向的信息，并且
所述输出单元对于在所述物体的所述时间方向上的移动物体和静止物体执行输出。
17.一种图象处理方法，包括：由图像处理装置
获取关于图像中的物体的物理特性参数；
通过使用所获取的物理特性参数来控制所述图像中的所述物体的质感；以及
将与质感已被控制的所述物体有关的多条信息分别输出至多个显示单元。
CN201680025114.9A 2015-05-08 2016-04-25 图像处理装置和方法 Expired - Fee Related CN107960150B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015096018 2015-05-08
JP2015-096018 2015-05-08
PCT/JP2016/062879 WO2016181804A1 (ja) 2015-05-08 2016-04-25 画像処理装置および方法

Publications (2)

Publication Number Publication Date
CN107960150A true CN107960150A (zh) 2018-04-24
CN107960150B CN107960150B (zh) 2021-05-11

Family

ID=57248888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025114.9A Expired - Fee Related CN107960150B (zh) 2015-05-08 2016-04-25 图像处理装置和方法

Country Status (4)

Country Link
US (1) US10636125B2 (zh)
JP (1) JPWO2016181804A1 (zh)
CN (1) CN107960150B (zh)
WO (1) WO2016181804A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632449A (zh) * 2019-03-29 2021-11-09 索尼集团公司 图像处理装置、图像处理方法、程序和成像装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016181804A1 (ja) * 2015-05-08 2016-11-17 ソニー株式会社 画像処理装置および方法
WO2018167999A1 (ja) * 2017-03-17 2018-09-20 パナソニックＩｐマネジメント株式会社 プロジェクタ及びプロジェクタシステム
WO2019039296A1 (ja) * 2017-08-23 2019-02-28 ソニー株式会社 映像処理装置、映像処理方法、プログラム、および遠隔コミュニケーションシステム
AU2019232894B2 (en) * 2018-06-07 2020-04-30 Boris Pavic A system and methodology for the high-fidelity display of artwork images
JP7123736B2 (ja) * 2018-10-23 2022-08-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US11043015B2 (en) * 2019-08-12 2021-06-22 Adobe Inc. Generating reflections within images
US11837146B2 (en) * 2022-01-19 2023-12-05 Dell Products L.P. Method and system of diffuse and specular reflection correction of display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333438A (ja) * 2000-05-23 2001-11-30 Nippon Hoso Kyokai <Nhk> 立体表示装置
CN101470215A (zh) * 2007-12-26 2009-07-01 索尼株式会社 反射特性控制层和显示设备
CN103517015A (zh) * 2012-06-14 2014-01-15 索尼公司 显示单元、图像处理单元和显示方法
CN103635955A (zh) * 2011-02-25 2014-03-12 亚马逊技术公司 多显示器型装置交互
CN104159023A (zh) * 2013-05-14 2014-11-19 索尼公司 图像处理装置及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1494476A1 (en) * 1994-09-09 2005-01-05 Canon Kabushiki Kaisha Image processing method and apparatus
CN1328613C (zh) 1998-02-20 2007-07-25 纯深有限公司 使用多层图像的显示器
JP2000090233A (ja) * 1998-09-08 2000-03-31 Olympus Optical Co Ltd 画像処理装置
JP2003348501A (ja) * 2002-05-23 2003-12-05 Olympus Optical Co Ltd 画像表示装置
KR100740879B1 (ko) * 2004-11-16 2007-07-19 한국전자통신연구원 영상을 이용한 실존 물체 이미지 재현 시스템 및 그 방법
EP2393061B1 (en) 2009-01-27 2016-09-07 Nec Corporation Color image processing method, color image processing device and recording medium
JP5639384B2 (ja) 2010-05-28 2014-12-10 株式会社Ｎｔｔドコモ 表示装置及びプログラム
JP5762015B2 (ja) * 2011-01-27 2015-08-12 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2013195537A (ja) 2012-03-16 2013-09-30 Japan Display West Co Ltd 表示装置、電子機器及び表示装置の制御方法
JP6040042B2 (ja) * 2013-02-12 2016-12-07 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラム
US10373344B2 (en) * 2014-04-23 2019-08-06 Sony Corporation Image processing apparatus and method for adjusting intensity of a reflective property of an object in a displayed image
WO2016181804A1 (ja) * 2015-05-08 2016-11-17 ソニー株式会社 画像処理装置および方法
CN107533757B (zh) * 2015-05-22 2022-06-07 索尼公司 处理图像的装置和方法
JP7027807B2 (ja) * 2017-10-30 2022-03-02 富士フイルムビジネスイノベーション株式会社 表示装置、スキャナ、表示システム及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001333438A (ja) * 2000-05-23 2001-11-30 Nippon Hoso Kyokai <Nhk> 立体表示装置
CN101470215A (zh) * 2007-12-26 2009-07-01 索尼株式会社 反射特性控制层和显示设备
CN103635955A (zh) * 2011-02-25 2014-03-12 亚马逊技术公司 多显示器型装置交互
CN103517015A (zh) * 2012-06-14 2014-01-15 索尼公司 显示单元、图像处理单元和显示方法
CN104159023A (zh) * 2013-05-14 2014-11-19 索尼公司 图像处理装置及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113632449A (zh) * 2019-03-29 2021-11-09 索尼集团公司 图像处理装置、图像处理方法、程序和成像装置

Also Published As

Publication number Publication date
CN107960150B (zh) 2021-05-11
JPWO2016181804A1 (ja) 2018-03-08
US20180144446A1 (en) 2018-05-24
US10636125B2 (en) 2020-04-28
WO2016181804A1 (ja) 2016-11-17

Similar Documents

Publication Publication Date Title
CN107960150A (zh) 图像处理装置和方法
Kruijff et al. Perceptual issues in augmented reality revisited
CN105051792B (zh) 用于使用深度映射和光源合成增强3d图像的设备
CN102783132B (zh) 用于定义颜色状态的装置和方法
Masia et al. Display adaptive 3D content remapping
US20110273466A1 (en) View-dependent rendering system with intuitive mixed reality
US20110273369A1 (en) Adjustment of imaging property in view-dependent rendering
CN103503030B (zh) 通过进行图像处理来决定位于现实空间中的对象物的进深的图像处理装置、立体视觉装置、集成电路
CN102156624A (zh) 用于显示系统的图像非意愿光污染的基于感知的补偿
US20110273731A1 (en) Printer with attention based image customization
JP2010510573A (ja) ３次元画像を合成するシステム及び方法
US20170332009A1 (en) Devices, systems, and methods for a virtual reality camera simulator
CN104159023B (zh) 图像处理装置、图像处理方法以及计算机可读介质
US10373344B2 (en) Image processing apparatus and method for adjusting intensity of a reflective property of an object in a displayed image
CN109478316A (zh) 实时自适应阴影和高光增强
KR101731113B1 (ko) 2ｄ-3ｄ 영상 변환 방법 및 이를 이용한 입체 영상 표시장치
Le et al. Study of naturalness in tone-mapped images
CN116661143A (zh) 图像处理装置、图像处理方法及存储介质
WO2023183713A1 (en) Systems and methods for defining, bonding, and editing point cloud data points with primitives
Shim Faces as light probes for relighting
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
CN116189259A (zh) 脸部图像的生成方法、装置、电子设备及存储介质
US20230368340A1 (en) Gating of Contextual Attention and Convolutional Features
Medina et al. Objective colorimetric validation of perceptually realistic rendering: a study of paint coating materials
KR102677114B1 (ko) 인카메라 시각 효과 기반의 실제 환경과 가상 환경의 조명 매칭 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210511