CN111034185A - 视频处理装置、视频处理方法、程序和远程通信系统 - Google Patents

视频处理装置、视频处理方法、程序和远程通信系统 Download PDF

Info

Publication number
CN111034185A
CN111034185A CN201880053001.9A CN201880053001A CN111034185A CN 111034185 A CN111034185 A CN 111034185A CN 201880053001 A CN201880053001 A CN 201880053001A CN 111034185 A CN111034185 A CN 111034185A
Authority
CN
China
Prior art keywords
base station
image
color
color correction
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880053001.9A
Other languages
English (en)
Other versions
CN111034185B (zh
Inventor
宫本浩平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111034185A publication Critical patent/CN111034185A/zh
Application granted granted Critical
Publication of CN111034185B publication Critical patent/CN111034185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开内容涉及使得可以提供更好的用户体验的视频处理装置、视频处理方法、程序和远程通信系统。区域划分单元将其他站点的视频划分成多个区域。估计单元对其他站点的整体视频以及对其他站点的视频的每个区域执行视频分析，并且估计在其他站点的视频被捕获时的照明环境。颜色校正单元根据主站点的光源颜色对具有与照明环境对应的光源颜色的其他站点的视频的颜色进行校正。本技术可以应用于例如使用在其他站点与主站点之间接收和发送的视频的远程通信系统中。

Description

视频处理装置、视频处理方法、程序和远程通信系统
技术领域
本公开内容涉及影像处理装置、影像处理方法、程序和远程通信系统，并且具体地涉及使得可以提供更令人满意的用户体验的影像处理装置、影像处理方法、程序和远程通信系统。
背景技术
开发了一种远程通信系统，该远程通信系统使得各自存在于远程位置处的用户能够仿佛用户彼此面对一样地彼此通信。这样的远程通信系统通过使用使每个用户感觉像是处在同一空间中的影像(例如，通过使用看起来仿佛一个用户一侧的光也照射对方一侧的影像)，使得可以提供产生更高的临场感的令人满意的用户体验。这使得可以提供产生更高的临场感的令人满意的用户体验。
例如，专利文献1公开了一种色调调节设备，该色调调节设备基于使用校准板对光源颜色进行的预先估计的结果来执行颜色校正，并且基于使用由用户指定的帧(一个或更多个帧)中的影像对光源颜色的估计的结果来执行颜色校正。
引用列表
专利文献
专利文献1：日本未审查专利申请公布第2011-165091号
发明内容
本发明要解决的问题
然而，在前述专利文献1中公开的颜色校正中，影像的色调可能取决于预先估计的结果、用户指定等而变得不自然，这可能导致临场感的劣化。存在使用这种影像的远程通信系统无法提供令人满意的用户体验的可能性。
鉴于这种情况而构思的本公开内容使得可以提供更令人满意的用户体验。
解决问题的手段
根据本公开内容的实施方式的影像处理装置包括：区域分割部，其在使用在自身基站与其他基站之间接收和发送的影像的远程通信中，将其他基站处的影像分割成多个区域；估计部，其通过对其他基站处的整体影像以及对其他基站处的多个区域中的每一个执行影像分析来估计其中捕获了其他基站处的影像的照明环境；以及颜色校正部，其根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。
本公开内容的实施方式中的影像处理方法用于影像处理装置中，该影像处理装置在使用在自身基站与其他基站之间接收和发送的影像的远程通信中处理其他基站处的影像。该影像处理方法包括：将其他基站处的影像分割成多个区域；通过对其他基站处的整体影像以及对其他基站处的影像中的多个区域中的每一个执行影像分析来估计其中捕获了其他基站处的影像的照明环境；以及根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。
本公开内容的实施方式中的程序使影像处理装置中的计算机执行影像处理。影像处理装置在使用在自身基站与其他基站之间接收和发送的影像的远程通信中处理其他基站处的影像。影像处理包括：将其他基站处的影像分割成多个区域；通过对其他基站处的整体影像以及对其他基站处的影像中的多个区域中的每一个执行影像分析来估计其中捕获了其他基站处的影像的照明环境；以及根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。
本公开内容的实施方式中的远程通信系统通过经由网络耦接至包括接收-发送部和颜色校正部的影像处理装置来配置。接收-发送部在自身基站与另一基站之间接收和发送影像。颜色校正部对具有与捕获了其他基站处的影像的照明环境对应的光源颜色的其他基站处的影像执行颜色校正。通过下述方法来估计照明环境：将在使用接收和发送的影像的远程通信中的其他基站处的影像分割成多个区域，然后对其他基站处的影像整体以及对其他基站处的影像中的多个区域中的每一个执行影像分析。
在本公开内容的实施方式中，将其他基站处的影像分割成多个区域，并且通过对其他基站处的整体影像以及其他基站处的影像中的多个区域中的每一个执行影像分析来估计捕获了其他基站处的影像的照明环境，并且根据自身基站处的光源颜色对具有与照明环境对应的光源颜色的其他基站处的影像执行颜色校正。
本发明的效果
根据本公开内容的实施方式，可以提供更令人满意的用户体验。
应当要注意的是，这里描述的效果不一定是限制性的，而可以是在本公开内容中描述的任何效果。
附图说明
图1是示出应用本技术的远程通信系统的实施方式的配置示例的框图。
图2是描述响应于光源颜色的变化的颜色校正的图。
图3是示出通信处理部的第一配置示例的框图。
图4是描述通信处理部中的处理的概况的图。
图5是描述使用深度信息的颜色校正的图。
图6是示出深度信息和人物遮挡信息的示例的图。
图7是示出使用色调来确定光源颜色的差异的算法的示例的图。
图8是描述在估计白色点中使用的权重值的大小的图。
图9是描述当在另一基站处设置各自具有不同的光源颜色的两个光源时的颜色校正的示例的图。
图10是描述当在自身基站处设置各自具有不同的光源颜色的两个光源时的颜色校正的示例的图。
图11是描述当在自身基站和另一基站中的每一个处设置各自具有不同的光源颜色的两个光源时的颜色校正的示例的图。
图12是描述当在自身基站处左右布置各自具有不同光源颜色的两个光源时的颜色校正的示例的图。
图13是描述当在自身基站和另一基站中的每一个处左右布置各自具有不同光源颜色的两个光源时的颜色校正的示例的图。
图14是描述使用深度信息对每一层执行的颜色校正的示例的图。
图15是描述使用α混合来控制颜色校正量的方法的图。
图16是描述远程通信处理的流程图。
图17是描述光源估计处理的流程图。
图18是描述权重计算处理的流程图。
图19是示出与色度相关的标准值的图。
图20是描述颜色校正处理的流程图。
图21是示出通信处理部的第二配置示例的框图。
图22是示出通信处理部的第三配置示例的框图。
图23是示出应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
在下文中，参照附图描述应用本技术的特定实施方式。
<远程通信系统的配置示例>
图1是示出应用本技术的远程通信系统的实施方式的配置示例的框图。
如图1所示，远程通信系统11是通过经由诸如因特网的网络12将各自位于远程位置的通信终端13A和13B耦接至该远程通信系统11来配置的。
例如，在远程通信系统11中，通信终端13A和13B经由网络12彼此耦接，从而使得能够实时地相互接收和发送影像和声音。这使得通信终端13A侧的用户A和通信终端13B侧的用户B能够像用户彼此面对那样彼此进行交谈，从而使得能够进行更真实的通信。
要注意的是，通信终端13A和13B均具有类似的配置，并且在不必将通信终端13A和13B彼此区分的情况下，将通信终端13A和13B简称为通信终端13，并且同样地称呼通信终端13A和13B中所包括的每个部分。另外，在下文中，在通信终端13中执行的通信处理中，仅描述影像相关处理，而省略声音相关处理的描述。
另外，通信终端13侧的用户(例如，相对于通信终端13A的用户A或者相对于通信终端13B的用户B)被称为自身基站处的用户。然后，作为用户的通信对方的用户(例如，相对于通信终端13A的用户B，或者相对于通信终端13B的用户A)被称为另一基站处的用户。
因此，远程通信系统11通过直接耦接至少两个或更多个基站来配置，并且能够通过通信终端13提供远程通信。例如，每个通信终端13具有下述功能：在自身基站处将影像发送到其他基站并且接收从其他基站发送的影像，并且对影像执行影像处理并且显示该影像。要注意的是，远程通信系统11可以具有稍后描述的如图22所示的其中其他基站和自身基站经由服务器14间接地彼此耦接的配置。
通信终端13包括RGB传感器21、深度传感器22、显示设备23和通信处理部24。
RGB传感器21例如包括捕获显示设备23的前部区域的影像的成像元件。例如，RGB传感器21向通信处理部24提供通过捕获用户在自身基站处的影像而获得的RGB影像信号。
深度传感器22例如包括TOF(飞行时间)传感器，TOF传感器向成像范围(其中由RGB传感器21捕获影像)发射脉冲红外线，并且基于从红外线在对象处反射时到红外线返回时的时间来测量距离。另外，深度传感器22向通信处理部24提供指示从深度传感器22到对象的距离的深度信号。
显示设备23例如包括诸如液晶面板或有机EL(电致发光)面板的显示装置，并且根据从通信处理部24提供的影像信号来显示例如包括在其他基站处的用户的影像。
通信处理部24执行进行通信所需的各种类型的处理，诸如经由网络12执行通信的通信处理或者使得用户能够执行令人满意的相互通信的影像处理。例如，通信处理部24能够执行影像处理，该影像处理根据与自身基站处的照明环境对应的光源颜色来校正在与其他基站处的照明环境对应的光源颜色下捕获了的其他基站处的影像。
图1所示的示例假定：照射设置有通信终端13A的房间的照明装置31A的光源颜色是暖色，而照射设置有通信终端13B的房间的照明装置31B的光源颜色是冷色。因此，在每个基站处设置不同光源颜色的情况下，通信处理部24能够基于对自身基站和其他基站中的每一个处的影像执行的影像分析的结果，对要在显示设备23中显示的影像执行颜色校正。
换言之，从通信终端13B向通信终端13A发送在用具有冷色的光照射的照明环境下捕获的用户B的影像。此时，由于照明装置31A的光源颜色是暖色，所以使得通信处理部24A能够对影像执行颜色校正，以使影像被显示为暖色。同样地，从通信终端13A向通信终端13B发送在用具有暖色的光照射的照明环境下捕获的用户A的影像。此时，由于照明装置31B的光源颜色是冷色，所以使得通信处理部24B能够对影像执行颜色校正，以使影像被显示为冷色。
因此，在通信终端13A中，显示设备23A显示对其执行了向暖色的颜色校正的影像，并且用户A在由照明装置31A用具有暖色的光照射的照明环境下观看该影像。同样，在通信终端13B中，显示设备23B显示对其执行了向冷色的颜色校正的影像，并且用户B在由照明装置31B用具有冷色的光照射的照明环境下观看该影像。
因此，通信终端13A使得可以在显示设备23A中显示具有相似的颜色类型的影像，仿佛用户B也被来自照明装置31A的光照射，从而使得用户A能够执行产生更高临场感的远程通信。同样地，通信终端13B使得可以在显示设备23B中显示具有相同的颜色类型的影像，仿佛用户A也被来自照明装置31B的光照射，从而使得用户B能够执行产生更高临场感的远程通信。这使得远程通信系统11能够提供更令人满意的用户体验。
另外，在远程通信系统11中，例如，通信处理部24能够响应于自身基站或其他基站处的光的颜色的变化，来改变对要在显示设备23中显示的影像的颜色校正。
例如，在图2所示的示例中，从通信终端13B向通信终端13A发送在用具有冷色的光照射的照明环境下捕获的用户B的影像，并且照明装置31A的光源颜色从暖色变化成冷色。在这种情况下，响应于照明装置31A的光源颜色的变化，通信处理部24A停止通信处理部24A执行了的将用户B的影像转换成暖色的颜色校正，并且使显示设备23A不变地显示在用具有冷色的光照射的照明环境中捕获的用户B的影像。
同样，在通信终端13B中，响应于照明装置31A的光源颜色的变化，在用具有暖色的光照射的照明环境下捕获了的用户A的影像变化为在用具有冷色的光照射的照明环境下捕获了的用户A的影像。在这种情况下，响应于照明装置31A的光源颜色的变化，通信终端13B停止执行通信终端13B执行了的将用户A的影像转换成冷色的颜色校正，并且使显示设备23B显示在用具有冷色的光照射的照明环境下捕获的用户A的影像。
因此，在远程通信系统11中，基于对在自身基站和其他基站中的每一个处的影像的影像分析来执行颜色校正。因此，在光源颜色变化的情况下，这使得可以根据变化后的光源颜色来改变颜色校正。因此，例如，根据预先估计的结果、用户指定等执行颜色校正的系统无法对应于这种光源颜色的变化，这导致以下设想：影像的色调可能变得不自然并且可能破坏临场感。相比之下，远程通信系统11使得能够以帧为单位执行颜色校正，如稍后所述。因此，响应于光源颜色的变化来执行颜色校正使得可以防止影像的色调变得不自然，从而使得可以提供产生临场感的令人满意的用户体验。
图3是示出通信处理部24的第一配置示例的框图。
如图3所示，通信处理部24包括数据接收部41、数据扩展部42、影像获取部43、深度信息获取部44、控制部45、分割部46、白色点估计部47、颜色校正部48、颜色校正信息累积部49、颜色校正变化控制部50、影像输出部51、数据压缩部52和数据发送部53。
数据接收部41经由图1中的网络12接收从其他基站处的通信终端13发送的数据，并且将数据提供给数据扩展部42。例如，数据接收部41获得从其他基站处的RGB传感器21捕获的影像获得并且然后由其他基站处的RGB传感器21输出的RGB影像信号以及从其他基站处的深度传感器22测量的影像的成像范围获得并且然后由其他基站处的深度传感器22输出的深度信号。要注意的是，在其他基站处的通信终端13不包括深度传感器22的情况下，数据接收部41仅接收RGB影像信号，并且通信处理部24不使用任何深度信号执行影像处理，从而基于影像来分离人物和背景。
例如，数据扩展部42执行数据处理，该数据处理通过解压缩来扩展在经由网络12执行通信时被压缩和发送的数据。然后，数据扩展部42向影像获取部43提供从数据接收部41提供的其他基站处的RGB影像信号，并且向深度信息获取部44提供从数据接收部41提供的其他基站处的深度信号。
影像获取部43基于从图1中的RGB传感器21提供的自身基站处的RGB影像信号，获得在自身基站处捕获的影像，并且将自身基站处的影像提供给分割部46，同时将自身基站处的RGB影像信号提供给数据压缩部52。另外，影像获取部43基于从数据扩展部42提供的其他基站处的RGB影像信号来获得影像，并且将其他基站处的影像提供给分割部46。
深度信息获取部44基于从图1中的深度传感器22提供的自身基站处的深度信号，获得自身基站处的成像范围内的深度信息，并将自身基站处的深度信息提供给分割部46，同时将自身基站处的深度信号提供给数据压缩部52。另外，影像获取部43基于从数据扩展部42提供的其他基站处的深度信号来获得深度信息，并且将其他基站处的深度信息提供给分割部46。
例如，控制部45响应于用户对未示出的控制装置执行的操作而被提供控制信号，并且根据该控制信号执行对白色点估计部47和颜色校正部48的控制。
例如，如后所述，在白色点估计部47将影像分离成预定数目的层时，用户能够经由控制部45将层指定信息输入到白色点估计部47，从而使得用户可以手动执行层分离。另外，如后所述，颜色校正部48执行对校正量、校正方法等的控制，但是用户能够经由控制部45将校正量输入值输入到白色点估计部47，从而使得能够手动地设置校正量、校正方法等。此外，用户能够经由控制部45相对于白色点估计部47调节在后述的图18中的权重计算处理中计算权重时使用的每个元素。
分割部46执行分割，该分割基于从影像获取部43提供的自身基站处的影像以及从深度信息获取部44提供的自身基站处的深度信息将自身基站处的影像分割成多个片段(区域)。例如，对于诸如墙壁或天花板的各种对象中的每一个，分割部46基于其特征，将影像分割成包括各个对象的区域。例如，分割部46能够使用诸如均值偏移方法的现有方法来执行分割，该方法以每个像素为基础基于与邻近像素在亮度、颜色等方面的相似性，对属于相同区域的像素进行分类。
然后，分割部46将指定由对自身基站处的影像执行分离而得到的多个区域的区域信息连同自身基站处的影像和深度信息一起提供给白色点估计部47。同样，分割部46执行将其他基站处的影像分割成多个区域的分割，并且将其他基站处的影像、其他基站处的深度信息和其他基站处的区域信息提供给白色点估计部47。
白色点估计部47基于自身基站处的区域信息和深度信息，通过对自身基站处的整体影像和自身基站处的影像中的多个区域中的每个区域执行影像分析来估计白色点，从而估计捕获了自身基站处的影像的照明环境。同样，白色点估计部47基于其他基站处的区域信息和深度信息，通过对其他基站处的整体影像和其他基站处的影像中的多个区域中的每个区域执行影像分析来估计白色点，从而估计捕获了其他基站处的影像的照明环境。
颜色校正部48执行颜色校正处理，该颜色校正处理根据与由白色点估计部47估计的自身基站处的照明环境对应的光源颜色来校正用与其他基站处的照明环境对应的光源颜色捕获了的其他基站处的影像的颜色。例如，如参照图1所描述的，在自身基站处的光源颜色是暖色而以冷光源色捕获其他基站处的影像的情况下，颜色校正部48使用导致从冷色变为暖色的颜色校正量，对其他基站处的影像执行颜色校正处理。然后，颜色校正部48向影像输出部51提供对其执行了颜色校正处理的其他基站处的影像，同时向颜色校正信息累积部49提供在校正其他基站处的影像的颜色时使用的颜色校正量。另外，例如，颜色校正部48能够以帧为单位对其他基站处的影像执行这种颜色校正处理，以使得可以响应于如已经参照图2描述的光源颜色的变化。
颜色校正信息累积部49以其他基站处的影像的帧为单位累积用于每一帧的颜色校正量作为颜色校正信息。
颜色校正变化控制部50参照在颜色校正信息累积部49中累积的颜色校正信息，对颜色校正部48在执行颜色校正处理时使用的颜色校正量进行控制，以防止导致用于校正影像的颜色的颜色校正量在时间方向上扩散的变化。
影像输出部51输出RGB影像信号，该RGB影像信号用于使图1中的显示设备23显示由颜色校正部48执行了颜色校正处理的其他基站处的影像。
数据压缩部52执行对从影像获取部43提供的自身基站处的RGB影像信号以及从深度信息获取部44提供的自身基站处的深度信号进行压缩以经由网络12发送的数据处理，并且将经压缩的数据提供给数据发送部53。
数据发送部53经由网络12将从数据压缩部52提供的经压缩的自身基站处的RGB影像信号和深度信号发送到其他基站处的通信终端13。
通信处理部24被如上所述地配置，并且能够使用自身基站处的影像和深度信息以及其他基站处的影像和深度信息执行影像分析，并且根据自身基站处的光源颜色对其他基站处的影像执行颜色校正处理。
换言之，如图4所示，在通信处理部24中，分割部46基于自身基站处的影像和深度信息以及其他基站处的影像和深度信息执行分割。如图4中的不同阴影图案所示，这使得自身基站处的影像和其他基站处的影像中的每一个被分割成多个区域。
此外，在通信处理部24中，在白色点估计部47中执行影像分析，从而在根据其他基站处的影像估计白色点的同时根据自身基站处的影像估计白色点，由此估计自身基站和其他基站中的每一个处的照明环境。然后，在通信处理部24中，根据自身基站处的光源颜色对其他基站处的影像执行颜色校正。
执行这样的影像处理使得通信处理部24能够将根据自身基站处的光源颜色执行了颜色校正的其他基站处的影像(即看起来仿佛自身基站处的光也照射其他基站的影像)显示在显示设备23中。这使得用户能够使用产生更高临场感的影像来执行远程通信。
另外，例如，通信处理部24使用深度信息使得可以对其他基站处的影像执行影像处理，以使自身基站处的光照射其他基站处的影像的前侧，同时防止自身基站处的光照射到远及其他基站处的影像的后侧。
换言之，如图5所示，在自身基站处的照明装置31的光源颜色是暖色并且在具有冷色的照明环境下捕获其他基站处的影像的情况下，首先，统一地校正其他基站处的影像的颜色，使得可以在显示设备23中显示对其执行了向暖色的颜色校正的其他基站处的影像。此外，可以使用深度信息，通过将其他基站处的影像的前侧与后侧之间的颜色校正量改变成针对前侧的颜色校正量较大而针对后侧的颜色校正量较小，来调节颜色校正量。这使得可以在显示设备23中显示对其执行了颜色校正以在前侧具有暖色而朝后侧具有冷色的其他基站处的影像。
执行这种影像处理使得用户能够具有增强的连接感，就仿佛用户的房间与对方侧的房间无缝连接一样，从而使得可以执行产生更高的临场感的远程通信。
这里，描述由白色点估计部47执行的用来估计白色点的处理。
例如，白色点估计部47针对由分割部46分类的每个区域计算权重值w(w＝0.0至1.0)。然后，白色点估计部47通过将多个区域的每个权重值w乘以区域中的对应区域的颜色的平均值avg(c(R,G,B))或最大值max(c(R,G,B))来估计整体影像中的白色点。
例如，在分割部46将影像分割成分割区域数n个区域时，使用第i个区域的权重值wi和第i个区域的颜色的平均值avg(c(R,G,B))i或最大值max(c(R,G,B))i，通过以下表达式(1)或表达式(2)来估计白色点c(R,G,B)WP。
[表达式1]
Figure BDA0002384305260000111
[表达式2]
Figure BDA0002384305260000112
例如，在捕获影像的环境中存在一个光源的情况下，由表达式(1)或表达式(2)计算出的值表示光源颜色的估计白色点。
此外，白色点估计部47基于从深度信息获取部44提供的深度信息将影像分离成预定数目的层(例如，包括前景层(foreground layer)、中景层(mid-ground layer)和背景层的三层)，并且以与上述方式类似的方式估计每一层的白色点。另外，白色点估计部47可以基于人物遮挡信息将影像分离成预定数目的层。例如，如图6的A所示，深度信息表示在捕获影像的成像范围中的深度，并且例如被表示为与影像的深度对应的灰度影像。另外，如图6的B所示，人物遮挡信息遮挡影像中包括的人(对象)，并且例如被表示为以下影像：其中以白色表示从其检测到人的区域而以黑色表示另外的区域。
然后，在针对每一层估计的白色点与针对整体影像估计的白色点之间的间隙小于参考值并且白色点几乎彼此匹配的情况下，白色点估计部47确定在影像中存在一个光源。然而，在针对每一层估计的白色点与针对整体影像估计的白色点之间的间隙大于参考值并且白色点彼此不匹配的情况下，白色点估计部47确定与每个层对应存在一个光源。
这里，例如，可以通过计算由如图7所示的色调(Hue)的单位矢量形成的角度的大小等来计算白色点之间的间隙的大小。
另外，作为将影像分离成层的方法，除了使用深度信息将影像分离成前侧和后侧之外，还可以使用将影像分离成右侧和左侧的方法或者将影像分离成上侧和下侧的方法。替选地，可以将这些方法进行组合来分离层。要注意的是，层的数目不受限制，并且层的最大数目是像素分辨率。例如，在影像具有1920×1080的像素尺寸的情况下，可以将影像分离成最小为一层至最大为2073600层。
同时，在被估计为包括与光源颜色有关的大量信息的区域中，需要设定更大的权重值。另外，假设在房间中执行远程通信。因此，基于如图8所示的假设，关于其中使用白色材料(换言之，直接反射光源颜色的材料)的区域，诸如房间中的墙壁或天花板、房间中通常使用的光源颜色(2700K至6500K)等，计算在估计白色点时使用的权重值的大小是有效的。
换言之，如图8所示，基于墙壁或天花板具有较小的高频分量的假设，对具有较小的高频分量的区域使用分配了较大权重的权重值。另外，基于墙壁或天花板具有大的区域尺寸的假设，对具有较大区域尺寸的区域使用分配了较大权重的权重值。另外，基于通常在房间中使用的光源经常为2700K至6500K的假设，对具有接近具有2700K至6500K色度的白光LED(发光二极管)的白色点的颜色的区域使用分配了较大权重的权重值。另外，基于具有接近白色的颜色的对象更容易反射光源颜色的假设，对具有接近D65的白色点的颜色的区域使用分配了较大权重的权重值。
如上所述，白色点估计部47能够执行估计白色点的处理。
接下来，描述由颜色校正部48执行的颜色校正处理。
例如，颜色校正部48能够根据自身基站和其他基站中的每一个处的照明环境(例如根据光源的数目、光源颜色的差异、光源的位置、深度信息等)来校正关于其他基站处的影像的颜色。参照图9至图14描述由颜色校正部48执行的这种颜色校正的示例。要注意的是，在图9至图14中，通信终端13A被描述为自身基站，而通信终端13B被描述为其他基站。
例如，如图9所示，自身基站处的照明环境仅包括具有暖光源颜色的照明装置31A，而其他基站处的照明环境包括具有冷光源颜色并照射整个房间的照明装置31B，并且用户B被具有暖光源颜色的照明装置32B照射。在这种情况下，从通信终端13B向通信终端13A发送在具有冷色的背景中用具有暖色的光照射用户B的照明环境下捕获的影像。
颜色校正部48A能够对这样的影像针对每个层执行颜色校正，以使影像具有与照明装置31A的光源颜色一致的暖色。例如，颜色校正部48A不对具有暖光源颜色的前景中的层(用户B)校正颜色，而对具有冷光源颜色的背景中的层将颜色校正为暖色。
这使得通信终端13A能够将前景和背景的颜色已被校正为暖色的用户B的影像显示在显示设备23A中。因此，这使得用户A能够使用以下影像来执行产生临场感的远程通信：该影像看起来仿佛具有暖光源颜色的照明装置31A正在照射远至显示设备23A中显示的影像的内部。
另外，如图10所示，假设在自身基站处的照明环境中，在后侧使用具有暖光源颜色的照明装置31A，在前侧使用具有冷光源颜色的照明装置32A，而在其他基站处的照明环境中，仅使用具有暖光源颜色的照明装置32B。在这种情况下，从通信终端13B向通信终端13A发送在看起来仿佛背景和用户B被具有暖色的光照射的照明环境下捕获的影像。
颜色校正部48A能够对这样的影像统一地执行颜色校正，以使影像具有与前侧的照明装置32A的光源颜色一致的冷色。换言之，颜色校正部48A将整体上具有暖光源颜色的影像的颜色校正为冷色。
这使得通信终端13A能够将整体影像的颜色已被校正为冷色的用户B的影像显示在显示设备23A中。因此，这使得用户A能够使用以下影像来执行产生临场感的远程通信：该影像看起来仿佛在前侧具有冷光源颜色的照明装置32A正在照射远至显示设备23A中显示的影像的内部。
另外，如图11所示，假设在自身基站处的照明环境中，在后侧使用具有暖光源颜色的照明装置31A，而在前侧使用具有冷光源颜色的照明装置32A。另外，假设在其他基站处的照明环境中，在后侧使用具有冷光源颜色的照明装置31B，而在前侧使用具有暖光源颜色的照明装置32B。在这种情况下，从通信终端13B向通信终端13A发送在看起来仿佛在具有冷色的背景中用具有暖色的光照射用户B的照明环境下捕获的影像。
颜色校正部48A能够对这样的影像针对每一层执行颜色校正，以使得影像具有与前侧的照明装置32A的光源颜色一致的冷色。例如，颜色校正部48A将具有暖光源颜色的前景(用户B)中的层的颜色校正为冷色，并且不对具有冷光源颜色的背景中的层校正颜色。
这使得通信终端13A能够将前景和背景的颜色已被校正为冷色的用户B的影像显示在显示设备23A中。因此，这使得用户A能够使用以下影像来执行产生临场感的远程通信：该影像看起来仿佛在前侧具有冷光源颜色的照明装置32A正在照射远至显示设备23A中显示的影像的内部。
此外，如图12所示，假设在自身基站处的照明环境中，在左侧使用具有冷光源颜色的照明装置32A-1，而在右侧使用具有暖光源颜色的照明装置32A-2。此外，假设在其他基站处的照明环境中，具有暖光源颜色的照明装置31B照射并排站立的两个用户。在这种情况下，从通信终端13B向通信终端13A发送在看起来仿佛两个用户被具有暖色的光照射的照明环境下捕获的影像。
颜色校正部48A根据照明装置32A-1和照明装置32A-2中的每一个的位置对这种影像执行颜色校正，以使影像在左侧具有与照明装置32A-1的光源颜色一致的冷色，同时使影像在右侧具有与照明装置32A-2的光源颜色一致的暖色。例如，颜色校正部48A将针对左侧包括的用户的颜色校正为冷色，并且将针对右侧包括的用户的颜色校正为暖色。
这使得通信终端13A能够在显示设备23A中显示根据照明装置32A-1的位置而被校正成具有冷色并且根据照明装置32A-2的位置而被校正成具有暖色的影像。因此，这使得用户A能够使用以下影像来执行产生临场感的远程通信：该影像看起来仿佛照明装置32A-1和照明装置32A-2中的每一个都照射到远及显示在显示设备23A中的影像的内部。
此外，如图13所示，假设在自身基站处的照明环境中，在左侧使用具有冷光源颜色的照明装置32A-1，而在右侧使用具有暖光源颜色的照明装置32A-2。此外，假设在其他基站处的照明环境中，在右侧使用具有暖光源颜色的照明装置31B-1，而在左侧使用具有冷光源颜色的照明装置31B-2，照明装置31B-1和照明装置31B-2中的每一个都照射并排站立的两个用户。在这种情况下，从通信终端13B向通信终端13A发送在看起来仿佛右侧用户被具有暖色的光照射而左侧用户被具有冷色的光照射的照明环境下捕获的两个用户的影像。
颜色校正部48A能够根据照明装置32A-1和照明装置32A-2中的每一个的位置对这种影像执行颜色校正，以使影像在左侧具有与照明装置32A-1的光源颜色一致的冷色，同时使影像在右侧具有与照明装置32A-2的光源颜色一致的暖色。例如，颜色校正部48A能够将针对左侧包括的用户的颜色校正为冷色，并且将针对右侧包括的用户的颜色校正为暖色。
这使得通信终端13A能够在显示设备23A中显示根据照明装置32A-1的位置而被校正成具有冷色并且根据照明装置32A-2的位置而被校正成具有暖色的影像。因此，这使得用户A能够使用以下影像来执行产生临场感的远程通信：该影像看起来仿佛照明装置32A-1和照明装置32A-2中的每一个都照射到远及显示在显示设备23A中的影像的内部。
另外，如图14所示，假设在自身基站处的照明环境中，仅使用具有暖光源颜色的照明装置31A，而在其他基站处的照明环境中，仅使用具有冷光源颜色的照明装置31B。在这种情况下，连同深度信息一起从通信终端13B向通信终端13A发送在看起来仿佛具有冷色的光正在照射背景和用户B的照明环境下捕获的影像。
颜色校正部48A能够基于深度信息根据深度对这种影像执行颜色校正，以使影像仅在前侧具有与照明装置31A的光源颜色一致的暖色。换言之，颜色校正部48A将位于前侧的用户B的颜色校正为暖色，而不校正后侧的背景的颜色。
这使得通信终端13A能够在显示设备23A中显示基于深度信息而仅将前侧校正为暖色的影像。因此，这使得用户A能够使用看起来仿佛照明装置31A正在照射在显示设备23A中显示的影像中的前侧的用户B的影像来执行产生临场感的远程通信。
此时，例如，颜色校正部48A使得可以执行从前侧朝向后侧降低照明装置31A的影响的颜色校正，即，执行调节以设置用于颜色校正的较小的颜色校正量。
例如，除了基于深度信息在前景与背景之间进行分离并且仅对前景执行颜色校正之外，颜色校正部48A还能够通过例如根据与前景的距离减少校正量的调节来执行颜色校正。
换言之，颜色校正部48A将具有以下深度信息的区域完全替换为照明装置31A的光源颜色：该深度信息指示0作为受照明装置31A影响最大的状态。然后，颜色校正部48A能够执行调节以根据光衰减率将校正量减小到距光源的距离的平方的倒数。例如，可以使用校正量比率α和深度d，根据下面的表达式(3)来执行对校正量的这种调节。要注意的是，在表达式(3)中，还可以根据用户的输入使用变量β来调节校正量。
[表达式3]
Figure BDA0002384305260000161
另外，对于实际的颜色校正处理，除了简单地在RGB颜色空间中执行颜色校正的方法之外，还可以使用计算接近人类感知的LMS颜色空间中的白色点的变换矩阵的方法。例如，表达式(4)表示变换公式，通过该变换公式，使用其他基站处的影像的RGB值作为输入，在LMS颜色空间中执行颜色转换，以对自身基站处的光源颜色执行校正，然后提供输出作为RGB颜色空间。要注意的是，对于表达式(4)中使用的矩阵MA，可以使用Bradford变换矩阵、Von Kries变换矩阵等。
[表达式4]
Figure BDA0002384305260000162
另外，作为调节要由颜色校正部48A使用的校正量的方法，可以采用根据下面的表达式(5)使用xy色度图中的校正量比率α来对经过校正的源白色点的xy坐标(xS,yS)和作为校正目标的目标白色点的xy坐标(xD,yD)简单地进行α混合的方法。
[表达式5]
Figure BDA0002384305260000163
因此，例如，如图15所示，通过将经过校正的源白色点和作为校正目标的目标白色点进行α混合而计算出的白色点(调节后的目标白色点)被用作校正后的白色点。
这种对校正量的控制(例如，比率α的设定等)或者对校正方法的控制(是否基于深度信息从其他基站处的影像的前侧朝向后侧减小自身基站处的光源的影响)可以由用户经由控制部45手动设定。
<远程通信处理的示例>
图16是描述在通信终端13中执行的远程通信处理的流程图。
在步骤S11中，当通信终端13被通电以激活执行远程通信的应用时，开始处理，以在通信终端13中执行建立与其他基站处的通信终端13的连接的处理。这使得数据接收部41和数据发送部53经由网络12与其他基站处的通信终端13接收和发送数据。
在步骤S12中，影像获取部43基于从RGB传感器21提供的自身基站处的RGB影像信号，获取在自身基站处捕获的影像。然后，影像获取部43将自身基站处的影像提供给分割部46，并且将自身基站处的RGB影像信号提供给数据压缩部52。
在步骤S13中，深度信息获取部44基于从深度传感器22提供的自身基站处的深度信号来获取自身基站处的成像范围中的深度信息。然后，深度信息获取部44将自身基站处的深度信息提供给分割部46，并且将自身基站处的深度信号提供给数据压缩部52。
在步骤S14中，分割部46和白色点估计部47各自对在步骤S12中由影像获取部43获得的自身基站处的影像执行影像分析，从而执行估计自身基站处的光源的光源估计处理(在后述的图17中)。
另外，与步骤S12至S14中的处理并行地执行步骤S15至S18中的处理。
在步骤S15中，数据接收部41接收从其他基站处的通信终端13发送的数据，并且将该数据提供给数据扩展部42。数据扩展部42扩展该数据，并且将其他基站处的RGB影像信号提供给影像获取部43，同时将其他基站处的深度信号提供给深度信息获取部44。
在步骤S16中，影像获取部43基于在步骤S15中从数据扩展部42提供的其他基站处的RGB影像信号来获取在其他基站处捕获的影像，并且将其他基站处的影像提供给分割部46。
在步骤S17中，深度信息获取部44基于在步骤S15中从数据扩展部42提供的其他基站处的深度信号，获取其他基站处的成像范围内的深度信息，并且将其他基站处的深度信息提供给分割部46。
在步骤S18中，分割部46和白色点估计部47各自对在步骤S16中由影像获取部43获得的其他基站处的影像执行影像分析，从而执行估计其他基站处的光源的光源估计处理(在后述的图17中)。
在步骤S14和S18中的处理之后，处理进行到步骤S19，并且颜色校正部48确认由用户经由控制部45输入的校正量输入值。
在步骤S20中，颜色校正部48执行颜色校正处理，该颜色校正处理根据自身基站处的光源颜色来校正其他基站处的影像的颜色(在后述的图20中)。
在步骤S21中，影像输出部51输出RGB影像信号，以使显示设备23显示在步骤S20中对其执行了颜色校正处理的其他基站处的影像。这使得显示设备23显示根据自身基站处的光源颜色校正了颜色的其他基站处的影像。
在步骤S22中，颜色校正部48向颜色校正信息累积部49提供在步骤S20中的颜色校正处理中使用的颜色校正量，并且颜色校正信息累积部49以帧为单位累积颜色校正量作为颜色校正信息。
在步骤S23中，颜色校正变化控制部50基于累积在颜色校正信息累积部49中的颜色校正信息，控制在对随后的帧执行的颜色校正处理(随后的步骤S20)中使用的颜色校正量。例如，颜色校正变化控制部50控制颜色校正量以防止引起影像的颜色在时间方向上扩散的变化。
在步骤S24中，数据压缩部52执行数据处理，该数据处理压缩在步骤S12从影像获取部43提供的自身基站处的RGB影像信号以及在步骤S13从深度信息获取部44提供的自身基站处的深度信号，并且将经压缩的数据提供给数据发送部53。然后，数据发送部53经由网络12将由数据压缩部52压缩的数据发送到其他基站处的通信终端13。
在步骤S25中，通信终端13确定是否结束通信，并且例如每个帧重复执行前述处理，直到确定结束通信。例如，当完成了结束执行远程通信的应用的操作时，在步骤S25中确定结束通信，并且在执行断开与其他基站处的通信终端13的连接的处理之后，结束远程通信处理。
如上所述，在通信终端13中，例如，每帧执行光源估计处理、颜色校正处理等。因此，即使在光源颜色变化或光源数目变化的情况下，也可以响应于这些变化来针对其他基站处的影像校正颜色。
图17是描述在图16的步骤S14和S18中执行的光源估计处理的流程图。要注意的是，对作为处理对象的自身基站处的影像执行步骤S14中的处理，并且对作为处理对象的其他基站处的影像执行步骤S18中的处理，但是每个处理的不同之处仅在于处理对象，但其具有相同的处理内容。
在步骤S31中，分割部46基于从影像获取部43提供的影像(步骤S12或S16)以及从深度信息获取部44提供的深度信息(步骤S13或S17)来执行影像的影像分割。然后，分割部46通过执行影像分割，获得指定通过对影像进行分割而得到的多个区域的区域信息，并且将区域信息连同影像和深度信息一起提供给白色点估计部47。
在步骤S32中，白色点估计部47执行权重计算处理(在后述的图18中)，该处理计算影像中的多个分割区域中的每一个的权重值。
在步骤S33中，白色点估计部47通过将在步骤S32中计算的每个区域的权重值乘以区域中的对应区域的颜色的平均值或最大值(前述表达式(1)或(表达式2))来估计整体影像中的白色点。
在步骤S34中，白色点估计部47确认由用户经由控制部45输入的层指定信息。
在步骤S35中，白色点估计部47根据在步骤S34中确认的层指定信息将影像分离成预定数目的层，并且将第一层设定为处理对象。
在步骤S36中，白色点估计部47通过将经过处理的层中包括的每个区域的权重值乘以区域中的对应区域的颜色的平均值或最大值(上述表达式(1)或(表达式2))来估计每层的白色点。
在步骤S37中，白色点估计部47确定是否估计了所有层的白色点。在步骤S37中，在确定还没有估计所有层的白色点的情况下，假设具有还没有估计的白色点的层是处理对象，处理返回到步骤S36，以估计每一层的白色点。然后，在步骤S37中，在确定已经确定所有层的白色点的情况下，处理进行到步骤S38。
在步骤S38中，白色点估计部47估计在其中捕获了影像的环境中的光源的数目。例如，在步骤S33中估计的整体影像中的白色点与在步骤S36中针对每层估计的白色点之间存在小间隙的情况下，白色点估计部47估计存在一个光源。然而，在步骤S33中估计的整体影像中的白色点与在步骤S36中针对每层估计的白色点之间存在大间隙的情况下，白色点估计部47估计对于具有大间隙的每个层存在多个光源。此时，白色点估计部47还能够估计光源颜色及其位置(诸如前景层或背景层)。
然后，白色点估计部47将光源估计处理中的估计结果通知给颜色校正部48，以完成步骤S38中的处理，并且光源估计处理结束。
如上所述，白色点估计部47估计每一层的白色点，因此使得可以估计这些光源，并且在存在多个光源的情况下，在颜色校正处理中反映该估计。
接下来，图18是描述在图17的步骤S32中执行的权重计算处理的流程图。
在步骤S41中，白色点估计部47将第一区域设定为处理对象。例如，对由分割部46分割的多个区域的每一个分配标识号，并且白色点估计部47将分配了第0个标识号的区域设定为处理对象。随后，并行执行步骤S42和S43中的处理、步骤S44至S46中的处理以及步骤S47至S51中的处理，此外，并行执行步骤S48和S50中的处理以及步骤S49和S51中的处理。
在步骤S42中，白色点估计部47计算经过处理的区域的边缘量比率。白色点估计部47能够基于通过Canny边缘检测方法(Canny边缘)计算的区域中的边缘信息来计算边缘量比率，Canny边缘检测方法是提取边缘的方法。例如，作为边缘量比率，可以使用通过以像素为单位对边缘内的边缘判断值求和并且将该和除以像素总数而获得的值。
在步骤S43中，基于具有较大量的边缘的区域包括较大高频分量的假设，根据在步骤S42中计算的边缘量比率edgeRate，白色点估计部47根据以下表达式(6)计算基于边缘量的权重值edgeWeight。例如，当边缘量比率edgeRate较小时，基于边缘量的权重值edgeWeight被计算为更接近1。要注意的是，在表达式(6)中使用的边缘因数edgeFactor是用户可以经由控制部45调节的值。
[表达式6]
edgeWeight＝pow(1.0-edgeRate，edgeFactor) …(6)
在步骤S44中，白色点估计部47计算经过处理的区域的大小相对于整体影像的比率。
在步骤S45中，根据在步骤S44中计算的区域比率sizeRate，白色点估计部47根据下面的表达式(7)计算基于区域尺寸的权重值sizeWeight。例如，当区域比例sizeRate较小时，基于区域尺寸的权重值sizeWeight被计算为更接近1。要注意的是，在表达式(7)中使用的尺寸因数sizeFactor是用户可以经由控制部45调节的值。
[表达式7]
sizeWeight＝pow(1.0-sizeRate，sizeFactor) …(7)
在步骤S46中，白色点估计部47针对经过处理的区域的RGB值，计算在前述表达式(1)中使用的平均值或者在前述表达式(2)中的最大值。
在步骤S47中，白色点估计部47将经过处理的区域的颜色从SRGB颜色空间转换到RGBLinear颜色空间，进一步转换到XYZ颜色空间，然后转换到xy色度图中的xy坐标。
在步骤S48中，白色点估计部47根据以下表达式(8)计算distFromWhiteLed，distFromWhiteLed是相对于表示经过处理的区域的颜色的xy坐标的、与白光LED(色度2700K到6500K)的普通矩形的距离。应当要注意的是，在计算该distFromWhiteLed时，可以使用与由ANSI C78.377定义的色度相关的标准值，如图19所示。
[表达式8]
Figure BDA0002384305260000211
在步骤S49中，白色点估计部47根据以下表达式(9)，针对表示经过处理的区域的颜色的xy坐标，计算与D65的距离distFromD65，该D65是由CIE(Commissioninternationale de l'eclairage,国际照明委员会)定义的标准光源。
[表达式9]
Figure BDA0002384305260000212
在步骤S50中，白色点估计部47根据下面的表达式(10)，基于在步骤S48中计算的距离distFromWhiteLed，计算白光LED权重值stdLedWeight。例如，当距离distFromWhiteLed较小时，白光LED权重值stdLedWeight被计算为更接近1的值。要注意的是，表达式(10)中使用的白光LED因数stdLedFactor可以由用户经由控制部45调节。
[表达式10]
stdLedWeight＝pow(1.0-distFromWhiteLed，stdLedFactor)
···(10)
在步骤S51中，白色点估计部47根据以下表达式(11)，基于在步骤S49中计算的距离DistFromD65，计算标准光源权重值whiteWeight。例如，当距离distFromD65较小时，标准光源权重值whiteWeight被计算为更接近1的值。要注意的是，在表达式(11)中使用的标准光源WhiteFactor是用户可以经由控制部45调节的值。
[表达式11]
whiteWeight＝pow(1.0-distFromD65，whiteFactor) ···(11)
然后，在步骤S43、步骤S46、步骤S50和步骤S51的处理之后，处理进行到步骤S52。在步骤S52中，白色点估计部47根据下述表达式(12)，基于在步骤S43中计算出的基于边缘量的权重值edgeWeigh、在步骤S45中计算出的基于区域尺寸的权重值sizeWeigh、在步骤S50中计算出的白光LED权重值stdLedWeigh以及在步骤S51中计算出的标准光源权重值whiteWeigh，计算经过处理的区域的最终权重值Weigh。
[表达式12]
Weight＝edgeWeight×sizeWeight×stdLedWeight×whiteWeight
···(12)
在步骤S53中，白色点估计部47确定是否所有区域都经过了处理，即，是否重复了处理直到区域标识号达到由分割部46分割的区域的分割区域数n。
在步骤S53中，在确定不是所有区域都经过处理的情况下，处理进行到步骤S54，以对作为处理对象的后续区域重复类似的处理(通过递增区域标识号)。
而在步骤S53中，在确定所有区域都经过了处理的情况下，权重计算处理结束。
接下来，图20是描述在图16的步骤S20中执行的颜色校正处理的流程图。
在步骤S61中，颜色校正部48在图16的步骤S14中的光源估计处理中的估计结果中确定是否已估计出在自身基站处存在一个光源。
在步骤S61中，在颜色校正部48确定已估计出在自身基站处存在一个光源的情况下，处理进行到步骤S62。在步骤S62中，颜色校正部48在图16的步骤S18中的光源估计处理中的估计结果中确定是否已估计出在其他基站处存在一个光源。
在步骤S62中，在颜色校正部48确定已估计出在其他基站处存在一个光源的情况下，处理进行到步骤S63。在步骤S63中，颜色校正部48执行颜色校正，以将其他基站处的影像统一地转换成与自身基站处的光源颜色一致的颜色。因此，例如，如已经参照图1描述的，将其他基站处的整体影像的颜色校正成看起来仿佛用自身基站处的光源照射影像。
然而，在步骤S62中，在颜色校正部48确定没有估计出在其他基站处存在一个光源的情况下，处理进行到步骤S64。换言之，在这种情况下，估计出在其他基站处存在多个光源，并且在步骤S64中，颜色校正部48针对每个层执行颜色校正，以将其他基站处的影像转换成与自身基站处的光源颜色一致的颜色。因此，例如，如参照图9所述，在其他基站处的影像中，具有与自身基站处的光源颜色不同的光源颜色的层的颜色被校正，以看起来仿佛影像是用自身基站处的光源照射的。
同时，在步骤S61中，在颜色校正部48确定没有估计出在自身基站处存在一个光源的情况下，即，在颜色校正部48确定估计出在自身基站处存在多个光源的情况下，处理进行到步骤S65。在步骤S65中，颜色校正部48在图16的步骤S14中的光源估计处理的估计结果中确定是否已估计出自身基站处的光源颜色在前侧与后侧之间不同。
在步骤S65中，在颜色校正部48估计出自身基站处的光源颜色在前侧与后侧之间不同的情况下，处理进行到步骤S66。在步骤S66中，颜色校正部48在图16的步骤S18中的光源估计处理中的估计结果中确定是否已估计出在其他基站处存在一个光源。
在步骤S66中，在颜色校正部48确定估计出在其他基站处存在一个光源的情况下，处理进行到步骤S67。换言之，在这种情况下，估计出自身基站处的多个光源的光源颜色在前侧与后侧之间不同，并且在其他基站处存在一个光源。在步骤S67中，颜色校正部48执行颜色校正，以将其他基站处的影像统一地转换成与自身基站的前侧的光源颜色一致的颜色。因此，例如，如已经参照图10描述的，在其他基站处的整体影像的颜色被校正成看起来仿佛用自身基站的前侧的光源照射影像。
然而，在步骤S66中，在颜色校正部48确定没有估计出在其他基站处存在一个光源的情况下，处理进行到步骤S68。换言之，在这种情况下，估计出自身基站处的多个光源的光源颜色在前侧与后侧之间不同，并且在其他基站处存在多个光源。在步骤S68中，颜色校正部48针对每一层执行颜色校正，以将其他基站处的影像转换成与自身基站的前侧的光源颜色一致的颜色。因此，例如，如参照图11所述，在其他基站处的影像中，具有与自身基站处的光源颜色不同的光源颜色的层的颜色被校正成看起来仿佛该层被自身基站的前侧的光源照射一样。
同时，在步骤S65中，在颜色校正部48已经估计出自身基站处的光源颜色在前侧与后侧之间没有不同的情况下，在这种情况下，例如，自身基站处的光源颜色在顶侧与底侧之间或者左侧与右侧之间不同，并且处理进行到步骤S69。在步骤S69中，颜色校正部48在图16的步骤S18中的光源估计处理中的估计结果中确定是否已估计出在其他基站处存在一个光源。
在步骤S69中，在颜色校正部48确定估计出在其他基站处存在一个光源的情况下，处理进行到步骤S70。换言之，在这种情况下，估计出自身基站处的多个光源的光源颜色在顶侧与底侧之间或者左侧与右侧之间不同，并且在其他基站处存在一个光源。在步骤S70中，颜色校正部48执行颜色校正，以将其他基站处的影像转换成与自身基站处的每个光源颜色的位置一致的颜色。因此，例如，如已经参照图12描述的，根据自身基站处的每个光源颜色的位置来校正其他基站处的整体影像的颜色，以看起来仿佛用相应的光源颜色来照射影像。
然而，在步骤S69中，在颜色校正部48确定估计出在其他基站处存在多于一个光源的情况下，处理进行到步骤S71。换言之，在这种情况下，估计出自身基站处的多个光源的光源颜色在顶侧与底侧或者左侧与右侧之间不同，并且在其他基站处存在多个光源。在步骤S71中，颜色校正部48针对每一层执行颜色校正，以将其他基站处的影像转换成与自身基站处的每个光源颜色的位置一致的颜色。因此，例如，如参照图13所描述的，在其他基站处的影像中，根据自身基站处的相应光源颜色的位置来校正具有与自身基站处的光源颜色不同的光源颜色的层的颜色，以看起来仿佛每个层被相应的光源颜色照射一样。
然后，在步骤S63、步骤S64、步骤S67、步骤S68、步骤S70或步骤S71中的处理之后，颜色校正处理结束。
如上所述，颜色校正部48能够基于自身基站和其他基站中的每一个处的光源的数目、光源颜色、光源的位置等，根据自身基站处的光源颜色适当地校正其他基站处的影像的颜色。
<通信处理部的第二配置示例>
图21是示出通信处理部的第二配置示例的框图。要注意的是，在图21所示的通信处理部24-2中，相同的附图标记被分配给与图3中的通信处理部24共同的配置，并且省略其详细描述。
如图21所示，与图3中的通信处理部24一样，通信处理部24-2包括数据接收部41、数据扩展部42、影像获取部43、深度信息获取部44、控制部45、分割部46、白色点估计部47、颜色校正部48、颜色校正信息累积部49、颜色校正变化控制部50、影像输出部51、数据压缩部52和数据发送部53。
然后，通信处理部24-2被配置成将自身基站处的白色点的估计结果连同自身基站处的影像和深度信息一起发送，并且接收其他基站处的白色点的估计结果连同其他基站处的影像和深度信息。换言之，通信处理部24-2具有下述配置：数据扩展部42向颜色校正部48提供从其他基站发送的白色点的估计结果，并且白色点估计部47向数据压缩部52提供根据自身基站处的影像估计白色点的结果。
因此，通信处理部24-2中的分割部46和白色点估计部47只需要执行根据自身基站处的影像估计白色点的处理即可，与图3中的通信处理部24相比，这使得可以减少处理。
<通信处理部的第三配置示例>
图22是示出通信处理部的第三配置示例的框图。要注意的是，在图22所示的通信处理部24-3中，相同的附图标记被分配给与图3中的通信处理部24共同的配置，并且省略其详细描述。
如图22所示，通信处理部24-3包括数据接收部41、数据扩展部42、影像获取部43、深度信息获取部44、控制部45、颜色校正部48、颜色校正信息累积部49、颜色校正变化控制部50、影像输出部51、数据压缩部52和数据发送部53。换言之，与图3中的通信处理部24相比，通信处理部24-3不包括分割部46和白色点估计部47。
然后，在通过将包括通信处理部24-3的通信终端13与其耦接而配置成的远程通信系统11中，有必要将至少包括分割部46和白色点估计部47的服务器14耦接至网络12。换言之，这样配置的远程通信系统11被配置成使服务器14集中执行根据影像估计白色点的处理。
因此，通信处理部24-3被配置成将自身基站处的影像和深度信息发送到服务器14，并且接收从服务器14发送的其他基站处的白色点的估计结果连同其他基站处的影像和深度信息。换言之，通信处理部24-3具有下述配置：数据扩展部42将从服务器14发送的其他基站处的白色点的估计结果提供给颜色校正部48。
因此，当从一个基站发送影像和深度信息时，服务器14能够执行根据影像估计白色点的处理，并且将估计结果连同影像和深度信息一起发送到其他基站。换言之，在通过将包括通信处理部24-3的通信终端13与其耦接而配置成的远程通信系统11中，执行远程通信的通信终端13经由服务器14彼此间接耦接。
因此，在远程通信系统11中，仅需要执行根据系统中的某处的影像估计白色点的处理，并且不需要在远程通信系统11中提供根据影像估计白色点的配置。与图3中的通信处理部24相比，这使得通信处理部24-3能够减少处理。因此，例如，即使通信终端13具有低处理能力，在服务器14中执行根据影像估计白色点的处理也使得可以使用产生临场感的影像来执行远程通信。
如上所述，根据本实施方式的远程通信系统11使得可以执行颜色校正处理，该颜色校正处理根据自身基站处的光源颜色实时地(基于每帧)校正其他基站处的影像的颜色。这使得每个用户能够以自动调节到每个用户自己房间的照明环境的色调来使用影像，从而使得可以执行例如就仿佛在同一空间中一样的令人满意的远程通信。
因此，与对整体影像执行统一颜色校正的系统相比，即使当在每个基站处设置多个光源时，远程通信系统11也能够执行自然颜色校正而不会引起不自然。另外，远程通信系统11能够结合照明环境的变化来改变颜色校正。因此，例如，即使在远程通信期间照明光存在变化的情况下，也可以实时地跟随变化。此外，远程通信系统11能够通过针对每个层执行颜色校正或者根据深度执行校正量的调节来增强仿佛每个空间是连续的感觉，从而使得可以增强仿佛每个空间是连续的感觉。这使得远程通信系统11可以提供更令人满意的用户体验。
<计算机的配置示例>
要注意的是，参照上述流程图描述的每个处理不一定需要以流程图描述的顺序按时间序列进行处理，并且包括并行或分别执行的处理(例如，通过并行处理的处理或者由对象进行的处理)。另外，程序可以由单个CPU处理，或者可以由多个CPU以分布式方式处理。
另外，可以通过硬件或者通过软件执行前述一系列处理(影像处理方法)。在通过软件执行一系列处理的情况下，从记录有程序的程序记录介质将程序安装到计算机上，在该计算机中，软件中包括的程序被并入专用硬件中或者例如通过安装每种类型的程序使得能够执行每种类型的功能的通用计算机等中。
图23是示出通过程序执行前述一系列处理的计算机硬件的配置示例的框图。
在计算机中，CPU(中央处理单元)101、ROM(只读存储器)102和RAM(随机存取存储器)103通过总线104彼此耦接。
此外，输入-输出接口105耦接至总线104。包括键盘、鼠标、麦克风等的输入部106、包括显示器、扬声器等的输出部107、包括硬盘、非易失性存储器等的存储部108、包括网络接口等的通信部109以及驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质111的驱动器110耦接至输入-输出接口105。
在如上所述配置的计算机中，例如，通过CPU 101经由输入-输出接口105和总线104将保存在存储部108中的程序加载到RAM 103并且执行该程序，来执行前述一系列处理。
例如，要由计算机(CPU 101)执行的程序被记录和提供在作为包括磁盘(包括软盘)、光盘(诸如CD-ROM(压缩盘-只读存储器)或DVD(数字多功能盘))、磁光盘或半导体存储器等的封装介质的可移动介质111上，或者经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。
然后，可以通过将可移动介质111安装到驱动器110上，经由输入-输出接口105将程序安装在存储部108中。另外，可以通过经由有线或无线传输介质在通信部109处接收程序来将程序安装在存储部108中。除此之外，可以预先在ROM 102或存储部108上安装程序。
<配置组合的示例>
要注意的是，本技术还可以具有以下配置。
(1)
一种影像处理装置，包括：
区域分割部，其将使用在自身基站与其他基站之间接收和发送的影像的远程通信中的所述其他基站处的影像分割成多个区域；
估计部，其通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及
颜色校正部，其根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。
(2)
根据(1)所述的影像处理装置，其中，
所述区域分割部将所述自身基站处的影像分割成多个区域，
所述估计部通过对所述自身基站整体以及对所述自身基站处的影像中的多个区域中的每一个执行影像分析来估计其中捕获了所述自身基站处的影像的照明环境；并且
所述颜色校正部根据所述自身基站处的照明环境中的光源颜色对所述其他基站处的影像执行颜色校正，所述照明环境由所述估计部估计。
(3)
根据(1)或(2)所述的影像处理装置，其中，
所述颜色校正部以帧为单位对所述其他基站处的影像执行颜色校正，并且在由所述估计部估计的照明环境变化的情况下，根据所述变化来改变对所述其他基站处的影像执行的颜色校正。
(4)
根据(1)至(3)中任一项所述的影像处理装置，还包括：
累积部，其累积校正量作为颜色校正信息，所述校正量由所述颜色校正部在对所述其他基站处的影像执行颜色校正时使用；以及
颜色校正控制部，其参照在所述累积部中累积的颜色校正信息来执行对所述校正量的控制，所述校正量由所述颜色校正部在对所述其他基站处的影像执行颜色校正时使用。
(5)
根据(1)至(4)中任一项所述的影像处理装置，其中，
所述颜色校正部使用捕获所述其他基站处的影像的成像范围中的深度信息来执行调节，所述调节被执行以增大根据所述自身基站处的光源颜色对所述其他基站处的影像的前侧执行颜色校正时的颜色校正量，同时减小针对所述其他基站处的影像的后侧的颜色校正量。
(6)
根据(2)至(5)中任一项所述的影像处理装置，其中，
所述区域分割部使用捕获所述自身基站或所述其他基站处的影像的成像范围中的深度信息，将所述自身基站或所述其他基站处的影像分离成多个层。
(7)
根据(2)至(5)中任一项所述的影像处理装置，其中，
所述区域分割部使用对所述自身基站或所述其他基站处的影像中包括的对象进行遮挡的遮挡信息，将所述自身基站或所述其他基站处的影像分割成多个区域。
(8)
根据(2)至(7)中任一项所述的影像处理装置，其中，
所述估计部使用针对所述自身基站或所述其他基站处的多个区域中的每一个计算的权重值，估计所述自身基站或所述其他基站处的整体影像中的白色点，并且还估计所述自身基站或所述其他基站处的多个层中的每一个层的白色点，从而估计所述自身基站或所述其他基站处的照明环境。
(9)
根据(2)至(6)中任一项所述的影像处理装置，其中，
所述估计部估计所述自身基站或所述其他基站处的整体影像中的白色点，并且还将所述自身基站或所述其他基站处的影像分离成多个层并且估计所述多个层中的每一个层的白色点，以基于在所述自身基站或所述其他基站处的整体影像中的白色点的估计结果以及在所述自身基站或所述其他基站处的多个层中的每一个层的白色点的估计结果来估计所述自身基站或所述其他基站处的光源的数目，并且，
所述颜色校正部根据所述自身基站或所述其他基站处的光源的数目对所述其他基站处的影像执行颜色校正，所述数目由所述估计部估计。
(10)
根据(9)所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在一个光源并且在所述其他基站处存在一个光源的情况下，
所述颜色校正部执行根据所述自身基站处的光源颜色统一地转换所述其他基站处的影像的颜色校正。
(11)
根据(9)所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在一个光源并且在所述其他基站处存在多个光源的情况下，
所述颜色校正部执行根据所述自身基站处的光源颜色针对所述多个层中的每一个层转换所述其他基站处的影像的颜色校正。
(12)
根据(9)所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在具有相同光源颜色的多个光源并且在所述其他基站处存在一个光源的情况下，
所述颜色校正部执行根据所述自身基站的前侧的光源颜色统一地转换所述其他基站处的影像的颜色校正。
(13)
根据(9)所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在具有相同光源颜色的多个光源并且在所述其他基站处存在多个光源的情况下，
所述颜色校正部执行根据所述自身基站的前侧的光源颜色针对所述多个层中的每一个层转换所述其他基站处的影像的颜色校正。
(14)
根据(9)所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在各自具有不同光源颜色的多个光源并且在所述其他基站处存在一个光源的情况下，
所述颜色校正部执行根据所述自身基站处的多个光源中的每一个的位置转换所述其他基站处的影像的颜色校正。
(15)
根据(9)所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在各自具有不同光源颜色的多个光源并且在所述其他基站处存在多个光源的情况下，
所述颜色校正部执行根据所述自身基站处的多个光源中的对应光源的位置针对所述多个层中的每一个层转换所述其他基站处的影像的颜色校正。
(16)
一种在影像处理装置中使用的影像处理方法，所述影像处理装置对使用在自身基站与其他基站之间接收和发送的影像的远程通信中的所述影像进行处理，所述影像处理方法包括：
将所述其他基站处的影像分割成多个区域；
通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及
根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。
(17)
一种使影像处理装置中的计算机执行影像处理的程序，所述影像处理装置在使用在其他基站与自身基站之间接收和发送的影像的远程通信中处理所述影像，所述影像处理包括：
将所述其他基站处的影像分割成多个区域；
通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及
根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。
(18)
一种包括影像处理装置的远程通信系统，所述影像处理装置经由网络耦接至所述远程通信系统并且包括：
接收-发送部，其在自身基站与其他基站之间接收和发送影像，以及
颜色校正部，其在使用所接收和发送的影像的远程通信中执行颜色校正，所述颜色校正是根据所述自身基站处的光源颜色对所述其他基站处的影像执行的，所述其他基站处的影像具有与捕获所述其他基站处的影像的照明环境对应的光源颜色，所述照明环境是通过将所述其他基站处的影像分割成多个区域然后对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行影像分析来估计的。
要注意的是，本实施方式不限于前述实施方式，并且在不脱离本公开内容的范围的情况下，各种变化是可能的。另外，本文中描述的效果仅仅是说明性的而不是限制性的，并且可以具有其他效果。
附图标记列表
11 远程通信系统
12 网络
13 通信终端
14 服务器
21 RGB传感器
22 深度传感器
23 显示设备
24 通信处理部
31和32 照明装置
41 数据接收部
42 数据扩展部
43 影像获取部
44 深度信息获取部
45 控制部
46 分割部
47 白色点估计部
48 颜色校正部
49 颜色校正信息累积部
50 颜色校正变化控制部
51 影像输出部
52 数据压缩部
53 数据发送部

Claims (18)

1.一种影像处理装置，包括：
区域分割部，其将使用在自身基站与其他基站之间接收和发送的影像的远程通信中的所述其他基站处的影像分割成多个区域；
估计部，其通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及
颜色校正部，其根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。
2.根据权利要求1所述的影像处理装置，其中，
所述区域分割部将所述自身基站处的影像分割成多个区域，
所述估计部通过对所述自身基站的整体以及对所述自身基站处的影像中的多个区域中的每一个执行影像分析来估计其中捕获了所述自身基站处的影像的照明环境；并且
所述颜色校正部根据所述自身基站处的照明环境中的光源颜色对所述其他基站处的影像执行颜色校正，所述照明环境由所述估计部估计。
3.根据权利要求1所述的影像处理装置，其中，
所述颜色校正部以帧为单位对所述其他基站处的影像执行颜色校正，并且在由所述估计部估计的照明环境变化的情况下，根据所述变化来改变对所述其他基站处的影像执行的颜色校正。
4.根据权利要求1所述的影像处理装置，还包括：
累积部，其累积校正量作为颜色校正信息，所述校正量由所述颜色校正部在对所述其他基站处的影像执行颜色校正时使用；以及
颜色校正控制部，其参照在所述累积部中累积的颜色校正信息来执行对所述校正量的控制，所述校正量由所述颜色校正部在对所述其他基站处的影像执行颜色校正时使用。
5.根据权利要求1所述的影像处理装置，其中，
所述颜色校正部使用捕获所述其他基站处的影像的成像范围中的深度信息来执行调节，所述调节被执行以增大根据所述自身基站处的光源颜色对所述其他基站处的影像的前侧执行颜色校正时的颜色校正量，同时减小针对所述其他基站处的影像的后侧的颜色校正量。
6.根据权利要求2所述的影像处理装置，其中，
所述区域分割部使用捕获所述自身基站或所述其他基站处的影像的成像范围中的深度信息，将所述自身基站或所述其他基站处的影像分离成多个层。
7.根据权利要求2所述的影像处理装置，其中，
所述区域分割部使用对所述自身基站或所述其他基站处的影像中包括的对象进行遮挡的遮挡信息，将所述自身基站或所述其他基站处的影像分割成多个区域。
8.根据权利要求2所述的影像处理装置，其中，
所述估计部使用针对所述自身基站或所述其他基站处的多个区域中的每一个计算的权重值，估计所述自身基站或所述其他基站处的整体影像中的白色点，并且还估计所述自身基站或所述其他基站处的多个层中的每一个层的白色点，从而估计所述自身基站或所述其他基站处的照明环境。
9.根据权利要求2所述的影像处理装置，其中，
所述估计部估计所述自身基站或所述其他基站处的整体影像中的白色点，并且还将所述自身基站或所述其他基站处的影像分离成多个层并且估计所述多个层中的每一个层的白色点，以基于在所述自身基站或所述其他基站处的整体影像中的白色点的估计结果以及在所述自身基站或所述其他基站处的多个层中的每一个层的白色点的估计结果来估计所述自身基站或所述其他基站处的光源的数目，并且
所述颜色校正部根据所述自身基站或所述其他基站处的光源的数目对所述其他基站处的影像执行颜色校正，所述数目由所述估计部估计。
10.根据权利要求9所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在一个光源并且在所述其他基站处存在一个光源的情况下，
所述颜色校正部执行根据所述自身基站处的光源颜色统一地转换所述其他基站处的影像的颜色校正。
11.根据权利要求9所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在一个光源并且在所述其他基站处存在多个光源的情况下，
所述颜色校正部执行根据所述自身基站处的光源颜色针对所述多个层中的每一个层转换所述其他基站处的影像的颜色校正。
12.根据权利要求9所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在具有相同光源颜色的多个光源并且在所述其他基站处存在一个光源的情况下，
所述颜色校正部执行根据所述自身基站的前侧的光源颜色统一地转换所述其他基站处的影像的颜色校正。
13.根据权利要求9所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在具有相同光源颜色的多个光源并且在所述其他基站处存在多个光源的情况下，
所述颜色校正部执行根据所述自身基站的前侧的光源颜色针对所述多个层中的每一个层转换所述其他基站处的影像的颜色校正。
14.根据权利要求9所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在各自具有不同光源颜色的多个光源并且在所述其他基站处存在一个光源的情况下，
所述颜色校正部执行根据所述自身基站处的多个光源的配置转换所述其他基站处的影像的颜色校正。
15.根据权利要求9所述的影像处理装置，其中，
在所述估计部估计出在所述自身基站处存在各自具有不同光源颜色的多个光源并且在所述其他基站处存在多个光源的情况下，
所述颜色校正部执行根据所述自身基站处的多个光源的配置针对所述多个层中的每一个层转换所述其他基站处的影像的颜色校正。
16.一种在影像处理装置中使用的影像处理方法，所述影像处理装置对使用在自身基站与其他基站之间接收和发送的影像的远程通信中的所述影像进行处理，所述影像处理方法包括：
将所述其他基站处的影像分割成多个区域；
通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及
根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。
17.一种使影像处理装置中的计算机执行影像处理的程序，所述影像处理装置对使用在自身基站与其他基站之间接收和发送的影像的远程通信中的所述影像进行处理，所述影像处理包括：
将所述其他基站处的影像分割成多个区域；
通过执行影像分析来估计其中捕获了所述其他基站处的影像的照明环境，所述影像分析是对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行的；以及
根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与所述照明环境对应的光源颜色。
18.一种包括影像处理装置的远程通信系统，所述影像处理装置经由网络耦接至所述远程通信系统并且包括：
接收-发送部，其在自身基站与其他基站之间接收和发送影像，以及
颜色校正部，其根据所述自身基站处的光源颜色对所述其他基站处的影像执行颜色校正，所述其他基站处的影像具有与捕获了所述其他基站处的影像的照明环境对应的光源颜色，所述照明环境是通过将使用所接收和发送的影像的远程通信中的所述其他基站处的影像分割成多个区域然后对所述其他基站处的整体影像以及对所述其他基站处的影像中的多个区域中的每一个执行影像分析来估计的。
CN201880053001.9A 2017-08-23 2018-08-09 影像处理装置、影像处理方法、程序和远程通信系统 Active CN111034185B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017160167 2017-08-23
JP2017-160167 2017-08-23
PCT/JP2018/029877 WO2019039296A1 (ja) 2017-08-23 2018-08-09 映像処理装置、映像処理方法、プログラム、および遠隔コミュニケーションシステム

Publications (2)

Publication Number Publication Date
CN111034185A true CN111034185A (zh) 2020-04-17
CN111034185B CN111034185B (zh) 2021-07-27

Family

ID=65438631

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880053001.9A Active CN111034185B (zh) 2017-08-23 2018-08-09 影像处理装置、影像处理方法、程序和远程通信系统

Country Status (3)

Country Link
US (1) US11120555B2 (zh)
CN (1) CN111034185B (zh)
WO (1) WO2019039296A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846990A (ja) * 1994-08-03 1996-02-16 Nippon Telegr & Teleph Corp <Ntt> 遠隔地光源色推定システム
CN101022564A (zh) * 2007-03-26 2007-08-22 北京中星微电子有限公司 一种调整图像色彩的方法、装置及计算机
CN101371271A (zh) * 2006-01-10 2009-02-18 松下电器产业株式会社 颜色校正处理装置以及颜色校正处理方法、动态摄像机颜色校正装置以及使用其的影像检索装置
CN101901473A (zh) * 2009-05-31 2010-12-01 汉王科技股份有限公司 单帧图像自适应去雾增强方法
CN102056368A (zh) * 2009-10-28 2011-05-11 华为终端有限公司 视频通讯中会场环境控制方法及装置
CN102449641A (zh) * 2009-05-30 2012-05-09 索尼电脑娱乐公司 用于对象跟踪的颜色校准
CN102801952A (zh) * 2011-05-28 2012-11-28 华为终端有限公司 视频会议系统调整的方法及装置
CN102833519A (zh) * 2011-06-14 2012-12-19 华为终端有限公司 视频图像的适配处理方法、设备及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102164238B (zh) * 2006-01-10 2013-09-18 松下电器产业株式会社 颜色校正处理装置、动态摄像机颜色校正装置以及使用其的影像检索装置
JP5313037B2 (ja) * 2009-05-11 2013-10-09 パナソニック株式会社 電子カメラ、画像処理装置および画像処理方法
JP2011165091A (ja) 2010-02-12 2011-08-25 Nippon Telegr & Teleph Corp <Ntt> 色調調整装置、色調調整方法およびプログラム
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
US9600904B2 (en) * 2013-12-30 2017-03-21 Samsung Electronics Co., Ltd. Illuminating a virtual environment with camera light data
JP6423625B2 (ja) * 2014-06-18 2018-11-14 キヤノン株式会社 画像処理装置および画像処理方法
WO2016181804A1 (ja) * 2015-05-08 2016-11-17 ソニー株式会社 画像処理装置および方法
US10607329B2 (en) * 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846990A (ja) * 1994-08-03 1996-02-16 Nippon Telegr & Teleph Corp <Ntt> 遠隔地光源色推定システム
CN101371271A (zh) * 2006-01-10 2009-02-18 松下电器产业株式会社 颜色校正处理装置以及颜色校正处理方法、动态摄像机颜色校正装置以及使用其的影像检索装置
CN101022564A (zh) * 2007-03-26 2007-08-22 北京中星微电子有限公司 一种调整图像色彩的方法、装置及计算机
CN102449641A (zh) * 2009-05-30 2012-05-09 索尼电脑娱乐公司 用于对象跟踪的颜色校准
CN101901473A (zh) * 2009-05-31 2010-12-01 汉王科技股份有限公司 单帧图像自适应去雾增强方法
CN102056368A (zh) * 2009-10-28 2011-05-11 华为终端有限公司 视频通讯中会场环境控制方法及装置
CN102801952A (zh) * 2011-05-28 2012-11-28 华为终端有限公司 视频会议系统调整的方法及装置
CN102833519A (zh) * 2011-06-14 2012-12-19 华为终端有限公司 视频图像的适配处理方法、设备及系统

Also Published As

Publication number Publication date
WO2019039296A1 (ja) 2019-02-28
US11120555B2 (en) 2021-09-14
CN111034185B (zh) 2021-07-27
US20200258232A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
JP7422833B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
CN110447051B (zh) 在感知上保持参考场景的对比度和色度
US20090009525A1 (en) Color Adjustment Device and Method
US9024961B2 (en) Color grading apparatus and methods
US11895408B2 (en) Image pickup system, image pickup method, and computer readable storage medium for generating video signals having first and second dynamic ranges
KR20130056442A (ko) 화이트 밸런스 조절장치 및 방법
KR102369148B1 (ko) 이미지 캡처 방법 및 시스템
US10713764B2 (en) Method and apparatus for controlling image data
CN110809120A (zh) 拍摄画面的补光方法、智能电视及计算机可读存储介质
US9635333B2 (en) White balancing device and method of driving the same
CN109348207B (zh) 色温调节方法、图像处理方法及装置、介质和电子设备
US20160286090A1 (en) Image processing method, image processing apparatus, and image processing program
US20150085162A1 (en) Perceptual radiometric compensation system adaptable to a projector-camera system
WO2018175337A1 (en) Perceptually preserving scene-referred contrasts and chromaticities
CN111034185B (zh) 影像处理装置、影像处理方法、程序和远程通信系统
US10044998B2 (en) Projection apparatus, projection method, and storage medium
KR102519288B1 (ko) 콘텐츠 에코시스템에서 콘텐츠의 명암비 제어 장치 및 방법
Vazquez Corral et al. Coupled retinex
EP3942790B1 (en) Camera color image processing
Cyriac et al. Automatic, viewing-condition dependent contrast grading based on perceptual models
JP2023005997A (ja) 画像処理装置および画像処理方法
KR20210101999A (ko) 화질 조정을 지원하는 전자 장치 및 그 방법
CN116466899A (zh) 图像处理方法及电子设备
KR20090120643A (ko) 컬러 어피어런스 모델을 이용한 영상 개선 방법 및 그방법을 수행하는 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant