CN103685853A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN103685853A
CN103685853A CN201310373719.5A CN201310373719A CN103685853A CN 103685853 A CN103685853 A CN 103685853A CN 201310373719 A CN201310373719 A CN 201310373719A CN 103685853 A CN103685853 A CN 103685853A
Authority
CN
China
Prior art keywords
eye image
image
tone
image processing
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310373719.5A
Other languages
English (en)
Inventor
土场健太郎
小森谷阳多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103685853A publication Critical patent/CN103685853A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种图像处理装置和一种图像处理方法。所述图像处理装置包括：差值计算部，所述差值计算部基于色调将分别表示作为立体图像的构成部分的左眼图像和右眼图像中的每个色调的像素数量的直方图相互关联，所述差值计算部基于关联后的色调计算所述左眼图像和所述右眼图像之间的差值，并且所述差值计算部将计算出的所述差值在色调间平滑化；以及校正部，所述校正部在平滑化后的基于色调的所述差值的基础上校正所述左眼图像或所述右眼图像。根据本发明的图像处理装置和图像处理方法，能够提高对作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧进行校正的精度。

Description

图像处理装置和图像处理方法
技术领域
本发明涉及图像处理装置和图像处理方法。
背景技术
已经日益普及一种装置，这种装置在显示屏上显示例如与用户的左眼的视图对应的图像(以下，称作“左眼图像”)和与用户的右眼的视图对应的图像(以下，称作“右眼图像”)，从而能够使用户将显示的图像识别为立体图像。上述装置利用视差(parallax)来使用户将显示的图像识别为立体图像。
例如，通过使用两个摄像装置拍摄摄像对象的图像，以获得作为立体图像的构成部分的上述左眼图像和右眼图像(下文中有时统称为“立体像”)。然而，例如两个摄像装置之间的来自摄像对象的反射光的差异、两个摄像装置之间的曝光参数的差异、或两个摄像装置之间的位置的差异可能导致左眼图像和右眼图像之间存在颜色分歧。同时，近年来盛行的是通过采用半透明镜来进行立体像的成像。例如由于半透明镜与摄像装置之间形成的角度所引起的光学特性的差异也会导致左眼图像和右眼图像之间的颜色分歧。
在这种背景下，已开发出了用于校正左眼图像和右眼图像之间的颜色分歧的技术。用于校正左眼图像和右眼图像之间的颜色分歧的技术的示例包括专利文献JP2007-535829A中说明的技术。
使用了JP2007-535829A中说明的技术的图像处理装置例如计算出指示左眼图像(下文中有时简称作“L”)和右眼图像(下文有时简称作“R”)各者的每个色调的像素数量的直方图(颜色直方图)，并将左眼图像的直方图和右眼图像的直方图相互关联。然后，使用了JP2007-535829A中说明的技术的图像处理装置例如基于关联结果来校正左眼图像的颜色或右眼图像的颜色。于是，当使用例如JP2007-535829A中说明的技术时，有可能能够校正左眼图像和右眼图像之间的颜色分歧。
在JP2007-535829A中说明的技术中，所述左眼图像的直方图和所述右眼图像的直方图例如通过下列方法而被相互关联：使用对于直方图的DP(Dynamic Programming，动态规划)匹配的方法；或通过从直方图中提取诸如峰值等特征色调值来将直方图相互关联的方法。然而，当基于通过简单地使用DP匹配的方法进行的关联的结果来校正所述左眼图像的颜色或所述右眼图像的颜色时，校正后的图像由于色阶(gradation)不平滑因而可能会不自然。当基于通过使用从直方图提取诸如峰值等特征色调值的关联方法进行的关联的结果来校正所述左眼图像的颜色或所述右眼图像的颜色时，没有以足够的精度校正未被选作代表的色调值。
因此，即使使用例如JP2007-535829A中说明的技术，也不一定能够精确地校正所述左眼图像和所述右眼图像之间的颜色分歧。
发明内容
鉴于上述问题，需要提供一种新颖的、改进的、能够提高作为立体图像的构成部分的左眼图像与右眼图像之间的颜色分歧的校正精度的图像处理装置和图像处理方法。
本发明的实施例提供了一种图像处理装置，其包括差值计算部和校正部。所述差值计算部基于色调将分别表示作为立体图像的构成部分的左眼图像和右眼图像中的每个色调的像素数量的直方图相互关联，基于关联后的色调计算所述左眼图像和所述右眼图像之间的差值，并且将计算出的所述差值在色调间平滑化。所述校正部在平滑化后的基于色调的所述差值的基础上校正所述左眼图像或所述右眼图像。
此外，本发明的实施例提供了一种图像处理方法，其包括如下步骤：基于色调将分别表示作为立体图像的构成部分的左眼图像和右眼图像中的每个色调的像素数量的直方图相互关联，基于关联后的色调计算所述左眼图像和所述右眼图像之间的差值，并且将计算出的所述差值在色调间平滑化；以及在平滑化后的基于色调的所述差值的基础上校正所述左眼图像或所述右眼图像。
根据本发明的本实施例，能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
附图说明
图1的A和B是图示了在使用现有的图像处理方法的情况下可能发生的问题的第一示例的说明图；
图2的A和B是图示了在使用现有的图像处理方法的情况下可能发生的问题的第一示例的说明图；
图3的A和B是图示了在使用现有的图像处理方法的情况下可能发生的问题的第一示例的说明图；
图4的A和B是图示了在使用现有的图像处理方法的情况下可能发生的问题的第二示例的说明图；
图5的A和B是图示了在使用现有的图像处理方法的情况下可能发生的问题的第二示例的说明图；
图6的A至C是图示了在使用现有的图像处理方法的情况下可能发生的问题的第二示例的说明图；
图7的A和B是图示了在使用现有的图像处理方法的情况下可能发生的问题的第三示例的说明图；
图8的A和B是图示了在使用现有的图像处理方法的情况下可能发生的问题的第三示例的说明图；
图9的A至E是图示了本实施例的处理的概要的说明图和曲线图；
图10是图示了本实施例的图像处理装置中的本实施例的图像处理方法的第一示例的流程图；
图11是图示了本实施例的图像处理装置中的本实施例的图像处理方法的第二示例的流程图；
图12的A和B是图示了通过使用本实施例的图像处理方法而被校正的图像的第一示例的说明图；
图13的A至C是图示了通过使用本实施例的图像处理方法而被校正的图像的第二示例的说明图；
图14的A和B是图示了通过使用本实施例的图像处理方法而被校正的图像的第三示例的说明图；
图15的A和B是图示了通过使用本实施例的图像处理方法而被校正的图像的第四示例的说明图；
图16的A和B是图示了通过使用本实施例的图像处理方法而被校正的图像的第四示例的说明图；
图17是图示了本实施例的图像处理装置的构造示例的方框图；以及
图18是图示了本实施例的图像处理装置的硬件构造的示例的说明图。
具体实施方式
在下文中，将参照附图详细地说明本发明的优选实施例。需要注意的是，在本说明书和附图中，用相同的附图标记表示具有实质上相同的功能和结构的构成元件，并且省略了这些构成元件的重复说明。
下面，按照以下顺序进行说明。
1、本实施例的图像处理方法
2、本实施例的图像处理装置
3、本实施例的程序
1、本实施例的图像处理方法
在说明本实施例的图像处理装置的构造之前，首先对本实施例的图像处理方法进行说明。下面将以如下情况作为示例来说明本实施例的图像处理方法：在该情况中，本实施例的图像处理装置进行本实施例的图像处理方法的处理。
[1]在使用现有的图像处理方法的情况下可能发生的问题的示例
首先，对在使用诸如JP2007-535829A中说明的技术等现有的图像处理方法时可能发生的问题的具体示例进行说明。
(A)第一示例
图1是图示了在使用现有的图像处理方法的情况下可能发生的问题的第一示例的说明图，并且图示了还未应用现有的图像处理方法的原始图像。图1的A图示了左眼图像(原始图像)，同时图1的B图示了右眼图像(原始图像)。
图2是图示了在使用现有的图像处理方法的情况下可能发生的问题的第一示例的说明图，并且图示了通过使用JP2007-535829A中说明的技术来校正图1所示的两个图像中的一者获得的图像的示例。图2的A图示了校正后的左眼图像的示例，同时图2的B图示了原始右眼图像。
在图2的A中的正方形中的部分与图2的B中的正方形中的部分进行比较时，图2的A中的正方形中的部分中的相对较暗的颜色不清楚，并且左眼图像和右眼图像之间存在颜色分歧。图2中的颜色分歧例如是因为无法应对局部的颜色分歧而产生的。
为了应对如图2所示的局部颜色分歧，可以想到下面的方法。例如，将图1的A中的左眼图像(原始图像)和图1的B中的右眼图像(原始图像)分别分割成一些区域，并且基于右眼图像和左眼图像中相互对应的分割区域来校正所述右眼图像或所述左眼图像。
图3是图示了在使用现有的图像处理方法的情况下可能发生的问题的第一示例的说明图，并且图示了这样的图像的示例：在将图1的A中的左眼图像(原始图像)和图1的B中的右眼图像(原始图像)分别分割成一些区域之后被校正后的图像，该图像是通过使用JP2007-535829A中说明的技术基于相互对应的分割区域而被校正的。图3的A图示了校正后的左眼图像的示例，同时图3的B图示了原始右眼图像。图3图示了以如下方式获得的图像的示例：图1的A中的左眼图像(原始图像)和图1的B中的右眼图像(原始图像)分别在垂直方向上被分割成八个区域然后被处理。
在左眼图像(原始图像)和右眼图像(原始图像)分别被分割并且通过使用JP2007-535829A中说明的技术基于相应的分割区域而被校正的情况下，如图3的A中箭头指出的部分所示，在校正后的图像中的分割区域之间的边界处会出现线。因此，仅仅在分割区域的基础上校正右眼图像或左眼图像无法期望对左眼图像和右眼图像之间颜色分歧的精确校正。
(B)第二示例
图4是图示了在使用现有的图像处理方法的情况下可能发生的问题的第二示例的说明图，并且图示了还未应用现有的图像处理方法的原始图像。图4的A图示了左眼图像(原始图像)，同时图4的B图示了右眼图像(原始图像)。
图5是图示了在使用现有的图像处理方法的情况下可能发生的问题的第二示例的说明图，并且图示了通过使用JP2007-535829A中说明的技术来校正图4中的两个图像的一者获得的图像的示例。图5的A图示了校正后的左眼图像的示例，同时图5的B图示了原始右眼图像。
在图5的A和图5的B进行比较时，图5的A中的校正后的左眼图像的上部偏绿和下部偏红。也即是，在图5的第二示例中，左眼图像和右眼图像之间在整个图像中存在颜色分歧。
图6是图示了在使用现有的图像处理方法的情况下可能发生的问题的第二示例的说明图，并且图示了这样的图像的示例：在将图4的A中的左眼图像(原始图像)和图4的B中的右眼图像(原始图像)分别分割成一些区域之后被校正的图像，该图像是通过使用JP2007-535829A中说明的技术基于相应的分割区域而被校正的。图6的A图示了校正后的左眼图像的示例，同时图6的B图示了原始右眼图像。此外，图6的C图示了图6的A中所示的正方形中的部分。图6图示了以如下方式获得的图像的示例：将图4的A中的左眼图像(原始图像)和图4的B中的右眼图像(原始图像)分别在垂直方向上分割成八个区域然后进行处理。
在左眼图像(原始图像)和右眼图像(原始图像)分别被分割并且通过使用JP2007-535829A中说明的技术基于相应的分割区域而被校正的情况下，如图6的A中箭头指出的部分所示，在校正后的图像中的分割区域之间的边界处会出现线。此外，在左眼图像(原始图像)和右眼图像(原始图像)分别被分割并且通过使用JP2007-535829A中说明的技术基于相应的分割区域而被校正的情况下，还可能发生如图6的C所示的粗糙的灰度。因此，仅仅在分割区域的基础上校正右眼图像或左眼图像无法期望对左眼图像和右眼图像之间颜色分歧的精确校正。
(C)第三示例
图7是图示了在使用现有的图像处理方法的情况下可能发生的问题的第三示例的说明图，并且图示了还未应用现有的图像处理方法的原始图像。图7的A图示了左眼图像(原始图像)，同时图7的B图示了右眼图像(原始图像)。
图8是图示了在使用现有的图像处理方法的情况下可能发生的问题的第三示例的说明图，并且图示了通过使用JP2007-535829A中说明的技术来校正图7中所示的两个图像的一者而获得的图像的示例。图8的A图示了校正后的左眼图像的示例，同时图8的B图示了原始右眼图像。
在图8的A和图8的B进行比较时，图8的A中的校正后的左眼图像被校正为整个图像偏红。然而，该图像的下部过于偏红了，并且所述图像的上部偏绿。也即是，在图8中的第三示例中，与图5中的第二示例一样，在左眼图像和右眼图像之间在整个图像中存在着颜色分歧。
如在使用现有的图像处理方法的情况下可能发生的问题的第一示例至第三示例所示，即便使用诸如JP2007-535829A中说明的技术等现有的图像处理方法，也无法期望对左眼图像和右眼图像间的颜色分歧的精确校正。
[2]本实施例的图像处理方法
[2-1]本实施例的图像处理方法概要
因此，本实施例的图像处理装置基于色调计算左眼图像和右眼图像间的差值(颜色差值)，并且将计算出的差值在色调间平滑化(差值计算处理)。然后，本实施例的图像处理装置在平滑后的基于色调的差值的基础上校正所述两个图像中的一者图像或另一者图像。
这里，将要由本实施例的所述图像处理装置处理的左眼图像和右眼图像可以是例如静止图像或形成运动图像的帧图像。
此外，本实施例的处理对象的左眼图像和右眼图像的示例包括与由本实施例的图像处理装置从存储部(稍后将要说明)或外部记录介质读取的图像数据对应的图像。注意，本实施例的处理对象的左眼图像和右眼图像不限于上述情况。例如，本实施例的处理对象的左眼图像和右眼图像可以是由通信部(稍后将要说明)接收到的信号所表示的图像或由摄像部(稍后将要说明)拍摄到的图像。
图9是图示了本实施例的所述图像处理方法的处理的概要的说明图。这里，图9的A图示了左眼图像和右眼图像的原始图像。图9的B、图9的C和图9的D图示了本实施例的差值计算处理的示例。图9的E图示了作为本实施例的校正处理的结果而获得的校正后的图像的示例。
在下文中，将适当参照图9来说明本实施例的图像处理方法的差值计算处理和校正处理。
(1)差值计算处理
例如，如图9的B所示，本实施例的所述图像处理装置计算出指示作为立体图像的构成部分的左眼图像和右眼图像各者的每个色调的像素数量的直方图。在图9的B中，横轴表示色调，纵轴表示度数。
虽然本实施例的所述图像处理装置通过使用原始左眼图像和原始右眼图像本身计算出指示每个色调的像素数量的直方图，但是本实施例的图像处理装置中的直方图计算处理并不限于上述情况。例如，本实施例的所述图像处理装置可以用减少原始左眼图像和原始右眼图像的色调位数的方式计算所述直方图。用于减少原始左眼图像和原始右眼图像的色调位数的方法的示例包括去除原始左眼图像和原始右眼图像的色调位中的较低M(M是正整数)位。
如上所述，本实施例的所述图像处理装置以减少原始左眼图像和原始右眼图像的色调位数的方式计算直方图，并且因此能够降低色调中的度数的散乱。如上所述的减少了原始左眼图像和原始右眼图像的色调位数的直方图计算减少了所述差值计算处理的计算量。
此外，例如，如图9的C所示，本实施例的图像处理装置基于色调将指示左眼图像和右眼图像的每个色调的像素数量的直方图相互关联(匹配处理)。在匹配处理中进行了每个色调的关联之后，本实施例的图像处理装置将每个色调的关联的结果记录在例如查找表(颜色查找表)中。
同时，本实施例的图像处理装置例如通过使用DP(动态规划，Dynamic Programming)来选择最低成本组合，从而基于色调将指示左眼图像和右眼图像各者的每个色调的像素数量的直方图相互关联。注意，本实施例的差值计算处理中的匹配处理不限于使用DP的处理。例如，本实施例的图像处理装置能够通过使用任意的一维匹配技术，基于色调将指示左眼图像和右眼图像各者的每个色调的像素数量的直方图相互关联。
在基于色调将指示左眼图像和右眼图像的每个色调的像素数量的直方图相互关联后，本实施例的图像处理装置基于色调计算右眼图像和左眼图像中的一者图像与另一者图像的差值。例如，通过基于关联后的色调从左眼图像的度数中减去右眼图像的度数，或者通过基于关联后的色调从右眼图像的度数中减去左眼图像的度数，本实施例的图像处理装置计算出每个关联后的色调的差值。
这里，如果通过使用上述计算出的差值来校正左眼图像(原始图像)或右眼图像(原始图像)，则能够在一定程度上校正左眼图像和右眼图像之间的颜色分歧。然而，当通过使用上述计算出的差值来校正左眼图像(原始图像)或右眼图像(原始图像)时，如同上述的在使用现有的图像处理方法的情况下可能发生的问题一样，存在局部颜色分歧的风险。
因此，本实施例的所述图像处理装置在差值计算处理中进一步将上述计算出的差值在色调间平滑化。
更具体地，例如，本实施例的图像处理装置基于色调计算上述计算出的差值以及比上述计算出的差值的色调高的N(N为1以上的整数)个色调的差值和比上述计算出的差值的色调低的N个色调的差值的加权平均，从而将上述计算出的差值在色调间平滑化。注意，由本实施例的图像处理装置进行的上述计算出的差值在色调间的平滑化不限于使用加权平均的平滑化，而可以通过使用诸如算术平均等能够实现平滑化的另一技术来实现。
图9的D图示了差值的示例(图9的D中的“L-R”)以及平滑化后的差值的示例(图9的D中的“平滑化的(L-R)”)。通过如图9的D中所示将差值在色调间平滑化，以及通过在稍后说明的校正处理中使用相应的平滑化的差值来校正左眼图像(原始图像)或右眼图像(原始图像)，能够进一步减小局部颜色分歧。需要注意的是，稍后将会对通过使用本实施例的图像处理方法而被校正的图像的具体示例进行说明。
(2)校正处理
本实施例的所述图像处理装置以在上述(1)中的处理(差值计算处理)中平滑化的基于色调的差值为基础来校正左眼图像或右眼图像。
更具体地，本实施例的图像处理装置例如通过在原始图像的像素值中加上或减去上述平滑化的差值来获得颜色被校正的校正后的图像。例如，图9的E图示了通过从图9的A中的左眼图像(原始图像)的像素值中减去上述平滑化的差值从而将左眼图像与右眼图像匹配的示例。
本实施例的图像处理装置例如通过进行上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)来校正左眼图像或右眼图像的颜色。
这里，本实施例的图像处理装置在上述(1)中的处理(差值计算处理)中基于关联后的色调计算左眼图像和右眼图像间的差值，并且将计算出的差值在色调间平滑化。然后，本实施例的图像处理装置在上述(2)中的处理(校正处理)中以平滑化的基于色调的差值为基础来校正所述左眼图像或所述右眼图像。因此，本实施例的图像处理装置能够进一步减小局部颜色分歧，该局部颜色分歧在上述的使用现有的图像处理方法的情况下是很可能发生的。
因此，本实施例的图像处理装置通过进行例如上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)，能够提高作为立体图像的构成部分的左眼图像和右眼图像间的颜色分歧的校正精度。
需要注意的是，本实施例的图像处理方法的处理并不限于上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。
例如，通过分别分割左眼图像和右眼图像，以及通过基于相应的分割区域进行上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)，本实施例的图像处理装置能够校正左眼图像或右眼图像的颜色。
更具体地，在上述(1)中的处理(差值计算处理)中，本实施例的图像处理装置分别分割左眼图像和右眼图像并且在相应的分割区域的基础上计算所述左眼图像和所述右眼图像间的差值。在上述(1)中的处理(差值计算处理)中，本实施例的图像处理装置还基于分割区域将如上在分割区域的基础上计算出的差值在色调间平滑化。然后，在上述(2)中的处理(校正处理)中，本实施例的图像处理装置基于分割区域来校正所述左眼图像或所述右眼图像。
这里，本实施例的图像处理装置例如在垂直方向上分别分割左眼图像和右眼图像。这是因为垂直方向上的分割能有效地应对垂直位置之间的颜色分歧的不同。不言而喻的是，本实施例的图像处理装置可以在水平方向上分别分割左眼图像和右眼图像，或在水平方向和垂直方向上分别分割左眼图像和右眼图像。
此外，本实施例的图像处理装置基于“为了获得足够高的足以将直方图相互关联的度数，区域必须具有大约有几十至几百条线”来设定分割区域的数量。本实施例的左眼图像和右眼图像的分割区域数量的示例包括八个(预先设定的分割区域数量的示例)。然而，本实施例的分割区域数量的示例并不限于上述的数量。例如，通过参照查找表(该查找表中，存储在存储部(稍后说明)等中的图像尺寸与分割区域数量相互关联)，本实施例的图像处理装置可以设定适合于待处理的左眼图像和右眼图像的分割区域数量。或者，本实施例的图像处理装置例如可以基于用户操作设定分割区域数量。
如上所述，在分割区域的基础上进行上述(1)中的处理(差值计算处理)并且在分割区域的基础上进行上述(2)中的处理(校正处理)，这使得能够进一步减小左眼图像和右眼图像间的可能存在的局部颜色分歧。
此外，本实施例的图像处理装置可以在上述(1)中的处理(差值计算处理)中将上述平滑化的基于色调的差值在相邻分割区域间进一步平滑化。
这里，假设这样一种情况：例如，在相邻分割区域间存在颜色差值的不同。在此情况下，当基于分割区域在色调间进行平滑化时并且当随后基于所述分割区域进行上述(2)中的处理(校正处理)时，相邻分割区域间的颜色差值的不同可能导致校正后的图像中出现不自然的间断。然而，由于本实施例的图像处理装置如上所述将平滑化的基于色调的差值在相邻分割区域间进一步平滑化，所以能够防止因例如分割区域间的颜色差值的不同而导致的在图像中可能产生的不自然的间断。
此外，本实施例的图像处理装置例如可以生成分别处于与左眼图像的视点和右眼图像的视点不同的其它视点的一个以上图像(视点图像生成处理)。
本实施例的图像处理装置例如将左眼图像或右眼图像设定为基准图像，并且生成将基准图像偏移了设定的相位差的图像。这里，设定的相位差可以是预先设定的固定值或是用户可改变的可变值。
需要注意的是，本实施例的图像处理装置中的视点图像生成处理并不限于上述情况。例如，本实施例的图像处理装置可以通过根据任何能够生成其它视点的图像的视点图像生成技术进行处理来生成其它视点的图像(例如，多视点图像生成处理)。
[2-2]本实施例的图像处理方法的处理
接下来，将对上述的本实施例的图像处理方法的处理的具体示例进行说明。
在下文中，通过将以下情况作为示例来进行说明：该情况中，本实施例的图像处理装置所处理的左眼图像(原始图像)和右眼图像(原始图像)分别是例如“RGB，1080p，10位色调”格式的图像。注意，本实施例的图像处理装置所处理的左眼图像(原始图像)和右眼图像(原始图像)不限于上述情况。例如，本实施例的图像处理装置所处理的左眼图像(原始图像)和右眼图像(原始图像)可以是任意格式的图像。
下面还通过将以下情况作为示例来进行说明：该情况中，本实施例的图像处理装置通过将右眼图像用作基准图像来校正左眼图像(使左眼图像的颜色与右眼图像的颜色匹配的情况)。注意，本实施例的图像处理装置可通过将左眼图像用作基准图像来校正右眼图像(换言之，可使右眼图像的颜色与左眼图像的颜色匹配)。
(I)本实施例的图像处理方法的处理的第一示例
图10是图示了本实施例的图像处理装置中的本实施例的图像处理方法的处理的第一示例的流程图。图10中步骤S100至步骤S104的处理对应于上述(1)中的处理(差值计算处理)。图10中步骤S106的处理对应于上述(2)中的处理(校正处理)。在图10中，分别用“L”和“R”表示左眼图像和右眼图像。
本实施例的所述图像处理装置获得左眼图像和右眼图像各者的直方图(S100)。这里，例如通过去除左眼图像和右眼图像的各像素值的较低二位，本实施例的图像处理装置计算出使用8位色调(256色调)的直方图。需要注意的是，由本实施例的图像处理装置计算出的各直方图的色调位数并不限于上述数量。例如，通过使用左眼图像的像素值和右眼图像的像素值，本实施例的图像处理装置可以生成10位色调(1024色阶)的直方图。例如通过去除左眼图像和右眼图像的各像素值的较低五位或较低四位，本实施例的图像处理装置还可以计算具有如下色调位的色调的直方图：该色调位大约是左眼图像和右眼图像的色调位的一半。
本实施例的图像处理装置基于色调将在步骤S100中计算出的左眼图像和右眼图像各者的直方图相互关联(S102)。例如，本实施例的图像处理装置进行所述DP匹配以将在直方图中具有相互接近的度数值的色调相互关联。本实施例的图像处理装置还将例如每个色调的关联的结果记录在左眼图像和右眼图像的颜色查找表中。
在步骤S102中的关联之后，本实施例的图像处理装置将左眼图像和右眼图像间的通过上述关联获得的颜色差值在色调间平滑化(S104)。
更具体地说，例如通过参照所述查找表，本实施例的图像处理装置基于关联后的色调计算出左眼图像和右眼图像间的差值。然后，本实施例的图像处理装置例如通过基于色调计算出上述计算出的差值以及比上述计算出的差值的色调高的三个色调的差值和比上述计算出的差值的色调低的三个色调的差值的加权平均，将基于色调的所述差值在色调间平滑化。注意，在色调间平滑化的接头(tap)数可以是固定的，或者基于用户操作是可变的。
例如，如果在步骤S100中去除了左眼图像和右眼图像的各像素值的较低位，那么本实施例的图像处理装置通过使用例如线性插补将各差值扩展到具有原始位数。例如，如果在S100中去除了左眼图像和右眼图像的各像素值的较低二位，则本实施例的图像处理装置将各差值从8位(256色调)扩展到10位(1024色调)。
通过使用在步骤S104中平滑化的差值，本实施例的图像处理装置校正左眼图像(不是基准图像的原始图像的示例)的颜色，以将所述左眼图像的颜色与所述右眼图像(是基准图像的原始图像的示例)的颜色匹配(S106)。这里，在步骤S106中的处理之后的左眼图像和右眼图像的示例包括如原始图像那样的“RGB，1080p，以及10位色调”格式的图像，但是在步骤S106中的处理之后的左眼图像和右眼图像并不限于上述那些图像。例如，在步骤S106中的处理之后的左眼图像和右眼图像也可以是任意格式的图像。
本实施例的图像处理装置进行例如图10所示的处理作为所述图像处理方法的第一示例的处理。通过进行图10所示的处理，实施了上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。因此，通过进行例如图10中所示的处理，本实施例的图像处理装置能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
(II)本实施例的图像处理方法的处理的第二示例
图11是图示了本实施例的图像处理装置中的本实施例的图像处理方法的处理的第二示例的流程图。图11中的步骤S200至步骤S208中的处理对应于上述(1)中的处理(差值计算处理)。图11中步骤S210中的处理对应于上述(2)中的处理(校正处理)。图11中，分别用“L”和“R”表示左眼图像和右眼图像。
本实施例的图像处理装置分割左眼图像(原始图像)和右眼图像(原始图像)的各者(S200)。需要注意的是，虽然本实施例的图像处理装置例如在垂直方向上将左眼图像(原始图像)和右眼图像(原始图像)的各者分割成八个区域，但是步骤S200中各图像的分割区域的数量并不限于上述数量。例如，本实施例的图像处理装置可以根据左眼图像(原始图像)和右眼图像(原始图像)的图像尺寸来分割左眼图像(原始图像)和右眼图像(原始图像)，使得能够获得可靠的直方图所需的任意数量的分割区域。更具体地说，通过使用例如其中将图像尺寸和分割区域数量相互关联的查找表，本实施例的图像处理装置规定了左眼图像(原始图像)和右眼图像(原始图像)的分割区域数量。
本实施例的图像处理装置针对在步骤S200中分割的各区域获得左眼图像和右眼图像的直方图(S202)。这里，本实施例的图像处理装置在各分割区域中进行与例如图10中的步骤S100中相同的处理。
本实施例的图像处理装置针对左眼图像和右眼图像中的相互对应的各分割区域，基于色调将步骤S202中计算出的左眼图像和右眼图像的直方图相互关联(S204)。这里，本实施例的图像处理装置在各个相应的分割区域中进行与例如图10中的步骤S102中相同的处理。
在步骤S204中的所述关联之后，本实施例的图像处理装置在各分割区域中以与例如图10中的步骤S104中相同的方式，将左眼图像和右眼图像间的通过所述关联获得的颜色差值在色调间平滑化(S206)。
在步骤S206中将左眼图像和右眼图像间的颜色差值平滑化之后，本实施例的图像处理装置将在色调间平滑化后的基于色调的差值在相邻的分割区域间平滑化(S208)。通过进行步骤S208中的所述处理，能够使得因各区域中的处理结果之间的细微差别而导致的图像中的间断没那么明显。
这里，例如通过计算相邻分割区域的算术平均或加权平均，本实施例的图像处理装置将平滑化后的基于色调的差值在相邻分割区域间进一步平滑化。
通过以与例如图10中的步骤S106中相同的方式使用在步骤S208中平滑化的差值，本实施例的图像处理装置校正左眼图像(不是基准图像的原始图像的示例)的颜色，从而将左眼图像的颜色与右眼图像(是基准图像的原始图像的示例)的颜色相匹配(S210)。
本实施例的图像处理装置进行例如图11中所示的处理作为所述图像处理方法的第二示例的处理。通过进行图11中所示的处理，实施了上述(1)中的处理(差值计算处理)以及上述(2)中的处理(校正处理)。因此，通过进行例如图11中所示的处理，本实施例的图像处理装置能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
此外，在例如图11中的所述处理中，上述(1)中的处理(差值计算处理)以及上述(2)中的处理(校正处理)是基于分割区域进行的。因此，通过进行例如图11中的所述处理，本实施例的图像处理装置能够进一步降低左眼图像和右眼图像之间可能存在的局部颜色分歧。
需要注意的是，根据本实施例的图像处理方法的处理并不限于图10中所示的第一示例的处理和图11中所示的第二示例的处理。
例如，本实施例的图像处理装置可以不进行图11中步骤S208中的处理。如果不进行步骤S208中的处理，则本实施例的图像处理装置通过使用在色调间平滑化后的基于色调的差值来进行图11中步骤S210中的处理。
当如上所述不进行步骤S208中的处理时，还是实现了上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。因此，例如，当如上所述不进行步骤S208中的处理时，本实施例的图像处理装置也能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
[2-3]通过使用本实施例的图像处理方法而被校正的图像的具体示例
接下来，示出了通过使用本实施例的图像处理方法而被校正的图像的具体示例。需要注意的是，通过使用本实施例的图像处理方法而被校正的图像的示例当然不限于下面将要示出的示例。
(i)通过使用本实施例的图像处理方法而被校正的图像的第一示例
图12是图示了通过使用本实施例的图像处理方法而被校正的图像的第一示例的说明图。图12图示了在对图1中的左眼图像(原始图像)和右眼图像(原始图像)进行本实施例的图像处理方法的处理时被校正的图像的示例。图12的A图示了校正后的左眼图像的示例，同时图12的B图示了原始右眼图像。
更具体地说，图12图示了下述情况的示例：该情况中，将图1中的左眼图像(原始图像)和右眼图像(原始图像)分别在垂直方向上分割成八个区域，并且随后基于分割区域进行上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。
在图12的A中正方形中的部分与图12的B中正方形中的部分进行比较时，左眼图像和右眼图像之间没有出现如同图2的A中正方形中的部分和图2的B中正方形中的部分中那样的颜色分歧。因此，通过进行本实施例的图像处理方法的所述处理，提高了作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
(ii)通过使用本实施例的图像处理方法而被校正的图像的第二示例
图13是图示了通过使用本实施例的图像处理方法而被校正的图像的第二示例的说明图。图13图示了在对图4中的左眼图像(原始图像)和右眼图像(原始图像)进行本实施例的图像处理方法的处理时被校正的图像的示例。图13的A图示了校正后的左眼图像的示例，同时图13的B图示了原始右眼图像。此外，图13的C图示了图13的A中正方形中的部分。
更具体地说，图13图示了下述情况的示例：该情况中，将图4中的左眼图像(原始图像)和右眼图像(原始图像)分别在垂直方向上分割成八个区域，并且随后基于分割区域进行上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。
在图13的A与图13的B进行比较时，左眼图像和右眼图像之间没有出现如同图5的A和图5的B中所示那样的颜色分歧。同样，在图13的C和图6的C进行比较时，当使用本实施例的图像处理方法时防止了如图6的C中那样的粗糙的灰度。因此，通过进行本实施例的图像处理方法的处理，提高了作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
(iii)通过使用本实施例的图像处理方法而被校正的图像的第三示例
图14是图示了通过使用本实施例的图像处理方法而被校正的图像的第三示例的说明图。图14图示了在对图7中的左眼图像(原始图像)和右眼图像(原始图像)进行本实施例的图像处理方法的处理时被校正的图像的示例。图14的A图示了校正后的左眼图像的示例，同时图14的B图示了原始右眼图像。
更具体地说，图14图示了下述情况的示例：该情况中，将图7中的左眼图像(原始图像)和右眼图像(原始图像)分别在垂直方向上分割成八个区域，并且随后基于分割区域进行上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。
在图14的A与图14的B进行比较时，图14的A中的校正后的左眼图像被校正为使得该图像的上部偏红，下部偏绿。也即是，与通过使用现有的图像处理方法而被校正的图8的A中的左眼图像不同的是，图14的A中校正后的左眼图像的下部不会太偏红并且上部不会偏绿，并且因此左眼图像和右眼图像间没有出现如图8的A和图8的B中那样的颜色分歧。因此，通过进行本实施例的图像处理方法的处理，提高了作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
(iv)通过使用本实施例的图像处理方法而被校正的图像的第四示例
图15是图示了通过使用本实施例的图像处理方法而被校正的图像的第四示例的说明图。图15图示了还未应用本实施例的图像处理方法的原始图像。图15的A图示了左眼图像(原始图像)，同时图15的B图示了右眼图像(原始图像)。
图16是图示了通过使用本实施例的图像处理方法而被校正的图像的第四示例的说明图。图16图示了在对图15中的左眼图像(原始图像)和右眼图像(原始图像)进行本实施例的图像处理方法的处理时被校正的图像的示例。图16的A图示了校正后的左眼图像的示例，同时图16的B图示了原始右眼图像。
更具体地说，图16图示了下述情况的示例：该情况中，将图15中的左眼图像(原始图像)和右眼图像(原始图像)分别在垂直方向上分割成八个区域，并且随后基于分割区域进行上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。
在图16的A与图16的B进行比较时，左眼图像和右眼图像间没有出现如图15的A和图15的B中那样的颜色分歧。因此，通过进行本实施例的图像处理方法的处理，提高了作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
2、本实施例的图像处理装置
接下来将对本实施例的图像处理装置的构造示例进行说明，本实施例的图像处理装置能够进行本实施例的图像处理方法的上述处理。
图17是图示了本实施例的图像处理装置100的构造示例的框图。图像处理装置100例如包括控制部102。
图像处理装置100例如还可包括ROM(未图示的只读存储器)、RAM(未图示的随机存取存储器)、存储部(未图示)、通信部(未图示)、用户可操作的操作部(未图示)以及在显示屏上显示各种画面的显示部(未图示)。图像处理装置100例如通过作为数据传输通道的总线将上述这些部件相互连接。
这里，所述ROM(未图示)存储着全部被控制部102使用的程序和诸如运算参数等控制数据。所述RAM(未图示)临时存储着由控制部102执行的程序等。
所述存储部(未图示)是包含于图像处理装置100中的存储器件，并且存储着诸如图像数据和应用程序等各种数据。这里，所述存储部(未图示)的示例包括诸如硬盘(Hard Disk)等磁性记录介质以及诸如闪存等非易失性存储器。所述存储部(未图示)还可以是相对于图像处理装置100可安装的和可拆卸的。
作为所述通信部(未图示)，例举了稍后描述的通信接口。此外，将稍后描述的操作输入器件和显示器件分别例举为所述操作部(未图示)和所述显示部(未图示)。
[图像处理装置100的硬件构造示例]
图18是图示了本实施例的图像处理装置100的硬件构造的示例的说明图。例如，图像处理装置100包括MPU150、ROM152、RAM154、记录介质156、输入/输出接口158、操作输入器件160、显示器件162以及通信接口164。此外，图像处理装置100通过使用例如用作数据传输通道的总线166将上述这些部件相互连接
MPU150例如由MPU(微处理单元)和各种处理电路构成，并且用作控制整个图像处理装置100的控制部102。在图像处理装置100中，MPU150例如还用作稍后将要说明的差值计算部110、校正部112和图像处理部114。
ROM152存储着由MPU150使用的程序和诸如运算参数等控制数据之类。RAM154暂时存储着例如由MPU150执行的程序等。
记录介质156充当所述存储部(未图示)，并且存储着诸如图像数据和应用程序等各种数据。这里，记录介质156的示例包括诸如硬盘等磁性记录介质和诸如闪存等非易失性存储器。记录介质156相对于图像处理装置100还可以是可安装的和可拆卸的。
输入/输出接口158例如与操作输入器件160和显示器件162进行连接。操作输入器件160和显示器件162分别用作所述操作部(未图示)和所述显示部(未图示)。这里，输入/输出接口158的示例包括USB(通用串行总线)端子、DVI(数字视频接口)端子、HDMI(高清多媒体接口)端子以及各种处理电路。此外，操作输入器件160例如设置在图像处理装置100上，且连接至图像处理装置100内部的输入/输出接口158。操作输入器件160的示例包括按钮、方向键、诸如操控旋钮(jog dial)等旋转式选择器以及它们的组合。显示器件162例如设置在图像处理装置100上，且连接至图像处理装置100内部的输入/输出接口158。显示器件162的示例包括液晶显示器(LCD)、有机电致发光显示器、有机发光二极管显示器(OLED)。
毋需多言，输入/输出接口158可连接至诸如用作图像处理装置100的外部设备的操作输入器件(例如键盘或鼠标)和显示器件等外部设备。显示器件162可以是能够实现显示和用户操作的诸如触摸屏等器件。
通信接口164是包含于图像处理装置100中的通信部件，并用作通过网络(或直接地)与诸如显示器件、服务器、摄像装置等外部设备进行无线/有线通信的通信部(未图示)。这里，通信接口164的示例包括：通信天线和RF(射频)电路(无线通信)；IEEE802.15.1端口以及发送和接收电路(无线通信)；IEEE802.11b端口以及发送和接收电路(无线通信)；LAN(局域网)端子以及发送和接收电路(有线通信)。根据本实施例的网络的示例包括：有线网络，诸如LAN或WAN(广域网)；无线网络，诸如无线LAN(WLAN；无线局域网)或具有基站的无线WAN(WWAN；无线广域网)；以及使用诸如TCP/IP(传输控制协议/互联网协议)等通信协议的互联网。
图像处理装置100例如以图18中的构造进行根据本实施例的图像处理方法的处理。注意，本实施例的图像处理装置100的硬件构造不限于图18中的构造。
例如，图像处理装置100可包括摄像器件，所述摄像器件用作拍摄静止图像或运动图像的摄像部(未图示)。当包括摄像器件时，图像处理装置100例如能够处理由该摄像器件的图像拍摄过程生成的拍摄图像。
这里，根据本实施例的摄像器件的示例包括透镜/摄像元件和信号处理电路。透镜/摄像元件例如包括使用多个光学系统透镜和诸如CMOS(互补金属氧化物半导体)等摄像元件的图像传感器。信号处理电路例如包括AGC(自动增益控制)电路和ADC(模拟数字转换器)，并将由摄像元件生成的模拟信号转换为数字信号(图像数据)以进行各种各样的信号处理。由信号处理电路进行的信号处理的示例包括白平衡校正处理、色度(hue)校正处理、伽马校正处理、YCbCr转换处理以及边缘增强处理。
当具有例如用于独立处理的构造时，图像处理装置100不一定必须包括通信接口164。图像处理装置100还可以具有不设置操作输入器件160和显示器件162的构造。
再次参照图17，说明图像处理装置100的构造示例。控制部102例如有MPU构成并且起到控制整个图像处理装置100的作用。控制部102包括例如差值计算部110、校正部112以及图像处理部114，并且在进行本实施例的图像处理方法的处理方面起主导作用。
差值计算部110在进行上述(1)中的处理(差值计算处理)方面起主导作用。更具体地说，例如，差值计算部110基于色调将表示左眼图像和右眼图像各者的每个色调的像素数量的直方图相互关联，基于关联后的色调计算左眼图像和右眼图像间的差值，然后将计算出的差值在色调间平滑化。
差值计算部110还可以分割并处理例如左眼图像和右眼图像每一者。更具体地，差值计算部110可以例如在左眼图像和右眼图像中的相互对应的分割区域的基础上计算差值，并且可以基于分割区域将在分割区域的基础上计算出的差值在色调间平滑化。此外，当基于分割区域将所述差值在色调间平滑化时，差值计算部110可以将该平滑化的基于色调的差值在相邻分割区域之间平滑化。
校正部112在执行上述(2)中的处理(校正处理)方面起主导作用，并且在由差值计算部110平滑化的基于色调的差值的基础上校正左眼图像或右眼图像。
此外，当差值计算部110在分割区域的基础上计算所述差值时，校正部112例如依据由差值计算部110基于分割区域在色调间进行了平滑化的差值或依据由差值计算部110在相邻分割区域间进一步平滑化的差值，在分割区域的基础上校正左眼图像或右眼图像。
图像处理部114在进行上述视点图像生成处理方面起主导作用，并且生成如下的一个以上图像：所述一个以上图像的视点分别与所述左眼图像的视点和所述右眼图像的视点不同。图像处理部114设定例如左眼图像或右眼图像为基准图像，并且生成将基准图像偏移了设定的相位差的图像。需要注意的是，如上所述，图像处理部114例如可通过根据任何能够生成其它视点的图像的视点图像生成技术进行处理(例如，多视点图像生成处理)，来生成其它视点的图像。
控制部102包括例如差值计算部110、校正部112以及图像处理部114，并且因此在进行本实施例的图像处理方法的处理(例如上述(1)中的处理(差值计算处理)、上述(2)中的处理(校正处理)、以及上述视点图像生成处理)方面起到主导作用。
需要注意的是，本实施例的控制部的构造并不限于图17中的构造。例如，本实施例的控制部不一定必须包括图像处理部114。即使当不包括图像处理部114时，本实施例的控制部仍然能够进行本实施例的图像处理方法的上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。因此，即使在不包括图像处理部114时，本实施例的控制部仍能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
利用例如图17中的构造，图像处理装置100进行上述的本实施例的图像处理方法的处理(例如，上述(1)中的处理(差值计算处理)、上述(2)中的处理(校正处理)、以及上述视点图像生成处理)。因此，利用例如图17中的构造，图像处理装置100能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
需要注意的是，本实施例的图像处理装置的构造并不限于图17中的构造。
例如，本实施例的所述图像处理装置可以单独地包括图17中示出的差值计算部110、校正部112以及图像处理部114(例如，可以利用各自的处理电路实现)。
本实施例的所述图像处理装置还可以具有这样的构造：例如，没有设置在进行上述视点图像生成处理方面起主导作用的图像处理部114。即使当具有其中未设置图像处理部114的构造时，本实施例的图像处理装置仍然能够根据本实施例的图像处理方法进行上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)。因此，即使在不包括图像处理部114时，本实施例的图像处理装置仍然能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
此外，本实施例的图像处理装置可以包括例如摄像部(未图示)。当包括所述摄像部(未图示)时，本实施例的图像处理装置能够处理由该摄像部(未图示)的图像拍摄过程生成的拍摄图像。所述摄像部(未图示)的示例包括本实施例的上述摄像器件。
如上所述，本实施例的图像处理装置进行例如上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)作为本实施例的图像处理方法的处理。需要注意的是，在上述(1)中的处理(差值计算处理)中，本实施例的图像处理装置基于关联后的色调计算左眼图像和右眼图像之间的差值，并且将计算出的差值在色调间平滑化。然后，在上述(2)中的处理(校正处理)中，本实施例的图像处理装置在平滑化的基于色调的差值的基础上校正左眼图像或右眼图像。因此，本实施例的图像处理装置能够进一步减小上述的在使用现有的图像处理方法的情况下可能发生的局部颜色分歧。
因此，本实施例的图像处理装置能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
此外，本实施例的图像处理方法的处理是简单的，因此即使在被实施为信号处理电路(硬件)的情况下，仍能够以不高的成本予以实现。
至此，一直将图像处理装置作为本实施例进行了说明，但本实施例不限于该形式。本实施例可适用于能够进行图像处理的各种设备，例如：平板装置；诸如移动电话或智能手机(smartphone)等通信装置；视频/音乐再现装置(或视频/音乐记录及再现装置)；游戏机；诸如PC(个人电脑)等计算机；以及诸如数码相机或数码摄像机等摄像装置。本实施例还可适用于例如能够被装配至上述设备中的处理IC(集成电路)。
3、本实施例的程序
通过用计算机执行使得该计算机起到本实施例的图像处理装置的功能的程序(该程序使得能够执行本实施例的图像处理方法的处理，诸如“上述(1)中的处理(差值计算处理)和上述(2)中的处理(校正处理)”，或者“上述(1)中的处理(差值计算处理)、上述(2)中的处理(校正处理)以及上述视点图像生成处理”)，能够提高作为立体图像的构成部分的左眼图像和右眼图像之间的颜色分歧的校正精度。
上文中已经参照附图详述了本发明的优选实施例，但本发明的技术范围不限于所述示例。本领域技术人员应当理解，在随附的权利要求或其等同物的范围内，依据设计要求及其他因素可做出各种变形、组合、子组合以及替换。
例如，以上说明表明：提供了使计算机起到本实施例的图像处理装置的功能的程序(计算机程序)。然而，在本实施例中，能够一起提供存储有该程序的记录介质。
前述的构造仅仅是本实施例的示例，因而自然属于本发明的技术范围内。
此外，本发明还可被构造如下。
(1)一种图像处理装置，其包括：
差值计算部，所述差值计算部基于色调将分别表示作为立体图像的构成部分的左眼图像和右眼图像中的每个色调的像素数量的直方图相互关联，所述差值计算部基于关联后的色调计算所述左眼图像和所述右眼图像之间的差值，并且所述差值计算部将计算出的所述差值在色调间平滑化；以及
校正部，所述校正部在平滑化后的基于色调的所述差值的基础上校正所述左眼图像或所述右眼图像。
(2)根据(1)所述的图像处理装置，其中，
所述差值计算部对所述左眼图像和所述右眼图像每一者进行区域分割，依据所述左眼图像和所述右眼图像中的相互对应的分割区域来计算所述差值，且将依据所述分割区域计算出的所述差值基于所述分割区域在色调间平滑化，并且
所述校正部在所述分割区域的基础上校正所述左眼图像或所述右眼图像。
(3)根据(2)所述的图像处理装置，其中，所述差值计算部将平滑化后的基于色调的所述差值在相邻分割区域间进一步平滑化。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，所述差值计算部以减少所述左眼图像和所述右眼图像的色调位数的方式计算所述直方图。
(5)根据(1)至(4)中任一项所述的图像处理装置，其还包括：
图像处理部，所述图形处理部生成位于与所述左眼图像的视点和所述右眼图像的视点不同的其它视点的一个以上图像。
(6)一种图像处理方法，其包括如下步骤：
基于色调将分别表示作为立体图像的构成部分的左眼图像和右眼图像中的每个色调的像素数量的直方图相互关联，基于关联后的色调计算所述左眼图像和所述右眼图像之间的差值，并且将计算出的所述差值在色调间平滑化；以及
在平滑化后的基于色调的所述差值的基础上校正所述左眼图像或所述右眼图像。
本申请包含与2012年9月4日向日本专利局提交的日本优先权专利申请JP2012-194539所公开的内容相关的主题，因此将该日本优先权申请的全部内容以引用的方式并入本文。

Claims (12)

1.一种图像处理装置，其包括：
差值计算部，所述差值计算部基于色调将分别表示作为立体图像的构成部分的左眼图像和右眼图像中的每个色调的像素数量的直方图相互关联，所述差值计算部基于关联后的色调计算所述左眼图像和所述右眼图像之间的差值，并且所述差值计算部将计算出的所述差值在色调间平滑化；以及
校正部，所述校正部在平滑化后的基于色调的所述差值的基础上校正所述左眼图像或所述右眼图像。
2.根据权利要求1所述的图像处理装置，其中，
所述差值计算部对所述左眼图像和所述右眼图像每一者进行区域分割，依据所述左眼图像和所述右眼图像中的相互对应的分割区域来计算所述差值，且将依据所述分割区域计算出的所述差值基于所述分割区域在色调间平滑化，并且
所述校正部在所述分割区域的基础上校正所述左眼图像或所述右眼图像。
3.根据权利要求2所述的图像处理装置，其中，所述差值计算部将平滑化后的基于色调的所述差值在相邻分割区域间进一步平滑化。
4.根据权利要求1至3中任一项所述的图像处理装置，其中，所述差值计算部以减少所述左眼图像和所述右眼图像的色调位数的方式计算所述直方图。
5.根据权利要求4所述的图像处理装置，其中，如何减少所述左眼图像和所述右眼图像的色调位数包括删除所述左眼图像和所述右眼图像的色调位中的较低M位，这里M是正整数。
6.根据权利要求1至3中任一项所述的图像处理装置，其还包括：图像处理部，所述图形处理部生成位于与所述左眼图像的视点和所述右眼图像的视点不同的其它视点的一个以上图像。
7.一种图像处理方法，其包括如下步骤：
进行差值计算处理，在所述差值计算处理中，基于色调将分别表示作为立体图像的构成部分的左眼图像和右眼图像中的每个色调的像素数量的直方图相互关联，基于关联后的色调计算所述左眼图像和所述右眼图像之间的差值，并且将计算出的所述差值在色调间平滑化；以及
进行校正处理，在所述校正处理中，在平滑化后的基于色调的所述差值的基础上校正所述左眼图像或所述右眼图像。
8.根据权利要求7所述的图像处理方法，其中，
在所述差值计算处理中，对所述左眼图像和所述右眼图像每一者进行区域分割，依据所述左眼图像和所述右眼图像中的相互对应的分割区域来计算所述差值，且将依据所述分割区域计算出的所述差值基于所述分割区域在色调间平滑化，并且
在所述校正处理中，在所述分割区域的基础上校正所述左眼图像或所述右眼图像。
9.根据权利要求8所述的图像处理方法，其中，在所述差值计算处理中，将平滑化后的基于色调的所述差值在相邻分割区域间进一步平滑化。
10.根据权利要求7至9中任一项所述的图像处理方法，其中，在所述差值计算处理中，以减少所述左眼图像和所述右眼图像的色调位数的方式计算所述直方图。
11.根据权利要求10所述的图像处理方法，其中，如何减少所述左眼图像和所述右眼图像的色调位数包括删除所述左眼图像和所述右眼图像的色调位中的较低M位，这里M是正整数。
12.根据权利要求7至9中任一项所述的图像处理方法，其还包括：
进行视点图像生成处理，在所述视点图像生成处理中，生成位于与所述左眼图像的视点和所述右眼图像的视点不同的其它视点的一个以上图像。
CN201310373719.5A 2012-09-04 2013-08-23 图像处理装置和图像处理方法 Pending CN103685853A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-194539 2012-09-04
JP2012194539A JP2014053650A (ja) 2012-09-04 2012-09-04 画像処理装置、および画像処理方法

Publications (1)

Publication Number Publication Date
CN103685853A true CN103685853A (zh) 2014-03-26

Family

ID=50187688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310373719.5A Pending CN103685853A (zh) 2012-09-04 2013-08-23 图像处理装置和图像处理方法

Country Status (3)

Country Link
US (1) US20140064606A1 (zh)
JP (1) JP2014053650A (zh)
CN (1) CN103685853A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014053651A (ja) * 2012-09-04 2014-03-20 Sony Corp 画像処理装置、画像処理方法、およびプログラム
JP6911765B2 (ja) * 2015-11-11 2021-07-28 ソニーグループ株式会社 画像処理装置および画像処理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4158671B2 (ja) * 2003-09-30 2008-10-01 ブラザー工業株式会社 画像処理方法、画像処理装置及び画像処理プログラム
JP4815470B2 (ja) * 2007-06-15 2011-11-16 富士フイルム株式会社 画像表示装置及び画像表示方法
JP5522404B2 (ja) * 2008-04-03 2014-06-18 Ｎｌｔテクノロジー株式会社 画像処理方法、画像処理装置及びプログラム
JP5623156B2 (ja) * 2010-06-29 2014-11-12 キヤノン株式会社 画像処理装置及びその制御方法
WO2012035768A1 (ja) * 2010-09-14 2012-03-22 学校法人幾徳学園 情報表示装置

Also Published As

Publication number Publication date
JP2014053650A (ja) 2014-03-20
US20140064606A1 (en) 2014-03-06

Similar Documents

Publication Publication Date Title
CN108604373B (zh) 用于使用多个相机实施无缝缩放功能的系统和方法
US7652717B2 (en) White balance correction in digital camera images
US10284835B2 (en) Photo-realistic shallow depth-of-field rendering from focal stacks
CN101656832B (zh) 图像处理装置、图像处理方法和成像装置
US9489726B2 (en) Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable-medium
JP5744614B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
CN107948733B (zh) 视频图像处理方法及装置、电子设备
WO2015113655A1 (en) Method for conversion of a saturated image into a non-saturated image
CN104954771A (zh) 进行色阶校正的图像处理设备和图像处理方法
CN112215760A (zh) 一种图像处理的方法及装置
US8624996B2 (en) Auto white balance algorithm using RGB product measure
CN103685854A (zh) 图像处理装置、图像处理方法和程序
CN116485979B (zh) 映射关系计算方法、颜色校准方法及电子设备
JP2014126803A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US9832395B2 (en) Information processing method applied to an electronic device and electronic device having at least two image capturing units that have the same image capturing direction
JP6101661B2 (ja) 画像合成装置および画像合成方法ならびに画像合成プログラムおよび画像合成プログラムを格納した記録媒体
JP2013162287A (ja) 画像処理装置、画像処理方法、およびプログラム
CN103685853A (zh) 图像处理装置和图像处理方法
KR102164998B1 (ko) 디지털 영상 선예도 강화 방법
US20140036045A1 (en) Image processing apparatus, image processing method, and program
US20140133752A1 (en) Display apparatus and method for image output thereof
JP6818585B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
US9531956B2 (en) Image display apparatus that adjusts pixel gradation values using a lower limit value and control method thereof
KR102194447B1 (ko) 디지털 영상 노이즈 제거 방법
US20210218887A1 (en) Imaging apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140326