CN103098480B - 图像处理装置及方法、三维摄像装置 - Google Patents

图像处理装置及方法、三维摄像装置 Download PDF

Info

Publication number
CN103098480B
CN103098480B CN201280002528.1A CN201280002528A CN103098480B CN 103098480 B CN103098480 B CN 103098480B CN 201280002528 A CN201280002528 A CN 201280002528A CN 103098480 B CN103098480 B CN 103098480B
Authority
CN
China
Prior art keywords
light
images
focus
pixel
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280002528.1A
Other languages
English (en)
Other versions
CN103098480A (zh
Inventor
石井育规
平本政夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN103098480A publication Critical patent/CN103098480A/zh
Application granted granted Critical
Publication of CN103098480B publication Critical patent/CN103098480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本发明的图像处理装置(7)具备：提取具有视差的2个图像的合焦区域的合焦区域提取部(72)；基于所述2个图像的合焦区域中包含的像素的颜色信息来求出所述2个图像间的颜色变换矩阵的颜色变换矩阵计算部(73)；和利用所述颜色变换矩阵来对所述2个图像中的一方的颜色进行变换的颜色变换部(74)。

Description

图像处理装置及方法、三维摄像装置
技术领域
本申请涉及利用1个光学系统和1个摄像元件来生成具有视差的多个 图像的单眼三维摄像技术。
背景技术
近年来，在利用了CCD或CMOS等固体摄像元件(以下，有时称作 “摄像元件”)的数码照相机或数码摄录像机(digital camcorder)的高功 能化、高性能化中存在令人瞠目的技术。尤其是由于半导体制造技术的进 步，固体摄像元件中的像素构造的微小化不断进步。结果，实现了固体摄 像元件的像素以及驱动电路的高集成化。因此，在短短的数年中摄像元件 的像素数就从100万像素程度显著增加到了1000万像素以上。并且，通 过摄像而得到的图像的质量也飞跃性地提高。
另一方面，关于显示装置，通过薄型的液晶或等离子所构成的显示器， 能够不占空间地以高分辨率进行高对比度的显示，实现了高性能。这种影 像的高品质化的趋势，从二维图像日益扩展到三维图像。近来，虽然需要 偏光眼镜，但高画质的三维显示装置已经开始被开发。
关于三维摄像技术，作为具有简单的构成的代表性的方式，存在如下 方式：利用由2个照相机构成的摄像系统，来分别取得右眼用的图像以及 左眼用的图像。在这种所谓双眼摄像方式中，由于利用2个照相机，因此 摄像装置可能变得大型，成本也可能变高。因此，研究了利用1个照相机 来取得具有视差的多个图像(以下，有时称作“多视点图像：multi-viewpoint images”)的方式(单眼摄像方式)。
例如，在专利文献1中公开了一种利用彩色滤光器来同时取得具有视差的2个图像的技术。图10是示意性地表示专利文献1中公开的摄像系统的图。该技术中的摄像系统，具备：透镜3；透镜光圈19；配置了透射波长段不同的2个彩色滤光器20a、20b的光束限制板20；和感光膜21。在此，彩色滤光器20a、20b，例如是使红色系、蓝色系的光分别透射的滤 光器。
通过以上的构成，入射光透射透镜3、透镜光圈19、以及光束限制板 20，在感光膜上成像。此时，光束限制板20中的2个彩色滤光器20a、20b， 分别仅透射红色系、蓝色系的光。结果，在感光膜上形成基于分别透射了 这2个彩色滤光器的光而产生的深红色(magenta)系的颜色的像。在此， 由于彩色滤光器20a、20b的位置不同，因此在感光膜上形成的像产生视 差。在此，若从感光膜制作照片，并使用分别粘贴了右眼用的红色膜以及 左眼用的蓝色膜的眼镜，则能够观看有进深感的图像。像这样，根据专利 文献1中公开的技术，能够使用2个彩色滤光器来制作多视点图像。
专利文献1中公开的技术，是使光在感光膜上成像，并制作具有视差 的多个图像的技术，另一方面，在专利文献2中公开了一种将具有视差的 图像变换为电信号来进行获取的技术。图11是示意性地表示该技术中的 光束限制板的图。在该技术中，使用在与摄像光学系统的光轴垂直的平面 上，设置了透射红色光的R区域22R、透射绿色光的G区域22G、透射蓝 色光的B区域22B的光束限制板22。通过用具有红色用的R像素、绿色 用的G像素、蓝色用的B像素的彩色摄像元件来接收透射了这些区域的 光，能够取得透射了各区域的光所产生的图像。
此外，在专利文献3中，也公开了一种利用与专利文献2同样的构成 来取得具有视差的多个图像的技术。图12是示意性地表示专利文献3中 公开的光束限制板的图。在该技术中，通过入射光透射设置于光束限制板 23的R区域23R、G区域23G、B区域23B从而也能够制作存在视差的 图像。
专利文献4也同样公开了一种利用相对于光轴对称地配置的、彼此颜 色不同的一对滤光器来生成具有视差的多个图像的技术。通过利用红色的 滤光器以及蓝色的滤光器作为一对滤光器，探测红色光的R像素观测透射 了红色滤光器的光，探测蓝色光的B像素观测透射了蓝色滤光器的光。由 于红色滤光器和蓝色滤光器位置不同，因此R像素所接收的光的入射方向 与B像素所接收的光的入射方向彼此不同。结果，用R像素观测到的图像 与用B像素观测到的图像，成为彼此视点不同的图像。通过根据这些图像 按照每个像素求出对应点，来算出视差量。根据算出的视差量和照相机的 焦点距离信息，来求出从照相机到被摄体的距离。
专利文献5公开了如下技术：根据利用安装了口径尺寸相互不同的2 个彩色滤光器的光圈、或者相对于光轴在左右对称的位置安装了颜色不同 的2个彩色滤光器的光圈而取得的2个图像来求出被摄体的距离信息。在 该技术中，在观测分别透射了口径尺寸相互不同的红色以及蓝色的彩色滤 光器的光的情况下，按照每个颜色而观测到的模糊的程度不同。因此，与 红色以及蓝色的彩色滤光器分别对应的2个图像，成为根据被摄体的距离的不同而模糊的程度不同的图像。通过根据这些图像求出对应点，并对模 糊的程度进行比较，从而能够得到从照相机到被摄体的距离信息。另一方 面，在观测分别透射了相对于光轴在左右对称的位置安装的颜色不同的2 个彩色滤光器的光的情况下，按照每个颜色而观测到的入射光的方向不 同。因此，与红色以及蓝色的彩色滤光器分别对应的2个图像，成为具有 视差的图像。通过根据这些图像求出对应点，并求出对应点间的距离，从 而能够得到从照相机到被摄体的距离信息。
根据上述专利文献1～5所示的技术，通过在光束限制板配置RGB的 彩色滤光器能够生成存在视差的图像。但是，由于使用光束限制板，因此 入射光量减少。此外，为了提高视差的效果需要将RGB的彩色滤光器配 置在相互远离的位置，并减小它们的面积，这样一来入射光量进一步减少。
针对以上技术，在专利文献6中公开了一种利用配置了RGB的彩色 滤光器的光圈，来得到具有视差的多个图像和光量上没有问题的通常图像 的技术。在该技术中，在关闭了光圈的状态下仅有透射了RGB的彩色滤 光器的光被接收，在打开了光圈的状态下RGB的彩色滤光器区域被从光 程中去掉，因此能够接收所有入射光。由此，在关闭了光圈的状态下取得 存在视差的图像，在打开了光圈的状态下能够得到光利用率高的通常图 像。
在先技术文献
专利文献
专利文献1：JP特开平2-171737号公报
专利文献2：JP特开2002-344999号公报
专利文献3：JP特开2009-276294号公报
专利文献4：JP特开2010-38788号公报
专利文献5：JP特开2010-79298号公报
专利文献6：JP特开2003-134533号公报
非专利文献
非专利文献1：“利用了通过反复进行平滑化处理而进行的图割(graph cut)的图像分割”，永桥知行、藤吉弘亘、金出武雄，信息处理学会论文 志CVIM，Vol.1，No.2，pp.10-20，2008.
发明内容
发明要解决的课题
根据现有技术，虽然能够取得具有视差的多个图像，但由于使用原色 (RGB)的彩色滤光器，因此摄像元件的受光量减少。为了充分确保入射 光量，如专利文献6中记载的那样，需要利用通过机械驱动来从光程中去 除彩色滤光器的机构，来取得光利用率高的通常图像。但是，在设置了这 种机构的情况下，存在导致装置的大型化以及高成本化的课题。
本发明的实施方式，鉴于上述课题，提供一种无需进行机械驱动，就 能够取得光利用率高的多视点图像的摄像技术。
用于解决课题的技术手段
本发明的一个方式的图像处理装置，使具有视差的2个图像的颜色匹 配。所述图像处理装置具备：合焦区域提取部，其提取所述2个图像的合 焦区域；颜色变换矩阵计算部，其基于所述2个图像的合焦区域中包含的 像素的颜色信息，来求出所述2个图像间的颜色变换矩阵；和颜色变换部， 其利用所述颜色变换矩阵来对所述2个图像中的一方的颜色进行变换。
上述一般且特定的方式，可以利用系统、方法、以及计算机程序来安 装，或者利用系统、方法以及计算机程序的组合来实现。
发明效果
根据本发明的实施方式，无需进行机械驱动，就能够取得光利用率高 的多视点图像。
附图说明
图1是表示实施方式中的三维摄像装置的整体构成的框图。
图2是表示实施方式中的透光板、光学系统、以及摄像元件的概略构 成的示意图。
图3是表示实施方式中的透光板的透射区域的配置的图。
图4是表示实施方式中的摄像元件的透射滤光器的基本构成的图。
图5是表示实施方式中的彩色摄像元件的透射滤光器的基本构成的 图。
图6是表示实施方式中的被摄体的合焦状态的例子的图。
图7A是表示实施方式中的图像信号生成部的功能模块的图。
图7B是表示实施方式中的图像信号生成部中的颜色变换处理的流程 的图。
图8(a)是表示实施方式中的多视点图像的一个例子的图，(b)是 表示提取了高频成分后的结果的例子的图，(c)是表示对合焦区域进行 计算而得到的结果的例子的图。
图9是表示利用变换矩阵Mc来对颜色变换前的L图像的各像素的颜 色进行变换的处理样态的图。
图10是专利文献中的摄像系统的构成图。
图11是专利文献中的光束限制板的外观图。
图12是专利文献中的光束限制板的外观图。
具体实施方式
(1)为了解决上述课题，本发明的一个方式的图像处理装置，使具 有视差的2个图像的颜色匹配，所述图像处理装置具备：合焦区域提取部， 其提取所述2个图像的合焦区域；颜色变换矩阵计算部，其基于所述2个 图像的合焦区域中包含的像素的颜色信息，来求出所述2个图像间的颜色 变换矩阵；和颜色变换部，其利用所述颜色变换矩阵来对所述2个图像的 中的一方的颜色进行变换。
(2)在项目(1)所述的图像处理装置的某方式中，还具备高频成分 计算部，所述高频成分计算部算出所述2个图像的至少一方的高频成分， 所述合焦区域提取部基于算出的所述高频成分，来提取所述合焦区域。
(3)在项目(2)所述的图像处理装置的某方式中，所述合焦区域提 取部，提取所述高频成分的量比预先决定的阈值多的高频像素的附近作为 合焦区域。
(4)在项目(3)所述的图像处理装置的某方式中，所述合焦区域提 取部提取包含所述高频像素在内的n个像素×m个像素(n、m是1以上的 整数)的矩形区域作为所述合焦区域。
(5)在项目(3)或(4)所述的图像处理装置的某方式中，所述合 焦区域提取部提取以所述高频像素为中心的n个像素×m个像素(n、m是 1以上的整数)的矩形区域作为所述合焦区域。
(6)在项目(1)到(5)中任一项所述的图像处理装置的某方式中， 所述颜色变换矩阵计算部，利用基于最小平方法的线性运算、M估计法、 以及RANSAC法中的任意一种方法来求出所述颜色变换矩阵。
(7)本发明的一个方式的三维摄像装置，具备：透光部，其具有分 光透射率特性相互不同的2个透射区域；摄像元件，其按照接收透射了所 述透光部的光的方式配置，具有分光透射率特性相互不同的2种像素；和 图像处理部，其基于从所述摄像元件输出的像素信号来生成具有视差的2 个图像。所述图像处理部具有：合焦区域提取部，其提取所述2个图像的 合焦区域；颜色变换矩阵计算部，其基于所述2个图像的合焦区域中包含 的像素的颜色信息，来求出所述2个图像间的颜色变换矩阵；和颜色变换 部，其利用所述颜色变换矩阵来对所述2个图像中的一方的颜色进行变换。
(8)本发明的一个方式的图像处理方法，是使具有视差的2个图像 的颜色匹配的图像处理方法，所述图像处理方法包括如下步骤：提取所述 2个图像的合焦区域的步骤；基于所述2个图像的合焦区域中包含的像素 的颜色信息，来求出所述2个图像间的颜色变换矩阵的步骤；和利用所述 颜色变换矩阵来对所述2个图像中的一方的颜色进行变换的步骤。
(9)本发明的一个方式的图像处理程序，是使具有视差的2个图像 的颜色匹配的图像处理程序，所述图像处理程序使计算机执行如下步骤： 提取所述2个图像的合焦区域的步骤；基于所述2个图像的合焦区域中包 含的像素的颜色信息，来求出所述2个图像间的颜色变换矩阵的步骤；和 利用所述颜色变换矩阵来对所述2个图像中的一方的颜色进行变换的步 骤。
以下，参照附图对本发明的更具体的实施方式进行说明。在以下的说 明中，对公共或对应的要素附加相同的符号。另外，在本说明书中，有时 将表示图像的信号或信息简称为“图像”。
(实施方式)
图1是表示本发明的实施方式的三维摄像装置(以下，简称“摄像装 置”。)的整体构成的框图。本实施方式的摄像装置是数字式的电子照相 机，具备：摄像部100；和基于从摄像部100输出的信号来生成表示图像 的信号(图像信号)的信号处理部200。
摄像部100具备：具有在摄像面上排列的多个光感知单元的摄像元件 (图像传感器)1；具有透射波长段相互不同的2个透射区域的透光板2； 用于在摄像元件1的摄像面上形成像的光学透镜3；和红外截止滤光器4。 摄像部100还具备：产生用于对摄像元件1进行驱动的基本信号并且接收 来自摄像元件1的输出信号来送出到信号处理部200的信号产生/接收部 5；和基于由信号产生/接收部5产生的基本信号来对摄像元件1进行驱 动的元件驱动部6。摄像元件1典型的是CCD或CMOS传感器，通过公 知的半导体制造技术而制造。信号产生/接收部5以及元件驱动部30例 如由CCD驱动器等LSI构成。
信号处理部200具备：对从摄像部100输出的信号进行处理来生成图 像信号的图像信号生成部7；保存用于图像信号的生成的各种数据的存储 器30；和将所生成的图像信号送出到外部的接口(IF)部8。图像信号生 成部7可以通过公知的数字信号处理器(DSP)等硬件、和执行包括图像 信号生成处理在内的图像处理的软件的组合而最佳地实现。存储器30由 DRAM等构成。存储器30记录从摄像部100得到的信号，并且暂时存储 由图像信号生成部7生成的图像数据、压缩后的图像数据。这些图像数据 通过接口部8被送出到未图示的记录介质或显示部等。
另外，本实施方式的摄像装置可以具备电子快门、取景器、电源(电 池)、闪光灯等公知的构成要素，但它们的说明并不是本发明的理解所必 须的因而省略。此外，上述构成是一例，在本实施方式中，透光板2、摄 像元件1、图像信号生成部7以外可以适当将公知的要素组合来使用。
接着，参照图2～4更详细地说明摄像部100的构成。
图2是示意性地表示摄像部100中的透光板2、透镜3、以及摄像元 件1的配置关系的图。另外，在图2中，省略了透光板2、透镜3、以及 摄像元件1以外的构成要素。透镜3可以是由多个透镜群构成的透镜单元， 但在图2中为了简单，描绘成了单一的透镜。
透光板2具有光透射率的波长依赖性(分光透射率)相互不同的2个 透射区域C1、C2。透镜3是公知的透镜，对透射了透光板2的光进行聚 光，并在摄像元件1的摄像面1a成像。另外，在本实施方式中，透光板2 的透射区域C1、C2以外的区域，由遮光性构件构成。
图3是本实施方式中的透光板2的主视图。本实施方式中的透光板2 的形状与透镜3相同，为圆形，但也可以为其他形状。在区域C1中，配 置有使可见光的任意波长段的光透射的滤光器W1。区域C2也同样地配 置使可见光的任意波长段的光透射的滤光器W2。滤光器W1和滤光器W2 的透射率的波长依赖性不同。即，即使在相同的光通过了各个滤光器的情况下，透射光的明亮度(亮度)也不同。滤光器W1以及滤光器W2，只 要是以希望的透射率使光透射的材料，则可以用玻璃、塑料、玻璃纸 (cellophane)等、任何材料构成。另外，本实施方式中的W1滤光器以及 W2滤光器，使可见光的任意波长段的光透射，但不必一定具有这种特性。 也可以构成为W1滤光器以及W2滤光器的一方或者双方使一部分波长段 的可见光不透射。
在此，区域C1以及区域C2在x方向分离配置。这些区域的中心间的 距离L，根据透镜3的尺寸，按照所取得的图像具有合适的视差的方式来 决定。距离L，例如，可以设定为数mm～数em。此外，区域C1、C2， 一般相对于光轴左右对称且为相同面积。通过这种构成，能够使入射到区 域C1、C2的光的量实质上相等。此外，在根据用途想要取得具有上下视 差的多视点图像的情况下，也可以将区域C1、C2上下(沿着y方向)配 置。
在分别配置于区域C1、C2的滤光器W1的透射率与滤光器W2的透 射率的差较大的情况下，通过后述的摄像元件1的各光感知单元而观测到 的光电变换信号的值(像素值)的差变大。因此，也可以按照具有视差的 2个图像的整体的明亮度接近的方式，来调整区域C1、C2的面积。或者， 也可以通过将ND滤光器等使可见光段的所有光的透射率均等地下降的滤 光器与透光板2并用来调整实现透射区域C1、C2的光的量成为相同程度。
在图2所示的摄像元件1的摄像面1a，形成有二维排列的光感知单元 阵列以及与光感知单元阵列对置配置的透射滤光器阵列。光感知单元阵列 以及透射滤光器阵列由多个单位要素构成。
各光感知单元，典型的是光电二极管，通过光电变换而输出与各自的 受光量相应的电信号(光电变换信号或像素信号)。此外，各透射滤光器 利用公知的颜料或电介质多层膜等来制作，设计为使入射光的至少一部分 透射。在以下的说明中，首先，以各单位要素包含2种透射滤光器的情况 为例，对本实施方式的基本原理进行说明。
图4是示意性地表示本实施方式中的透射滤光器阵列的一部分的图。 如图所示，在摄像面1a上矩阵状地排列有多个透射滤光器110。接近的2 个透射滤光器110以及与它们对置的2个光感知单元120构成了1个单位 要素。各单位要素所具有的2个透射滤光器D1、D2，都使可见光段的任 意的光透射，但分光透射率相互不同。即，虽然透射滤光器D1、D2都使 红色(R)、绿色(G)、蓝色(B)的波长段的光透射，但它们的透射率 的波长依赖性不同。另外，在图4所示的例子中，1个单位要素中包含的 2个光感知单元120横向(x方向)排列，但本发明不限定于这种例子。 摄像元件1中的光感知单元的排列可以为公知的任何排列。
根据以上的构成，在曝光过程中入射到摄像装置的光，通过透光板2、 透镜3、红外截止滤光器4、透射滤光器110而入射到光感知单元120。各 光感知单元120对透射了透光板2的各个区域C1、C2的光中、通过了对 置的透射滤光器的光进行接收，并输出与所接收的光的量相应的光电变换 信号。由各光感知单元输出的光电变换信号，通过信号产生/接收部5而 被送出到信号处理部200。信号处理部200中的图像信号生成部7基于从 摄像部100送出的信号来生成具有视差的图像。
以下，对被从各光感知单元120输出的光电变换信号进行说明。首先， 对与透射了透光板2的区域C1、C2的光的强度相当的信号分别附加下标 “i”用Ci1、Ci2来表示。在此，假定入射的光中可见光以外的成分被止 透(cut)。此外，在本实施方式中，假定该入射光中可见光段的任何波长 的光都包含相等的量。此外，假设将透镜3以及红外截止滤光器4加起来的分光透射率为Tw，区域C1的W1滤光器的分光透射率为TC1，区域 C2的W2滤光器的分光透射率为TC2。滤光器W1和滤光器W2虽然都使 可见光段的任意的光透射，但每个波长的透射率不同。即，滤光器W1以 及滤光器W2虽然都使R、G、B的光透射，但各色成分的透射量在两滤光器中不同。同样，将摄像元件1中的透射滤光器D1、D2的分光透射率 分别表示为TD1、TD2。TD1、TD2也与TC1、TC2同样地每个波长的透 射率不同，但具有使R、G、B的光透射的特性。因此，在本实施方式中， 入射光中包含的R、G、B的各成分的光的至少一部分，透射全部滤光器C1、C2、D1、D2。因此，摄像元件1的与透射滤光器D1、D2对置的2 个光感知单元都能够得到R、G、B的3色成分重叠的信号。
在此，Tw、TC1、TC2、TD1、TD2是依赖于入射的光的波长λ的函 数。将表示透射了透射滤光器D1、D2而入射到与透射滤光器D1、D2对 置的光感知单元的光的强度的信号，分别表示为d1、d2。此外，用记号∑ 来表示可见光的波长段的分光透射率的积分运算。例如，将针对波长λ的 积分运算∫TwTC1TD1dλ等表示为∑TwTC1TD1等。在此，积分在可见光 的全部波长段进行。于是，d1与将Ci1∑TwTC1TD1和Ci2∑TwTC2TD2合 计而得到的结果成比例。同样，d2与将Ci1∑TwTC1TD2和Ci2∑TwTC2TD2 合计而得到的结果成比例。若将这些关系中的比例系数设为1，则d1、d2 可以用以下的式1～2来表示。
(式1)d1＝Ci1∑TwTC1TD1+Ci2∑TwTC2TD1
(式2)d2＝Ci1∑TwTC1TD2+Ci2∑TwTC2TD2
在式1、2中，将∑TwTC1TD1、∑TwTC2TD1、∑TwTC1TD2、 ∑TwTC2TD2分别用Mx11、Mx12、Mx21、Mx22来表示。于是，式1可 以利用矩阵用以下的式3来表示。
【数1】
(式3)
在此，若将由式3中的要素Mx11～Mx22构成的矩阵的逆矩阵的要素 分别设为iM11～iM22，则式3可以变形为以下的式4。即，可以利用光电 变换信号d1、d2来示出表示透射了区域C1、C2的光的强度的信号。
【数2】
(式4)
根据式4，可以利用对图像进行拍摄而得到的像素信号d1、d2来获得 表示透射了区域C1、C2的光的强度的信号。区域C1、C2在x方向分离， 因此入射到区域C1的光所产生的像和入射到区域C2的光所产生的像，成 为视点不同的2个图像。通过上述处理生成的表示从不同位置入射的光的 强度的信号构成多视点图像。
为了用以上方法生成多视点图像，需要按照每个单位要素来取得来自 2个光感知单元的像素信号。用于基于来自该2个光感知单元的像素信号 来算出多视点图像的条件是，透射滤光器D1、D2的可见光段中的分光透 射率相互不同。因此，在本实施方式中，不限于图4所示的构成，也可以 如图5所示，采用如下构成，即各单位要素具有4个光感知单元以及与这 4个光感知单元相对配置的透射滤光器D1、R、G、B。以下示出即使在这 种情况下也能够与上述同样地算出多视点图像的情况。
图5所示的透射滤光器R、G、B，设计为分别使入射光的红色成分、 绿色成分、蓝色成分透射。在此，红色成分是大约600nm～700nm的波长 段的光，绿色成分是大约500nm～600nm的波长段的光，蓝色成分是大约 400nm～500nm的波长段的光。不过，该定义是为了方便的定义，可以适 当规定使哪个颜色成分与哪个波长段对应。图5所示的透射滤光器D1与图4所示的滤光器D1相同。滤光器D1例如可以是透明滤光器。并且， 将从与透射滤光器R、G、B对置的3个光感知单元输出的像素信号相加 而得到的信号看作一个像素信号d2。于是，与透射滤光器D1对置的光感 知单元的像素信号d1、和像素信号d2都包含R、G、B的颜色成分，它们 的成分比率相互不同。由此，能够与参照图4而说明了的方法同样地算出 多视点图像。
并且，图5所示的摄像元件1包含探测R光的光感知单元(R像素)、 探测G光的光感知单元(G像素)、以及探测B光的光感知单元(B像素)。 因此，能够利用从这些像素获得的颜色信息来生成彩色图像。通过对用以 上述方法获得的多视点图像的亮度信号Ci1、Ci2附加从R、G、B像素获 得的颜色信息，能够得到彩色的多视点图像。若将多视点图像的亮度信号分别设为Y1(＝Ci1)、Y2(＝Ci2)，将从R像素获得的信号设为Rs， 将从B像素获得的信号设为Bs，将对亮度信号Y1、Y2进行合计而得到 的亮度信号设为YL＝Y1+Y2，则色差信号表示为(YL-Rs)、(YL- Bs)。在生成了这些色差信号之后，用带通滤波器使这些色差信号成为低 频带，并将其重叠于2个多视点图像的信号Ci1、Ci2，由此能够获得被彩 色化了的多视点图像。
在此，将透射了区域C1的光所产生的图像的R、G、B值分别表示为 IMG(L)r、IMG(L)g、IMG(L)b。此外，将透射了区域C2的光所 产生的图像的R、G、B值分别表示为IMG(R)r、IMG(R)g、IMG(R) b。于是，这些值可以通过以下的式5、6所示的运算来算出。在此，式5、 式6所示的M是用于将亮度信号Y1或Y2、和2个色差信号YL-Rs、 YL-Bs变换为各图像的RGB值的3x3的变换矩阵。
【数3】
(式5)
【数4】
(式6)
通过式5、式6所表示的处理，能够根据亮度信号和色差信号得到被 彩色化后的图像信号。图像信号生成部7通过按照每个单位要素算出这些 图像信号，能够生成彩色的多视点图像。
像这样，在本方式中，设置于透光板2(或者光圈)的透射区域C1、 C2都使R、G、B的各波长段的光的至少一部分透射。因此，从摄像元件 1的R像素、G像素、B像素输出的信号，包含透射了区域C1的光的RGB 信息、和透射了区域C2的光的RGB信息。结果，能够根据像素信号来算 出色差信号。
但是，由于设置于透光板2的透射区域C1、C2的分光透射率相互不 同，因此在区域C1和C2透射光的R、G、B成分的量不同。因此，在区 域C1和C2，与透射的光的量相应的信号即多视点图像的亮度信号也不同， 结果被彩色化后的多视点图像的颜色也不同。若将这样的颜色有偏差的2 个图像作为左眼用以及右眼用的图像来制作3D图像，则会成为有不协调感的图像。
因此，本实施方式中的图像信号生成部7，求出表示被彩色化后的多 视点图像间的颜色的差异的变换矩阵，并按照多视点图像中的一方的颜色 与另一方的颜色一致的方式来进行颜色校正。由此，能够缓和2个图像间 的颜色的差异。
本来，在视点不同的2个图像中，为了求出从一方的颜色向另一方的 颜色的变换矩阵，必须在建立了两个图像间的像素的对应关系后，在对应 的像素间求出颜色的变换矩阵。针对这种课题，在本实施方式中，着眼于 在多视点图像中的焦点对准的像素的视差量为0。在通过图像匹配来建立 像素间的对应关系的情况下，在不存在边缘的图像区域等中无法正确地求 出对应的可能性很高。与此相对，找到焦点对准的像素很容易。例如，在 一般的数码照相机或数字电影中，具备自动对焦功能，能够取得焦点在图 像中的哪个范围内对准这样的信息。
只要知道像素间的对应，则图像信号生成部7取得这些像素的R、G、 B值。然后，基于对应的像素的R、G、B值的差异，来求出从多视点图 像的一方的颜色向另一方的颜色进行变换的矩阵。然后，利用求出的变换 矩阵来进行多视点图像的一方的图像整体的颜色变换。以下，对该颜色变 换处理详细地进行说明。
2个多视点图像间的对应的像素是指，在多视点图像中成为基准的一 方图像和另一方图像中表示三维的同一点的像素。只要为三维中的同一 点，则原本为相同的颜色。但是，在本实施方式中，由于透光板2的区域 C1、C2的分光透射率相互不同，因此经由区域C1、C2而拍摄到的多视 点图像，即使是从三维中的同一点入射的光，它们的像素值一般也不同。 因此，利用以现有技术的立体法进行的块匹配法等一般的匹配方法是很困 难的。
在此，在图6中示出入射的光进行成像的样态的例子。在图6中，示 出了通过被分割为2个区域C1、C2的透光板2，从被摄体60向摄像元件 1的像素(x，y)入射光的例子。在此，(x，y)表示摄像面上的坐标。 图6(a)是在被摄体60合焦的情况下的例子，图6(b)表示在被摄体60 跟前进行合焦的情况的例子。在图6(b)所示的例子中，模糊地观测到被 摄体60。此时，在像素(x，y)，若算出通过运算而得到的2个图像信号 Ci1、Ci2，则在图6(a)的状态下，任何一方的图像信号都能够作为从三 维中的同一点P1入射的光的亮度信号而算出。另一方面，在图6(b)的 状态下，通过了区域C1的光是从三维中的被摄体60的部分P3入射的光，通过了区域C2的光，是从被摄体60的部分P2入射的光。因此，在图6 (b)所示的状况下，在像素(x，y)，2个图像信号Ci1、Ci2不表示三 维中的同一点。像这样，因为在图像中合焦的像素中的图像信号Ci1、Ci2 表示三维中的同一点，所以可以说在这种像素中没有视差。因此，可知在 本实施方式的多视点图像的计算方法中，搜索对应点这一问题等同于从图 像中寻找合焦的像素。
根据以上内容，在本实施方式中，为了求出颜色的变换矩阵，首先， 从多视点图像中求出合焦的像素。接着，在合焦的像素中求出2个图像间 的颜色的变换矩阵，并利用该变换矩阵对成为基准的一方的图像的颜色进 行变换，由此来进行颜色的校正。像这样，在本实施方式中的方法中，根 据合焦的被限定的像素来求出颜色变换矩阵。一般来说，因为在图像内在 重要的被摄体上合焦的情况较多，所以本方法中的对应点搜索方法有效地 发挥作用。
图7A是用于执行以上所示的方法的图像信号生成部7的功能框图。 如图7A所示，图像信号生成部7具有：高频成分计算部71、合焦区域提 取部72、颜色变换矩阵计算部73、和颜色变换处理部74。此外，图7B 是图像信号生成部7所执行的上述颜色变换处理的流程图。以下，对各处 理的详细情况进行说明。
图像信号生成部7，首先，为了从多视点图像中求出合焦的像素，而 用高频成分计算部71来算出图像中的高频成分(步骤S1)。在图8中表 示高频成分的提取例。图8(a)是多视点图像中的1个，图8(b)是高 频成分的提取结果。在图8(b)中，表示了越明亮的像素越是包含更多高 频成分的像素。高频成分计算部71将高频成分的量为规定的阈值以上的 像素决定为“高频像素”。
作为高频成分的提取方法，例如有利用以公知的索贝尔滤波器(Sobel filter)、拉普拉斯滤波器(Laplacian filter)为代表的边缘提取滤波器来提 取图像空间中的像素值的变化较大的像素的方法。此外，有对在进行傅里 叶变换而在频率空间上表示的图像进行了高通滤波(high-pass filter)处理 后，进行逆傅里叶变换的方法等。在本实施方式中，只要能够算出图像中 的高频成分则可以使用任意的方法。
接着，图像信号生成部7通过合焦区域提取部72来进行合焦区域的 提取(步骤S2)。高频成分计算部71所决定的高频像素表示合焦的被摄 体的轮廓。合焦区域存在于高频像素的附近，因此本实施方式中的合焦区 域提取部72提取包括高频像素在内的n个像素×m个像素(n、m为1以 上的整数)的矩形区域作为合焦区域。例如，可以提取以高频像素为中心 的n个像素×m个像素的矩形区域作为合焦区域。在存在于合焦区域的被 摄体像包含较多高频成分的情况下，通过将n、m设定得较小，与n、m 较大的情况相比，能够抑制在被提取出的合焦区域中混入未合焦的部分(被合焦区域)。此外，在被摄体的高频成分较少的情况下，为了得到用 于算出颜色变换矩阵的足够个数的对应点，优选将n、m设定得较大。为了降低非合焦区域混入被提取出的合焦区域，也可以不将高频像素的中心 作为矩形区域的中心，而是例如从高频像素向着图像中心方向将n个像素 ×m个像素的矩形区域作为合焦区域。这是利用了想要使之合焦的被摄体 (摄影者所关注的被摄体)大多出现在图像中央这一先见知识。此外，若 应用近年来的搭载于数码照相机中的脸部识别技术，事先知道合焦的轮廓 为脸部区域，则也可以将该脸部区域作为合焦区域。
图8(c)所示的白框示出了合焦区域的例子。如上所述，在合焦区域 中视差量为0，因此以上所示的合焦区域的计算处理只要根据多视点图像 中的任意1个来算出即可。以上所示的合焦区域不限定于矩形区域，也可 以采用多边形、圆、椭圆等任意的形态。另外，在图8(c)所示的例子中， 提取了6个合焦区域，但提取的合焦区域的数量可以任意规定。
此外，合焦区域提取部72也可以利用接近高频像素的位置的像素值 与远离高频像素的位置的像素值之间的差异来进行合焦区域的提取。例 如，如非专利文献1中公开的方法那样，也可以通过利用了像素值的类似 性的分割(segmentation)处理来判断是否为合焦区域。在该方法中，根据 取样的背景的颜色信息、和前景的颜色信息，来计算各像素的类似前景、 类似背景的程度(类似度)。通过利用了这些类似度的图割法来进行图像 的区域分割，决定各像素是前景还是背景。即，可以将被分割后的区域中 的判定为与接近高频像素的像素类似的像素作为合焦区域。
另外，在本实施方式中，基于图像的高频成分来提取合焦区域，但在 用其他方法能够判别合焦的区域的情况下，不需要进行高频成分的计算。 例如，在预先知道被摄体与摄像装置之间的距离的特殊状况下，也可以根 据该距离和光学系统的焦点距离来判别合焦的区域。
接着，图像信号生成部7通过颜色变换矩阵计算部73来算出颜色变 换矩阵(步骤S3)。在通过合焦区域提取部72而取得的合焦区域中，根 据2个多视点图像分别取得RGB值，并算出从一方图像的RGB值向另一 方图像的RGB值的颜色变换矩阵。在此，将2个多视点图像分别表示为 IMG(L)、IMG(R)。将一方图像IMG(L)的合焦区域中的R、G、B 值分别表示为IMG(L)r(i，j)、IMG(L)g(i，j)、IMG(L)b(i， j)。此外，将另一方图像IMG(R)的R、G、B值分别表示为IMG(R) r(i，j)、IMG(R)g(i，j)、IMG(R)b(i，j)。另外，下标i，j 表示由合焦区域提取部72得到的合焦区域的像素的坐标。利用这些RGB 值，基于以下的式7，能够根据IMG(L)的各色的值，来求出向IMG(R) 的各色的值的颜色变换矩阵。
【数5】
(式7)
式7中的变换矩阵Mc是3×3的矩阵。假设合焦区域的像素数为n’， 则式7的左边和右边的RGB值的矩阵成为n’×3的矩阵。在n’不到3的情 况下无法求出变换矩阵，但由于合焦区域只有2个像素的情况很罕见，因 此通常能够没有问题地求出变换矩阵。当n’＞＝3时，变换矩阵Mc可以 简单地通过最小平方法来求出。直观来说，在最小平方法中，按照想要求 出的变换矩阵Mc的逆矩阵以及由IMG(R)的颜色信号构成的矩阵间的 积、与由IMG(L)颜色信号构成的矩阵之间的误差的平方和最小的方式 来求出变换矩阵Mc。在该方法中，求出在IMG(R)的颜色或IMG(L) 的颜色中含有噪声的情况下，它们的误差也变小的变换矩阵，因此有时无 法正确地进行颜色变换。因为找到这种噪声一般来说并不容易，所以针对 这种问题，例如，也可以利用基于M估计法之类的稳健统计(robust statistics)的方法。在M估计法中，在求出变换矩阵的可能性时，不使用 误差的平方，而使用规定的误差函数的输出值。以下示出最小平方法的评 价式和M估计法的评价式。
·最小平方法：min∑ε2
·M估计法：min∑ρ(ε)
作为在M估计法中使用的函数ρ，例如，一般使用误差ε越小则输出 值越高，误差ε越大则输出值越小的函数。作为代表函数，有German和 McClure的ρ函数等。由此，因为误差大的要素的影响变小，所以能够针 对噪声进行强健的变换矩阵的估计。
作为基于同样的稳健统计的方法有LMedS法。LMedS法也被称作最 小中央值法，是求出误差的中央值最小的变换矩阵的方法。在LMedS法 中，与上述同样，求出变换矩阵，并按照每个像素求出合焦区域内的误差 ε。在对求出的误差进行了排序后，取得中央值。例如，在合焦区域由100 个像素构成的情况下，根据合焦区域按照每个像素求出100次误差ε，在 排序后，取得第50个误差值。根据该方法，原理上来说，当噪声不足50％ 时，根据正确的变换矩阵求出的中央值的误差，是根据没有噪声影响的像 素求出的误差。因此，能够估计不易受到噪声的影响。
此外，在分布于合焦区域的RGB值的分布中存在偏重的情况下，有 时用最小平方法无法正确地求出变换矩阵。在这种情况下，也可以利用被 称作RANSAC(Random SampleConsensus，随机抽样一致)的稳健统 计法来估计变换矩阵。在该方法中，首先对多视点图像的合焦区域中的像 素进行3点以上的取样来求出从IMG(L)的颜色向IMG(R)的颜色的 颜色变换矩阵。若所得到的颜色变换矩阵是正确的颜色变换矩阵，则对没 有取样的像素，利用颜色变换矩阵的逆矩阵从IMG(R)的颜色向IMG(L) 的颜色进行颜色变换。当对原本的IMG(L)的颜色与从IMG(R)变换 出的IMG(L)的颜色进行了比较时的误差量最小时，所求出的颜色变换 矩阵是正确的颜色变换矩阵。在该方法中，在最初求出颜色变换矩阵的取 样点中没有包含噪声的情况、或在颜色的分布中不存在偏重的情况下，能 够求出正确的颜色变换矩阵。
最后，图像信号生成部7通过颜色变换处理部74利用通过上述方法 求出的颜色变换矩阵来进行颜色变换处理(步骤S4)。通过利用变换矩阵 Mc对多视点图像中的左侧图像的全部像素中的RGB值IMG(L)r、IMG (L)g、IMG(L)b进行变换来进行颜色变换。
图9是表示利用变换矩阵Mc对颜色变换前的左侧图像的各像素的颜 色Mc进行变换的处理的样态的图。如图所示，利用通过合焦区域中的左 侧图像(L图像)和右侧图像(R图像)的比较而求出的变换矩阵Mc， 通过对L图像的整体进行变换，来生成颜色变换后的L图像。若将颜色变 换后的L图像重新设为左侧图像，则能够得到与右侧图像的颜色匹配的左 侧图像，因此能够生成更自然的3D图像。
如上所述，根据本实施方式的摄像装置，利用具有分光透射率相互不 同的2个透射区域的透光板2、和具有分光透射率相互不同的2种以上的 透射滤光器的摄像元件1，能够生成多视点图像。特别是，本实施方式中 的图像信号生成部7，在多视点图像的合焦区域中求出颜色变换矩阵，并 利用该颜色变换矩阵来对一方图像整体的颜色进行校正。由此，能够比较 容易地使多视点图像间的颜色匹配。
另外，在本实施方式中，透光板2的区域C1中的滤光器W1、区域 C2中的滤光器W2、摄像元件1中的滤光器D1、D2，全都具有针对RGB 的全部颜色成分的光使至少一部分透射的特性。但是，在本发明中不必一 定使用这种滤光器。在使用将一部分颜色成分的光截止的滤光器的情况 下，也能够利用本实施方式的颜色变换处理。
此外，在本实施方式中，透光板2仅具有2个透射区域C1、C2，但 也可以具有3个以上的透射区域。即使在具有3个以上的透射区域的情况 下，也能够使与任意的2个透射区域对应的2个图像间的颜色一致，因此 本实施方式中的图像处理很有效。
本实施方式的摄像装置，通过信号运算根据由摄像得到的光电变换信 号来生成图像信号，但也可以使与摄像装置独立的其他装置来执行基于信 号运算的图像信号的生成处理。例如，将具有本实施方式中的摄像部100 的摄像装置所取得的信号读入到其他装置，使该其他装置(图像处理装置) 的计算机执行对上述图像信号生成部7所进行的信号运算处理进行规定的 程序，由此也能够得到与上述同样的效果。
工业实用性
本发明的实施方式的三维摄像装置，对利用了固体摄像元件的所有照 相机有效。例如，可以利用于数字静像照相机、数码摄像机等民生用照相 机、或工业用的固体监视照相机等。此外，本发明的图像处理装置能够使 由合焦的部分的位置在2个图像间不偏离的摄像系统所取得的具有视差的 2个图像间的颜色匹配。因此，例如可以利用于对由上述摄像系统取得并 输入到3D电视等显示装置的图像信号进行处理的用途。
符号说明
1 固体摄像元件
1a 固体摄像元件的摄像面
2 透光板
2a 透光部
3 光学透镜
3a 透光板和光学透镜的功能被一体化的光学元件
4 红外截止滤光器
5 信号产生/接收部
6 元件驱动部
7 图像信号生成部
8 接口部
19 透镜光圈
20、22、23 光束限制板
20a 使红色系的光透射的彩色滤光器
20b 使蓝色系的光透射的彩色滤光器
21 感光膜
22R、23R 光束限制板的R光透射区域
22G、23G 光束限制板的G光透射区域
22B、23B 光束限制板的B光透射区域
30 存储器
60 被摄体
71 高频成分计算部
72 合焦区域提取部
73 颜色变换矩阵计算部
74 颜色变换处理部
100 摄像部
110 透射滤光器
120 光感知单元
200 信号处理部

Claims (9)

1.一种图像处理装置，使通过摄像装置而获取的具有视差的2个图像的颜色匹配，所述摄像装置具备：具有分光透射率特性相互不同的2个透射区域的透光部；和具有分光透射率特性相互不同的2种像素单元的摄像元件，
所述2个透射区域使红色、绿色、蓝色各成分的光的至少一部分透射，
所述2种像素单元各自都检测透射过所述2个透射区域的一方的红色、绿色、蓝色各成分的光的至少一部分、以及透射过所述2个透射区域的另一方的红色、绿色、蓝色各成分的光的至少一部分，
所述2个图像基于由所述2种像素单元各自检测出的多个信号而生成，
所述图像处理装置具备：
合焦区域提取部，其提取所述2个图像的合焦区域；
颜色变换矩阵计算部，其基于所述2个图像的合焦区域中包含的像素的颜色信息，来求出所述2个图像间的颜色变换矩阵；和
颜色变换部，其利用所述颜色变换矩阵来对所述2个图像中的一方的颜色进行变换。
2.根据权利要求1所述的图像处理装置，其中，
所述图像处理装置还具备高频成分计算部，该高频成分计算部算出所述2个图像中的至少一方的高频成分，
所述合焦区域提取部，基于算出的所述高频成分来提取所述合焦区域。
3.根据权利要求2所述的图像处理装置，其中，
所述合焦区域提取部，提取所述高频成分的量比预先规定的阈值更多的高频像素的附近作为合焦区域。
4.根据权利要求3所述的图像处理装置，其中，
所述合焦区域提取部，提取包含所述高频像素在内的n个像素×m个像素的矩形区域作为所述合焦区域，其中n、m是1以上的整数。
5.根据权利要求3所述的图像处理装置，其中，
所述合焦区域提取部，提取以所述高频像素为中心的n个像素×m个像素的矩形区域作为所述合焦区域，其中n、m是1以上的整数。
6.根据权利要求4所述的图像处理装置，其中，
所述合焦区域提取部，提取以所述高频像素为中心的n个像素×m个像素的矩形区域作为所述合焦区域，其中n、m是1以上的整数。
7.根据权利要求1～6中任一项所述的图像处理装置，其中，
所述颜色变换矩阵计算部，利用基于最小平方法的线性运算、M估计法、以及RANSAC法中的任意一种方法来求出所述颜色变换矩阵。
8.一种三维摄像装置，具备：
透光部，其具有分光透射率特性相互不同的2个透射区域；
摄像元件，其按照对透射了所述透光部的光进行接收的方式配置，具有分光透射率特性相互不同的2种像素单元；和
图像处理部，其基于从所述摄像元件输出的像素信号来生成具有视差的2个图像，
所述2个透射区域使红色、绿色、蓝色各成分的光的至少一部分透射，
所述2种像素单元各自都检测透射过所述2个透射区域的一方的红色、绿色、蓝色各成分的光的至少一部分、以及透射过所述2个透射区域的另一方的红色、绿色、蓝色各成分的光的至少一部分，
所述2个图像基于由所述2种像素单元各自检测出的多个信号而生成，
所述图像处理部具有：
合焦区域提取部，其提取所述2个图像的合焦区域；
颜色变换矩阵计算部，其基于所述2个图像的合焦区域中包含的像素的颜色信息，来求出所述2个图像间的颜色变换矩阵；和
颜色变换部，其利用所述颜色变换矩阵来对所述2个图像中的一方的颜色进行变换。
9.一种图像处理方法，是使通过摄像装置而获取的具有视差的2个图像的颜色匹配的图像处理方法，所述摄像装置具备：具有分光透射率特性相互不同的2个透射区域的透光部；和具有分光透射率特性相互不同的2种像素单元的摄像元件，
所述2个透射区域使红色、绿色、蓝色各成分的光的至少一部分透射，
所述2种像素单元各自都检测透射过所述2个透射区域的一方的红色、绿色、蓝色各成分的光的至少一部分、以及透射过所述2个透射区域的另一方的红色、绿色、蓝色各成分的光的至少一部分，
所述2个图像基于由所述2种像素单元各自检测出的多个信号而生成，
所述图像处理方法包括如下步骤：
提取所述2个图像的合焦区域的步骤；
基于所述2个图像的合焦区域中包含的像素的颜色信息，来求出所述2个图像间的颜色变换矩阵的步骤；和
利用所述颜色变换矩阵来对所述2个图像中的一方的颜色进行变换的步骤。
CN201280002528.1A 2011-08-25 2012-07-04 图像处理装置及方法、三维摄像装置 Active CN103098480B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-183909 2011-08-25
JP2011183909 2011-08-25
PCT/JP2012/004317 WO2013027320A1 (ja) 2011-08-25 2012-07-04 画像処理装置、３次元撮像装置、画像処理方法、および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN103098480A CN103098480A (zh) 2013-05-08
CN103098480B true CN103098480B (zh) 2018-08-28

Family

ID=47746095

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280002528.1A Active CN103098480B (zh) 2011-08-25 2012-07-04 图像处理装置及方法、三维摄像装置

Country Status (4)

Country Link
US (1) US9438890B2 (zh)
JP (1) JP6034197B2 (zh)
CN (1) CN103098480B (zh)
WO (1) WO2013027320A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105705075B (zh) * 2013-10-28 2018-02-02 富士胶片株式会社 图像处理装置及其工作方法
US9372292B2 (en) * 2013-12-13 2016-06-21 Canon Kabushiki Kaisha Imaging apparatus having light source identification and image quality correction functions and method for controlling imaging apparatus
CN104125405B (zh) * 2014-08-12 2018-08-17 罗天明 基于眼球追踪和自动对焦系统的图像感兴趣区域提取方法
JP5893713B1 (ja) * 2014-11-04 2016-03-23 オリンパス株式会社 撮像装置、撮像方法、処理プログラム
WO2016175044A1 (ja) * 2015-04-28 2016-11-03 ソニー株式会社 画像処理装置及び画像処理方法
US9911023B2 (en) * 2015-08-17 2018-03-06 Hand Held Products, Inc. Indicia reader having a filtered multifunction image sensor
JP7261192B2 (ja) * 2020-02-27 2023-04-19 富士フイルム株式会社 レンズ装置、撮像装置、撮像方法、及び撮像プログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171737A (ja) 1988-12-26 1990-07-03 Minolta Camera Co Ltd ステレオカメラ用撮影レンズ
JP3493104B2 (ja) * 1996-10-24 2004-02-03 シャープ株式会社 カラー画像処理装置
US6415053B1 (en) * 1998-04-20 2002-07-02 Fuji Photo Film Co., Ltd. Image processing method and apparatus
JP2002344999A (ja) 2001-05-21 2002-11-29 Asahi Optical Co Ltd ステレオ画像撮像装置
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
JP3869702B2 (ja) 2001-10-30 2007-01-17 ペンタックス株式会社 ステレオ画像撮像装置
JP3989738B2 (ja) * 2002-01-16 2007-10-10 シャープ株式会社 画像形成方法および画像形成装置ならびにプログラム、記録媒体
JP2006079132A (ja) * 2002-10-02 2006-03-23 Matsushita Electric Ind Co Ltd 画像変換方法および画像変換装置
WO2004051575A1 (ja) * 2002-12-05 2004-06-17 Seiko Epson Corporation 特徴領域抽出装置、特徴領域抽出方法および特徴領域抽出プログラム
US7633537B2 (en) * 2002-12-18 2009-12-15 Nikon Corporation Color image sensor, color filter array and color imaging device
US8326084B1 (en) * 2003-11-05 2012-12-04 Cognex Technology And Investment Corporation System and method of auto-exposure control for image acquisition hardware using three dimensional information
US7636473B2 (en) * 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment
WO2006026354A2 (en) * 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
JP4405942B2 (ja) * 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
JP4557843B2 (ja) * 2005-08-31 2010-10-06 キヤノン株式会社 画像処理装置及びその方法
JP2007104248A (ja) * 2005-10-04 2007-04-19 Nikon Corp 電子カメラおよびプログラム
US8325220B2 (en) * 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input
US20070253619A1 (en) * 2006-04-27 2007-11-01 Kabushiki Kaisha Toshiba Color profile generating apparatus and method
US7573489B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
EP2089852A1 (en) * 2006-11-21 2009-08-19 Thomson Licensing Methods and systems for color correction of 3d images
JP4686795B2 (ja) * 2006-12-27 2011-05-25 富士フイルム株式会社 画像生成装置及び画像再生装置
JP4662071B2 (ja) * 2006-12-27 2011-03-30 富士フイルム株式会社 画像再生方法
US8334910B2 (en) * 2007-02-09 2012-12-18 Canon Kabushiki Kaisha Image capturing apparatus, information processing apparatus, and control methods thereof
WO2008115547A1 (en) * 2007-03-19 2008-09-25 Sti Medical Systems, Llc A method of automated image color calibration
JP2008242324A (ja) * 2007-03-28 2008-10-09 Sumitomo Chemical Co Ltd 着色感光性樹脂組成物、並びにそれを用いた色フィルタアレイ、固体撮像素子およびカメラシステム
JP2009005166A (ja) * 2007-06-22 2009-01-08 Olympus Corp 色補間装置及び画像処理システム
WO2009050798A1 (ja) * 2007-10-17 2009-04-23 Mitsubishi Electric Corporation 画像処理装置
JP5242180B2 (ja) * 2008-01-23 2013-07-24 オリンパス株式会社 画像処理装置、画像信号補正方法、補正マトリクス算出方法及び撮像装置
US8253819B2 (en) * 2008-02-06 2012-08-28 Panasonic Corporation Electronic camera and image processing method
US9485391B2 (en) * 2008-02-22 2016-11-01 Nec Corporation Method, apparatus and program for restoring and correcting surface reflectance with color image processing
US8248485B2 (en) * 2008-05-14 2012-08-21 Panasonic Corporation Imaging apparatus and imaging method
JP2009276294A (ja) * 2008-05-16 2009-11-26 Toshiba Corp 画像処理方法
US8432391B2 (en) * 2008-06-02 2013-04-30 Panasonic Corporation Remote control device and remote control method
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
KR20110019724A (ko) * 2008-06-18 2011-02-28 파나소닉 주식회사 고체 촬상 장치
JP5302768B2 (ja) * 2008-06-26 2013-10-02 キヤノン株式会社 画像処理装置及び画像処理方法
TW201005673A (en) * 2008-07-18 2010-02-01 Ind Tech Res Inst Example-based two-dimensional to three-dimensional image conversion method, computer readable medium therefor, and system
JP5099704B2 (ja) 2008-08-06 2012-12-19 独立行政法人産業技術総合研究所 高さを測定する方法及び高さ測定装置
GB2463480A (en) * 2008-09-12 2010-03-17 Sharp Kk Camera Having Large Depth of Field
CN101884215A (zh) * 2008-10-02 2010-11-10 松下电器产业株式会社 像素错开型摄像装置
US8314872B2 (en) * 2008-11-19 2012-11-20 Panasonic Corporation Imaging device
TW201027506A (en) * 2009-01-08 2010-07-16 Acer Inc A display for three dimensional (3D) images
JP5517685B2 (ja) * 2009-04-14 2014-06-11 キヤノン株式会社 画像処理装置および方法
WO2010131499A1 (ja) * 2009-05-15 2010-11-18 シャープ株式会社 画像処理装置および画像処理方法
US8872910B1 (en) * 2009-06-04 2014-10-28 Masoud Vaziri Method and apparatus for a compact and high resolution eye-view recorder
CN102598113A (zh) * 2009-06-30 2012-07-18 安芯美特控股有限公司 匹配出现在两个或多个图像内的对象或人的方法、电路和系统
US8363093B2 (en) * 2009-07-27 2013-01-29 Eastman Kodak Company Stereoscopic imaging using split complementary color filters
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
JP4853560B2 (ja) * 2009-09-18 2012-01-11 コニカミノルタビジネステクノロジーズ株式会社 画像処理方法、画像処理装置およびコンピュータプログラム
EP2312534A3 (en) * 2009-10-15 2011-07-06 Hitachi Aloka Medical, Ltd. Ultrasonic volume data processing device
KR101701528B1 (ko) * 2010-01-05 2017-02-01 파나소닉 아이피 매니지먼트 가부시키가이샤 3차원 촬상 장치
JP2011145343A (ja) * 2010-01-12 2011-07-28 Sony Corp 鏡筒装置及び立体撮像装置
US8687068B2 (en) * 2010-09-19 2014-04-01 Hewlett-Packard Development Company, L.P. Pattern of color codes
CN102823230B (zh) * 2011-01-17 2016-08-24 松下知识产权经营株式会社 摄像装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807295B1 (en) * 1999-06-29 2004-10-19 Fuji Photo Film Co., Ltd. Stereoscopic imaging apparatus and method

Also Published As

Publication number Publication date
WO2013027320A1 (ja) 2013-02-28
US20150138319A1 (en) 2015-05-21
CN103098480A (zh) 2013-05-08
US9438890B2 (en) 2016-09-06
JP6034197B2 (ja) 2016-11-30
JPWO2013027320A1 (ja) 2015-03-05

Similar Documents

Publication Publication Date Title
CN103098480B (zh) 图像处理装置及方法、三维摄像装置
US9442362B2 (en) Method and apparatus for generating three-dimensional image information
TWI699117B (zh) 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體
TWI505693B (zh) 攝像裝置
JP5406151B2 (ja) ３次元撮像装置
CN108700472A (zh) 使用相对的滤光器掩模进行相位检测自动聚焦
JP5923754B2 (ja) ３次元撮像装置
US9544570B2 (en) Three-dimensional image pickup apparatus, light-transparent unit, image processing apparatus, and program
US9628776B2 (en) Three-dimensional imaging device, image processing device, image processing method, and image processing program
WO2012157209A1 (ja) ３次元撮像装置、撮像素子、光透過部、および画像処理装置
CN108495115A (zh) 图像传感器及其像素组和像素阵列，获取图像信息的方法
WO2012001853A1 (ja) ３次元撮像装置および光透過板
CN102986236B (zh) 三维摄像装置、图像处理装置、图像处理方法
Wu et al. Real-time division-of-focal-plane polarization imaging system with progressive networks
JP2013102362A (ja) 光学機器、画像処理方法およびプログラム
JP2020178158A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140714

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20140714

Address after: California, USA

Applicant after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Applicant before: Matsushita Electric Industrial Co.,Ltd.

GR01 Patent grant
GR01 Patent grant