CN101998040A - 图像处理装置、固体摄像装置及摄像机模组 - Google Patents

图像处理装置、固体摄像装置及摄像机模组 Download PDF

Info

Publication number
CN101998040A
CN101998040A CN2010102512275A CN201010251227A CN101998040A CN 101998040 A CN101998040 A CN 101998040A CN 2010102512275 A CN2010102512275 A CN 2010102512275A CN 201010251227 A CN201010251227 A CN 201010251227A CN 101998040 A CN101998040 A CN 101998040A
Authority
CN
China
Prior art keywords
mentioned
video camera
camera module
sub
shot object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102512275A
Other languages
English (en)
Inventor
小笠原隆行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101998040A publication Critical patent/CN101998040A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及图像处理装置、固体摄像装置及摄像机模组。图像处理装置具有阴影修正机构、失真修正机构、透镜特性推测机构和析像度复原机构。上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构按照由多个子摄像机模组得到的图像数据分别实施信号处理。

Description

图像处理装置、固体摄像装置及摄像机模组
本申请主张2009年8月19日提出的日本专利申请号2009-190147的优先权，在本申请中引用该日本专利申请的全部内容。
技术领域
本发明涉及图像处理装置、固体摄像装置及摄像机模组。
背景技术
在数字摄像机等中使用的摄像机模组因薄型化及小型化的要求而有使透镜与摄像元件之间的距离(焦距)尽量缩短的趋势。以往，为了使透镜与摄像元件之间的距离缩短而推进了像素的细微化。此外，通过使透镜广角化或使用高折射率材料等，进行透镜的焦距的缩短化。但是，像素变得越细微，则因每一个像素的受光量的减少引起的灵敏度不足或饱和电子数减少而导致SN比恶化成为问题。此外，在通过透镜的材料选择或设计进行的焦距的缩短方面也存在极限这一点也成为了问题。
发明内容
本发明的目的在于解决上述问题，本发明的一方式涉及图像处理装置，其中，具有：阴影修正机构，实施由摄像元件摄像的被摄体像的阴影修正；失真修正机构，对上述被摄体像的失真进行修正；透镜特性推测机构，推测将向摄像元件入射的光取入的摄像透镜所具备的透镜特性；析像度复原机构，基于所推测的上述透镜特性，实施上述被摄体像的析像度复原处理；块匹配机构，实施用于上述被摄体像的对位的块匹配处理；以及去马赛克机构，通过由上述块匹配处理得到的图像数据的去马赛克处理合成彩色图像；针对由上述摄像元件和上述摄像透镜构成的多个子摄像机模组，上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构按照由上述子摄像机模组得到的图像数据分别实施信号处理。
本发明另一方式涉及固体摄像装置，其中，具有摄像被摄体像的多个摄像元件；将由上述摄像元件、以及将向上述摄像元件入射的光取入的摄像透镜构成的多个子摄像机模组中的一个作为基准子摄像机模组，上述基准子摄像机模组以外的子摄像机模组的上述摄像元件相对于上述基准子摄像机模组的上述摄像元件配置成使上述被摄体像的成像位置位移。
本发明另一方式涉及摄像机模组，其中，具有：多个摄像元件，摄像被摄体像；多个摄像透镜，将向上述摄像元件入射的光取入；壳体，对上述摄像元件及上述摄像透镜进行保持；阴影修正机构，实施上述被摄体像的阴影修正；失真修正机构，对上述被摄体像的失真进行修正；透镜特性推测机构，推测上述摄像透镜所具备的透镜特性；析像度复原机构，基于所推测的上述透镜特性，实施上述被摄体像的析像度复原处理；块匹配机构，实施用于上述被摄体像的对位的块匹配处理；以及去马赛克机构，通过由上述块匹配处理得到的图像的去马赛克处理合成彩色图像；针对由上述摄像元件及上述摄像透镜构成的多个子摄像机模组，上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构按照由上述子摄像机模组得到的图像数据分别实施信号处理。
附图说明
图1是第1实施方式所涉及的摄像机模组的概略立体图。
图2是图像传感器部的示意俯视图。
图3是表示摄像机模组中的用于信号处理的结构的框图。
图4是对通过块匹配机构进行的被摄体图像彼此的对位进行说明的图。
图5是表示摄像机模组中的用于信号处理的结构的变形例的框图。
图6是第2实施方式所涉及的摄像机模组的概略立体图。
图7是图像传感器部的示意俯视图。
图8是表示摄像机模组中的用于信号处理的结构的框图。
图9A～图9C是对被摄体像的视差进行说明的图。
图10是表示摄像机模组中的用于信号处理的结构的变形例的框图。
具体实施方式
以下，参照附图，详细地说明本发明的实施方式所涉及的图像处理装置、固体摄像装置及摄像机模组。另外，本发明并不受这些实施方式限定。
实施方式的图像处理装置具有阴影修正机构、失真(distortion)修正机构、透镜特性推测机构、析像度复原机构、块匹配机构、和去马赛克(demosaicing)机构。阴影修正机构实施由摄像元件摄像的被摄体像的阴影修正。失真修正机构修正上述被摄体像的失真。透镜特性推测机构推测取入向上述摄像元件入射的光的摄像透镜所具备的透镜特性。析像度复原机构基于所推测的上述透镜特性实施上述被摄体像的析像度复原处理。块匹配机构实施用于上述被摄体像的对位的块匹配处理。去马赛克机构通过由上述块匹配处理得到的图像数据的去马赛克处理而合成彩色图像。针对由上述摄像元件及上述摄像透镜构成的多个子摄像机模组，上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构按照由上述子摄像机模组得到的图像数据分别实施信号处理。
图1是第1实施方式所涉及的摄像机模组10的概略立体图。摄像机模组10具备图像传感器部11及小透镜(lens let)12。图像传感器部11是用于摄像被摄体像的固体摄像装置，具备四个摄像元件13。小透镜12具备以与摄像元件13对应的方式配置在平面上的四个摄像透镜14。摄像机模组10的壳体19对图像传感器部11及小透镜12进行保持。
摄像机模组10由具备摄像元件13和摄像透镜14的四个独立的摄像机模组构成。摄像透镜14将来自被摄体的光取入，向摄像元件13入射。摄像元件13将由摄像透镜14取入的光变换为信号电荷，对被摄体像进行摄像。
图2是图像传感器部11的示意俯视图。四个摄像元件13(13Gr、13R、13B、13Gb)以纵横2×2的矩阵状配置。红色(R)光用的摄像元件13R、蓝色(B)光用的摄像元件13B、绿色(G)光用的两个摄像元件13Gr、13Gb与拜耳(bayer)排列同样配置为，使G光用的两个摄像元件13Gr、13Gb斜对着。R用子摄像机模组具备对被摄体像的R成分进行摄像的摄像元件13R。B用子摄像机模组具备对被摄体像的B成分进行摄像的摄像元件13B。Gr用子摄像机模组具备对被摄体像的G成分进行摄像的摄像元件13Gr。Gb用子摄像机模组具备对摄像被摄体像的G成分进行摄像的摄像元件13Gb。
摄像机模组10通过采用具备小透镜12的结构，使摄像透镜14的焦距缩短。由此，能够使摄像元件13及摄像透镜14之间的距离缩短。摄像机模组10通过使子摄像机模组具有对应于相同颜色成分的像素，能够避免相邻的像素间的、对应于不同颜色成分的信号彼此的干涉。由此，能够减少混色而大幅地提高灵敏度。此外，各子摄像机模组的摄像透镜14能够对应于各自的颜色成分使透镜设计最优化，所以能够大幅地减轻轴向色像差。
这里，将四个子摄像机模组中的、Gr用子摄像机模组设为基准子摄像机模组。设图2所示的平面中的、基准子摄像机模组的摄像元件13Gr和R用子摄像机模组的摄像元件13R的排列方向为X方向、排列基准子摄像机模组的摄像元件13Gr和B用子摄像机模组的摄像元件13B的排列方向为Y方向。X方向及Y方向相互垂直。
图示的虚线的交点表示假设各颜色成分的被摄体像的成像位置一致的情况下的、各摄像元件13Gr、13R、13B、13Gb的中心位置。如果设定为Gr用子摄像机模组的被摄体像的成像位置是基准，则R用子摄像机模组的摄像元件13R配置为，使被摄体像的成像位置相对于基准向X方向位移半个像素的量。B用子摄像机模组的摄像元件13B配置为，使被摄体像的成像位置相对于基准向Y方向位移半个像素的量。Gb用子摄像机模组的摄像元件13Gb配置为，使被摄体像的成像位置相对于基准向X方向及Y方向分别位移半个像素的量。将G光用的子摄像机模组作为基准子摄像机模组，将视灵敏度较高的G成分的被摄体像作为基准，由此能够减小后述的图像处理中的精度差。
图3是表示摄像机模组10中的用于信号处理的结构的框图。用于信号处理的结构大体分为前级的图像传感器部11、和后级的DSP(Digital Signal Processor：数字信号处理器)20。DSP20是处理来自图像传感器部11的图像数据的图像处理装置。图像传感器部11具备阴影修正机构15、失真修正机构16、透镜特性推测机构17及析像度复原机构18。阴影修正机构15、失真修正机构16、透镜特性推测机构17及析像度复原机构18按照由四个彩色模组得到的Gr、R、B、Gb的RAW图像分别实施信号处理。
阴影修正机构15对起因于摄像透镜14而发生的亮度不匀、特别是被摄体像的中央部与周边部之间的光量差进行修正(阴影修正)。失真修正机构16对起因于摄像透镜14而发生的被摄体像的变形(失真)进行修正。透镜特性推测机构17推测成为轮廓渗色的原因的倍率色像差或模糊量等、摄像透镜14所具备的透镜特性。作为透镜特性，例如使用作为光学传递系数的PSF(Point Spread Function：点扩散函数)。透镜特性推测机构17例如通过最小二乘法推测PSF。
析像度复原机构18基于由透镜特性推测机构17推测的透镜特性实施析像度复原处理。析像度复原的效果依赖于在复原中使用的算法。析像度复原处理为了复原接近于原被摄体像的图像而使用例如Richardson-Lucy法。
DSP20具备块匹配机构21及去马赛克机构22。块匹配机构21对经过了由阴影修正机构15、失真修正机构16、透镜特性推测机构17及析像度复原机构18进行的处理的Gr、R、B、Gb的各RAW图像实施块匹配(图案匹配)处理。块匹配机构21通过块匹配处理进行由各子摄像机模组得到的被摄体像彼此的对位。
图4是对通过块匹配机构21进行的被摄体图像彼此的对位进行说明的图。这里，设图示的正方形都表示像素。对于R像素、B像素、Gb像素，用虚线表示被摄体的成像位置一致的情况，用实线表示相对于Gr像素位移了半个像素的量之后的状态。R像素相对于Gr像素向图中横向位移半个像素的量。B像素相对于Gr像素向图中纵向位移半个像素的量。Gb像素相对于Gr像素向横向及纵向分别位移半个像素的量。块匹配机构21以Gr像素的位置为基准，进行子像素单位下的对位，以使R像素、B像素及Gb像素向规定方向位移半个像素的量。由此，块匹配机构21实施用于得到规定的总像素数的块匹配处理。
回到图3，去马赛克机构22通过对由块匹配处理得到的图像进行去马赛克处理而合成彩色图像。去马赛克机构22对由块匹配处理得到的图像实施选择为拜耳排列的结构的像素插值处理，由此生成不足色成分的信号值。在本实施方式中，使由子摄像机模组摄像的被摄体像位移而合成彩色图像，由此成为规定的总像素数。摄像机模组10将这样合成的彩色图像输出。另外，在本实施方式中说明的处理的顺序是一例，也可以适当进行其他处理的追加、及处理的顺序的变更等。
本实施方式所涉及的摄像机模组10通过减少混色并且按照RAW图像实施信号处理，能够进行高灵敏度的摄影。如上所述，摄像机模组10能够实现薄型化及小型化、和高灵敏度下的摄影。此外，摄像机模组10通过构成为分别由图像传感器部11实施RAW图像处理、由DSP20实施RGB同时化(去马赛克)处理，能够沿用以往的摄像机模组的处理的大部分，能够减少系统的变更。摄像机模组10对于例如块匹配处理以外的处理，也可以沿用以往的系统。
摄像机模组10根据目的及用途，也可以代替Gr用、Gb用的各子摄像机模组而设计例如具备如下像素的子摄像机模组，所述像素为G光用的低灵敏度像素及高灵敏度像素、具备RGB以外的补色彩色过滤器的像素、具备白-灰过滤器的像素等。
摄像机模组10并不限于通过配置子摄像机模组使被摄体像位移的情况。摄像机模组10例如也可以通过对由透镜特性推测机构17推测的透镜特性中加上与被摄体像的位移有关的位置信息而使被摄体像位移。在透镜特性中，加上用于使由基准子摄像机模组以外的子摄像机模组摄像的被摄体像相对于由基准子摄像机模组摄像的被摄体像位移的位置信息。析像度复原机构18基于加上了该位置信息的透镜特性将析像度复原。这样，摄像机模组10通过信号处理使被摄体像位移。该方法例如在因摄像元件的安装误差或制造偏差等的影响较大而难以物理地控制被摄体像的位移量的情况下是有用的，适合于使摄像元件细微化的情况。
此外，摄像机模组10并不限于通过使被摄体像以子像素单位位移而得到规定的总像素数的结构，例如也可以通过去马赛克机构22中的增采样(upsampling)而得到规定的总像素数。增采样在难以块匹配机构21中进行以子像素单位的对位的情况下是有用的。在采用去马赛克机构22中的增采样的情况下，摄像机模组10也能够得到较高的灵敏度。
图5是表示摄像机模组10中的用于信号处理的结构的变形例的框图。在本变形例中，摄像机模组10通过DSP20实施从阴影修正到去马赛克处理的信号处理。DSP20具备阴影修正机构15、失真修正机构16、透镜特性推测机构17、析像度复原机构18、块匹配机构21及去马赛克机构22。图像传感器部11具备参数存储机构23。在参数存储机构23中，写入有DSP20中的处理所需要的参数。参数存储机构23保持所写入的参数。图像传感器部11将摄像机模组10的个体信息作为参数保持在参数存储机构23中。另外，所谓个体信息是指，例如为与透镜等部件的制造误差或部件彼此的组装误差等、各制品的个体差异有关的信息。
阴影修正机构15参照保持在参数存储机构23中的参数，实施被摄体像的阴影修正。失真修正机构16参照保持在参数存储机构23中的参数，对被摄体像的失真进行修正。透镜特性推测机构17参照保持在参数存储机构23中的参数，推测各子摄像机模组的摄像透镜14所具备的透镜特性。另外，摄像机模组10只要是阴影修正机构15、失真修正机构16及透镜特性推测机构17的至少一个参照保持在参数存储机构23中的参数的结构就可以。
在本变形例的情况下，摄像机模组10也能够实现薄型化及小型化、和高灵敏度下的摄影。一般而言，多数情况下DSP20与图像传感器部11相比电路规模的制约较少。因此，摄像机模组10构成为通过DSP20实施RAW图像处理及RGB同时化(去马赛克)处理，能够通过复杂且高水平的信号处理得到高品质的图像。进而，在本实施例的情况下，摄像机模组10能够削减图像传感器部11的电路规模。
摄像机模组10也可以通过图像传感器部11实施从阴影处理到去马赛克处理为止的信号处理。在此情况下，图像传感器部11具备阴影修正机构15、失真修正机构16、透镜特性推测机构17、析像度复原机构18、块匹配机构21及去马赛克机构22(图示省略)。摄像机模组10通过构成为在图像传感器部11中实施RAW图像处理及RGB同时化(去马赛克)处理，能够通过简单的电路结构实现信号处理的高速化。另外DSP20并不限于设在摄像机模组10的内部中的情况，也可以设在摄像机模组10的外部。
图6是第2实施方式所涉及的摄像机模组30的概略立体图。本实施方式的摄像机模组30由具备摄像元件33和摄像透镜34的九个独立的子摄像机模组构成。作为固体摄像装置的图像传感器部31具备九个摄像元件33。小透镜32具备以与摄像元件33对应的方式配置在平面上的九个摄像透镜34。摄像机模组30的壳体19对图像传感器部31及小透镜32进行保持。
图7是图像传感器部31的示意俯视图。九个摄像元件33配置为纵横3×3的矩阵状。其中的两个摄像元件33为R光用(R01、R12)、两个摄像元件33为B光用(B10、B21)、五个摄像元件33为G光用(G00、G02、G11、G20、G22)。G光用的五个摄像元件33中的一个(G11)配置在矩阵的中央，在其周围的斜向配置有四个(G00、G02、G20、G22)。R光用的摄像元件33(R01、R12)、B光用的摄像元件33(B10、B21)配置为与G光用的摄像元件33纵横相邻。
本实施方式的摄像机模组30与第1实施方式的摄像机模组10同样，能够实现摄像元件33及摄像透镜34之间的距离的缩短、混色的减少带来的灵敏度的提高、轴向色像差的减轻。这里，将九个子摄像机模组中的配置在中心的G用子摄像机模组(G11)作为基准子摄像机模组。通过将G用子摄像机模组作为基准子摄像机模组、将视灵敏度较高的G成分的被摄体像作为基准，能够减轻后述的图像处理的精度差。
图8是表示摄像机模组30中的用于信号处理的结构的框图。用于信号处理的结构大体分为前级的图像传感器部31和后级的DSP40。DSP40是处理来自图像传感器部31的图像数据的图像处理装置。图像传感器部31具备阴影修正机构35、失真修正机构36、透镜特性推测机构37、以及析像度复原机构38。图像传感器部31的阴影修正机构35、失真修正机构36、透镜特性推测机构37及析像度复原机构38按照由九个子摄像机模组(G00、R01、G02、B10、G11、R12、G20、B21、G22)得到的RAW图像分别实施信号处理。
阴影修正机构35对起因于摄像透镜34发生的亮度不匀、特别是被摄体像的中央部与周边部之间的光量差进行修正(阴影修正)。失真修正机构36对起因于摄像透镜34发生的被摄体像的变形(失真)进行修正。透镜特性推测机构37推测成为轮廓渗色的原因的倍率色像差或模糊量等、摄像透镜34所具备的透镜特性。作为透镜特性，例如使用作为光学传递系数的PSF(Point Spread Function)。透镜特性推测机构37例如通过最小二乘法推测PSF。
析像度复原机构38基于由透镜特性推测机构37推测的透镜特性实施析像度复原处理。析像度复原的效果依赖于在复原中使用的算法。析像度复原处理为了复原接近于原被摄体像的图像而使用例如Richardson-Lucy法。
DSP40具备块匹配机构41、加权处理机构42、采样机构43及去马赛克机构44。块匹配机构41对经过了由阴影修正机构35、失真修正机构36、透镜特性推测机构37及析像度复原机构38进行处理后的RAW图像实施块匹配(图案匹配)处理。块匹配机构41通过块匹配处理，进行由各子摄像机模组得到的被摄体像彼此的对位。加权处理机构42求出由各子摄像机模组得到的被摄体像的视差量，通过实施对应于视差量的加权处理而对视差进行修正。
图9A～图9C是对被摄体像的视差进行说明的图。图9A表示被摄体P1处于无穷远的情况。在此情况下，在由各子摄像机模组得到的被摄体像中不发生视差。图9B表示被摄体P2处于很近距离的情况。视差是在很近距离时成像位置不同的现象。在发生了视差的情况下，如果不考虑视差而合成彩色图像，则图像模糊而明显有损于图像。由九个子摄像机模组中的处于基本子摄像机模组的周围的八个子摄像机模组得到的被摄体像受到视差的影响。
相对于此，在九个子摄像机模组中的位于中心的基准子摄像机模组的情况下，如图9C所示，在被摄体P1处于无穷远的情况和被摄体P2处于很近距离的情况下都看作在被摄体像中没有发生视差，加权处理机构42基于由不受视差影响的基准子摄像机模组得到的被摄体像与由其他子摄像机模组得到的被摄体像的差分信息，求出视差量。作为差分信息，采用例如亮度差或边缘信息。加权处理机构42对于G光，在配置在图7所示的对角位置的子摄像机模组(G00、G02、G20、G22)与基准子摄像机模组(G11)之间，按照子像素单位求出差分信息。这里，越是以更细小的子像素求出差分信息，则输出析像度越高。加权处理机构42将求出的差分值越大作为视差量越大，增大基准子摄像机模组(G11)的信号值的权重。另一方面，对于R光，由于视灵敏度不如G光高，所以基于一个子摄像机模组(G02)与基准子摄像机模组(G11)之间的加权信息进行加权。对于B光，与R光的情况同样，基于一个子摄像机模组(G20)与基准子摄像机模组(G11)之间的加权信息进行加权。
另外，摄像机模组30也可以代替加权处理机构42而采用通过仿射变换等使用矩阵的坐标变换处理降低视差量(移动量)的坐标变换处理机构(图示省略)。这里所谓的坐标变换处理，是基于由基准子摄像机模组摄影的像素的位置信息和由其他子摄像机模组摄影的像素的位置信息、通过最小二乘法等的方法求出坐标变换矩阵。在本实施方式中，使用九个子摄像机模组，但在使用四个子摄像机模组的情况下，优选的是以G光用的摄像元件求出视差量。
回到图8，采样机构43对以由基准子摄像机模组摄像的被摄体像为基准进行视差的修正之后的图像实施信号值的采样，得到规定的总像素数。在采样机构43中，基于由加权处理机构42按照子像素单位生成的图像，实施以像素单位得到信号值那样的采样。作为采样的方法，例如使用双线性、双三次等的插值方式。另外，在代替加权处理机构42而使用坐标变换处理机构的情况下，采样机构43基于由坐标变换处理机构生成的图像实施采样。去马赛克机构44通过由采样机构43中的采样得到的图像的去马赛克处理合成彩色图像。摄像机模组30输出这样合成的彩色图像。另外，在本实施方式中说明的处理的顺序是一例，也可以适当进行其他处理的追加、处理顺序的变更等。
在本实施方式中，摄像机模组30也能够实现薄型化及小型化、和高灵敏度下的摄影。此外，摄像机模组30通过分别由图像传感器部31实施RAW图像处理、由处理器40实施RGB同时化(去马赛克)处理，能够沿用以往的摄像机模组的处理的大部分，能够减少系统的变更。摄像机模组30对于例如块匹配处理以外的处理，也可以沿用以往的系统。
子摄像机模组的配置并不限于图7所示的情况。例如，R用子摄像机模组及B用子摄像机模组的配置也可以适当变更。此外，作为基准子摄像机模组，也可以使用使RGB的像素拜耳排列的子摄像机模组而代替G用子摄像机模组。在此情况下，由于使RGB的像素拜耳排列的子摄像机模组的焦距变长，所以摄像机模组30为了使焦距与其他子摄像机模组相同而优选地使用广角透镜作为摄像透镜34。进而，摄像机模组30根据目的及用途，也可以设计例如具备如下像素的子摄像机模组，所述像素是低灵敏度像素及高灵敏度像素、具备RGB以外的补色彩色过滤器的像素、具备白-灰过滤器的像素等。
摄像机模组30并不限于经过加权处理机构42的以子像素单位的图像生成而得到规定的总像素数的情况。摄像机模组30在不能得到子像素单位的精度的情况，例如也可以通过去马赛克机构44中的增采样而得到规定的总像素数。在采用去马赛克机构44中的增采样的情况下，摄像机模组30也能够得到较高的灵敏度。
图10是表示摄像机模组30中的用于信号处理的结构的变形例的框图。在本变形例中，摄像机模组30通过DSP40实施从阴影修正到去马赛克处理的信号处理。DSP40具备阴影修正机构35、失真修正机构36、透镜特性推测机构37、析像度复原机构38、块匹配机构41、加权处理机构42、采样机构43及去马赛克机构44。图像传感器部31具备参数存储机构45。在参数存储机构45中，写入有DSP40中的处理所需要的参数。参数存储机构45保持写入的参数。图像传感器部31将摄像机模组30的个体信息作为参数保持在参数存储机构45中。
阴影修正机构35参照保持在参数存储机构45中的参数，实施被摄体像的阴影修正。失真修正机构36参照保持在参数存储机构45中的参数，修正被摄体像的失真。透镜特性推测机构37参照保持在参数存储机构45中的参数，推测各子摄像机模组的摄像透镜34所具备的透镜特性。
在本变形例的情况下，摄像机模组30也能够实现薄型化及小型化、和高灵敏度下的摄影。一般而言，多数情况下DSP40与图像传感器部31相比电路规模的制约较少。因此，摄像机模组30通过构成为由DSP40实施RAW图像处理及RGB同时化(去马赛克)处理，能够通过复杂且高水平的信号处理得到高品质的图像。进而，在本变形例的情况下，摄像机模组30能够削减图像传感器部31的电路规模。在本变形例的情况下也是，DPS40可以代替加权处理机构42，而采用通过仿射变换等的使用矩阵的坐标变换处理来降低视差量(移动量)的坐标变换处理机构(图示省略)。
摄像机模组30也可以通过图像传感器部31实施从阴影处理到去马赛克处理的信号处理。在此情况下，图像传感器部31具备阴影修正机构35、失真修正机构36、透镜特性推测机构37、析像度复原机构38、块匹配机构41、加权处理机构42、采样机构43及去马赛克机构44(图示省略)。摄像机模组30通过构成为在图像传感器部31中实施RAW图像处理及RGB同时化(去马赛克)处理，能够通过简单的电路结构实现信号处理的高速化。在该情况下也是，图像传感器部31可以代替加权处理机构42，而采用通过仿射变换等的使用矩阵的坐标变换处理来降低视差量(移动量)的坐标变换处理机构(图示省略)。另外，DSP40并不限定于设在摄像机模组30的内部中的情况，也可以设在摄像机模组30的外部。
进一步的效果及变形例可以由本领域的技术人员容易地导出。由此，本发明的更大范围的方式并不限定于以上表示且记述的特定的详细及代表性的实施方式。因而，能够不脱离由权利要求书及其等价物定义的总的发明的主旨或技术范围而进行各种变更。

Claims (22)

1.一种图像处理装置，其中，具有：
阴影修正机构，实施由摄像元件摄像的被摄体像的阴影修正；
失真修正机构，对上述被摄体像的失真进行修正；
透镜特性推测机构，推测将向摄像元件入射的光取入的摄像透镜所具备的透镜特性；
析像度复原机构，基于所推测的上述透镜特性，实施上述被摄体像的析像度复原处理；
块匹配机构，实施用于上述被摄体像的对位的块匹配处理；以及
去马赛克机构，通过由上述块匹配处理得到的图像数据的去马赛克处理合成彩色图像；
针对由上述摄像元件和上述摄像透镜构成的多个子摄像机模组，上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构按照由上述子摄像机模组得到的图像数据分别实施信号处理。
2.如权利要求1所述的图像处理装置，其中，
将上述多个子摄像机模组中的一个作为基准子摄像机模组，
上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构对通过使由上述基准子摄像机模组以外的子摄像机模组得到的上述被摄体像的成像位置相对于由上述基准子摄像机模组得到的上述被摄体像的成像位置位移而得到的上述图像数据，实施上述信号处理。
3.如权利要求2所述的图像处理装置，其中，
上述基准子摄像机模组是对上述被摄体像的绿色成分进行摄像的绿色用子摄像机模组。
4.如权利要求1所述的图像处理装置，其中，
将上述多个子摄像机模组中的一个作为基准子摄像机模组，
上述析像度复原机构基于加上了位置信息的上述透镜特性，实施上述析像度复原处理，所述位置信息用于使由上述基准子摄像机模组以外的子摄像机模组摄像的上述被摄体像相对于由上述基准子摄像机模组摄像的上述被摄体像位移。
5.如权利要求1所述的图像处理装置，其中，
将上述多个子摄像机模组中的一个作为基准子摄像机模组，
具有采样机构，所述采样机构将由上述基准子摄像机模组摄像的上述被摄体像作为基准，对修正了由上述基准子摄像机模组以外的子摄像机模组引起的视差之后的图像实施信号值的采样。
6.如权利要求5所述的图像处理装置，其中，
具有加权处理机构，所述加权处理机构求出由上述多个子摄像机模组得到的上述被摄体像的视差量，实施与上述视差量对应的加权处理，
上述采样机构基于由上述加权处理机构生成的图像，实施上述采样。
7.如权利要求5所述的图像处理装置，其中，
具有坐标变换处理机构，所述坐标变换处理机构实施使由上述多个子摄像机模组得到的上述被摄体像的视差量减小的坐标变换处理，
上述采样机构基于由上述坐标变换处理机构生成的图像，实施上述采样。
8.如权利要求1所述的图像处理装置，其中，
上述块匹配机构实施用于得到规定的总像素数的上述块匹配处理。
9.如权利要求1所述的图像处理装置，其中，
上述去马赛克机构实施用于得到规定的总像素数的增采样。
10.一种固体摄像装置，其中，
具有摄像被摄体像的多个摄像元件；
将由上述摄像元件、以及将向上述摄像元件入射的光取入的摄像透镜构成的多个子摄像机模组中的一个作为基准子摄像机模组，
上述基准子摄像机模组以外的子摄像机模组的上述摄像元件相对于上述基准子摄像机模组的上述摄像元件配置成使上述被摄体像的成像位置位移。
11.如权利要求10所述的固体摄像装置，其中，
上述基准子摄像机模组的上述摄像元件对上述被摄体像的绿色成分进行摄像。
12.如权利要求10所述的固体摄像装置，其中，
上述基准子摄像机模组的上述摄像元件配置在上述多个摄像元件的中央。
13.如权利要求10所述的固体摄像装置，其中，具有：
阴影修正机构，实施上述被摄体像的阴影修正；
失真修正机构，对上述被摄体像的失真进行修正；
透镜特性推测机构，推测将向摄像元件入射的光取入的摄像透镜所具备的透镜特性；以及
析像度复原机构，基于所推测的上述透镜特性，实施上述被摄体像的析像度复原处理；
上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构按照由上述子摄像机模组得到的图像数据分别实施信号处理。
14.如权利要求13所述的固体摄像装置，其中，具有：
块匹配机构，对经过了由上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构进行的处理的图像数据，实施用于上述被摄体像的对位的块匹配处理；以及
去马赛克机构，通过由上述块匹配处理得到的图像的去马赛克处理合成彩色图像。
15.一种摄像机模组，其中，具有：
多个摄像元件，摄像被摄体像；
多个摄像透镜，将向上述摄像元件入射的光取入；
壳体，对上述摄像元件及上述摄像透镜进行保持；
阴影修正机构，实施上述被摄体像的阴影修正；
失真修正机构，对上述被摄体像的失真进行修正；
透镜特性推测机构，推测上述摄像透镜所具备的透镜特性；
析像度复原机构，基于所推测的上述透镜特性，实施上述被摄体像的析像度复原处理；
块匹配机构，实施用于上述被摄体像的对位的块匹配处理；以及
去马赛克机构，通过由上述块匹配处理得到的图像的去马赛克处理合成彩色图像；
针对由上述摄像元件及上述摄像透镜构成的多个子摄像机模组，上述阴影修正机构、上述失真修正机构、上述透镜特性推测机构及上述析像度复原机构按照由上述子摄像机模组得到的图像数据分别实施信号处理。
16.如权利要求15所述的摄像机模组，其中，
将上述多个子摄像机模组中的一个作为基准子摄像机模组，
上述基准子摄像机模组以外的子摄像机模组的上述摄像元件相对于上述基准子摄像机模组的上述摄像元件配置成使上述被摄体像的成像位置位移。
17.如权利要求16所述的摄像机模组，其中，
上述基准子摄像机模组是对上述被摄体像的绿色成分进行摄像的子摄像机模组。
18.如权利要求15所述的摄像机模组，其中，
将上述多个子摄像机模组中的一个作为基准子摄像机模组，
上述析像度复原机构基于加上了位置信息的上述透镜特性，实施上述析像度复原处理，所述位置信息用于使由上述基准子摄像机模组以外的子摄像机模组摄像的上述被摄体像相对于由上述基准子摄像机模组摄像的上述被摄体像位移。
19.如权利要求15所述的摄像机模组，其中，
将上述多个子摄像机模组中的一个作为基准子摄像机模组，
具有采样机构，所述采样机构将由上述基准子摄像机模组摄像的上述被摄体像作为基准，对修正了由上述基准子摄像机模组以外的子摄像机模组引起的视差之后的图像实施信号值的采样。
20.如权利要求19所述的摄像机模组，其中，
具有加权处理机构，所述加权处理机构求出由上述多个子摄像机模组得到的上述被摄体像的视差量，实施与上述视差量对应的加权处理，
上述采样机构基于由上述加权处理机构生成的图像，实施上述采样。
21.如权利要求19所述的摄像机模组，其中，
具有坐标变换处理机构，所述坐标变换处理机构实施使由上述多个子摄像机模组得到的上述被摄体像的视差量减小的坐标变换处理，
上述采样机构基于由上述坐标变换处理机构生成的图像，实施上述采样。
22.如权利要求15所述的摄像机模组，其中，
具有参数存储机构，所述参数存储机构将上述摄像机模组的个体信息作为参数进行保持，
上述阴影修正机构、上述失真修正机构及上述透镜特性推测机构的至少一个参照保持在上述参数存储机构中的上述参数。
CN2010102512275A 2009-08-19 2010-08-09 图像处理装置、固体摄像装置及摄像机模组 Pending CN101998040A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009190147A JP2011044801A (ja) 2009-08-19 2009-08-19 画像処理装置
JP190147/2009 2009-08-19

Publications (1)

Publication Number Publication Date
CN101998040A true CN101998040A (zh) 2011-03-30

Family

ID=43605057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102512275A Pending CN101998040A (zh) 2009-08-19 2010-08-09 图像处理装置、固体摄像装置及摄像机模组

Country Status (4)

Country Link
US (1) US8339483B2 (zh)
JP (1) JP2011044801A (zh)
CN (1) CN101998040A (zh)
TW (1) TWI408956B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930923A (zh) * 2011-12-02 2014-07-16 诺基亚公司 用于捕获图像的方法、装置和计算机程序产品
CN109480741A (zh) * 2018-12-05 2019-03-19 余姚市盈宝电器有限公司 后续清洗次数选择系统
CN110036630A (zh) * 2016-12-08 2019-07-19 松下知识产权经营株式会社 固体摄像装置以及摄像装置

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5404376B2 (ja) * 2009-12-24 2014-01-29 株式会社東芝 カメラモジュール及び画像処理装置
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
JP5634795B2 (ja) * 2010-08-19 2014-12-03 富士フイルム株式会社 撮像モジュールおよび撮像装置
JP5582935B2 (ja) * 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5330439B2 (ja) * 2011-03-18 2013-10-30 株式会社東芝 カメラモジュール、画像処理装置及び画像処理方法
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
JP2014521117A (ja) 2011-06-28 2014-08-25 ペリカン イメージング コーポレイション アレイカメラで使用するための光学配列
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5816015B2 (ja) 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
JP5901935B2 (ja) 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104335246B (zh) * 2012-05-01 2018-09-04 Fotonation开曼有限公司 用pi滤光器群组来形成图案的相机模块
EP2677734A3 (en) * 2012-06-18 2016-01-13 Sony Mobile Communications AB Array camera imaging system and method
EP2677732B1 (en) 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
KR101714213B1 (ko) * 2015-09-09 2017-03-09 현대오트론 주식회사 렌즈 영상 왜곡 보정 장치
CN110249620B (zh) * 2017-02-17 2021-04-23 富士胶片株式会社 图像处理装置、图像处理方法及相机系统
JP6592622B2 (ja) * 2017-02-17 2019-10-16 富士フイルム株式会社 画像処理装置、画像処理方法、およびカメラシステム
JP2019029913A (ja) * 2017-08-01 2019-02-21 キヤノン株式会社 撮像装置
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
KR102653106B1 (ko) 2018-10-18 2024-04-01 삼성전자주식회사 영상 처리 장치 및 방법
DE112020004391T5 (de) 2019-09-17 2022-06-02 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
US11037359B1 (en) * 2020-06-24 2021-06-15 Microsoft Technology Licensing, Llc Real-time rendering stylized passthrough images
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078213A (ja) * 1999-06-30 2001-03-23 Canon Inc 撮像装置
JP2003189171A (ja) * 2001-10-12 2003-07-04 Canon Inc 画像処理装置及び方法及び制御プログラム及び記録媒体
WO2009001563A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 撮像装置及び半導体回路素子

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264464A (ja) 1991-02-19 1992-09-21 Ricoh Co Ltd 複写制御装置
US6538691B1 (en) * 1999-01-21 2003-03-25 Intel Corporation Software correction of image distortion in digital cameras
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
JP2002158913A (ja) * 2000-11-16 2002-05-31 Canon Inc 撮像装置及び撮像方法
JP2002247593A (ja) * 2001-02-16 2002-08-30 Olympus Optical Co Ltd 画像処理装置
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
US7158685B2 (en) * 2002-06-28 2007-01-02 Microsoft Corporation Demosaicing graphical content
US7171054B2 (en) * 2003-05-01 2007-01-30 Eastman Kodak Company Scene-based method for determining focus
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP2007135135A (ja) * 2005-11-14 2007-05-31 Olympus Corp 動画像撮像装置
TW200740212A (en) * 2006-04-10 2007-10-16 Sony Taiwan Ltd A stitching accuracy improvement method with lens distortion correction
EP1874034A3 (en) 2006-06-26 2011-12-21 Samsung Electro-Mechanics Co., Ltd. Apparatus and method of recovering high pixel image
TW200822691A (en) * 2006-11-01 2008-05-16 Altek Corp Aberration compensation system of digital camera
JP2009089082A (ja) * 2007-09-28 2009-04-23 Kyocera Corp 画像復元装置およびその方法
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001078213A (ja) * 1999-06-30 2001-03-23 Canon Inc 撮像装置
JP2003189171A (ja) * 2001-10-12 2003-07-04 Canon Inc 画像処理装置及び方法及び制御プログラム及び記録媒体
WO2009001563A1 (ja) * 2007-06-28 2008-12-31 Panasonic Corporation 撮像装置及び半導体回路素子

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103930923A (zh) * 2011-12-02 2014-07-16 诺基亚公司 用于捕获图像的方法、装置和计算机程序产品
CN110036630A (zh) * 2016-12-08 2019-07-19 松下知识产权经营株式会社 固体摄像装置以及摄像装置
CN110036630B (zh) * 2016-12-08 2021-08-20 新唐科技日本株式会社 固体摄像装置以及摄像装置、输送设备的反射镜
CN109480741A (zh) * 2018-12-05 2019-03-19 余姚市盈宝电器有限公司 后续清洗次数选择系统

Also Published As

Publication number Publication date
TW201130296A (en) 2011-09-01
US20110043665A1 (en) 2011-02-24
JP2011044801A (ja) 2011-03-03
US8339483B2 (en) 2012-12-25
TWI408956B (zh) 2013-09-11

Similar Documents

Publication Publication Date Title
CN101998040A (zh) 图像处理装置、固体摄像装置及摄像机模组
US8456552B2 (en) Image pick up unit using a lens array including a plurality of lens sections corresponding to m×n pixels of image pickup device
US8842201B2 (en) Image capturing device including lens array and processing
US20090027542A1 (en) Image pickup apparatus
CN102111544B (zh) 摄像模块、图像处理装置及图像记录方法
CN107018395B (zh) 图像处理装置、图像处理方法和摄像装置
WO2013099638A1 (ja) 撮像素子及び撮像装置
WO2013166215A1 (en) CAMERA MODULES PATTERNED WITH pi FILTER GROUPS
US8537256B2 (en) Image pickup device and solid-state image pickup element
EP3700192B1 (en) Imaging device and signal processing device
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US9143756B2 (en) Camera module, photographing method, and electronic apparatus
US20040240726A1 (en) Systems and methods for providing spatially-varied demosaicing
US20230007191A1 (en) Image sensor, imaging apparatus, electronic device, image processing system, and signal processing method
CN111009534A (zh) 图像传感器和图像感测方法
US8970748B2 (en) Imaging device, storage medium storing a control program for imaging device, and control method for imaging device
JP2012204856A (ja) 画像処理方法及びカメラモジュール
US8982225B2 (en) Camera module, image processing apparatus, and image processing method
CN101036380A (zh) 创建彩色图像的方法、成像设备和成像模块
US11997405B2 (en) Electronic device integrating phase difference detection and imaging and method for controlling the same
US11696041B2 (en) Image sensor, control method, camera component and mobile terminal with raised event adaptability and phase detection auto focus
US11988849B2 (en) Imaging device and method
KR20230037382A (ko) 전자 장치 및 그 제어 방법
CN114594535A (zh) 透镜组件和包括透镜组件的电子装置
CN115734082A (zh) 包括多个图像传感器的图像获取装置以及包括该图像获取装置的电子装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20110330