CN105264886B - 像素插值装置及其动作控制方法 - Google Patents
像素插值装置及其动作控制方法 Download PDFInfo
- Publication number
- CN105264886B CN105264886B CN201480029601.3A CN201480029601A CN105264886B CN 105264886 B CN105264886 B CN 105264886B CN 201480029601 A CN201480029601 A CN 201480029601A CN 105264886 B CN105264886 B CN 105264886B
- Authority
- CN
- China
- Prior art keywords
- pixel
- mixed
- color
- pixels
- colored pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 239000003086 colorant Substances 0.000 claims abstract description 40
- 230000007246 mechanism Effects 0.000 claims description 47
- 239000000654 additive Substances 0.000 claims description 20
- 230000000996 additive effect Effects 0.000 claims description 20
- 230000002596 correlated effect Effects 0.000 claims description 17
- 230000008520 organization Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 230000005484 gravity Effects 0.000 claims description 8
- 230000001276 controlling effect Effects 0.000 claims description 5
- 238000000151 deposition Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 22
- 238000004891 communication Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 17
- 230000005540 biological transmission Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 241000872198 Serjania polyphylla Species 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 241000256844 Apis mellifera Species 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明提供一种像素插值装置及其动作控制方法。本发明可预先防止假彩色的产生。针对红色像素R及蓝色像素B，在像素混合块Br内，按每一相同颜色像素混合而获得红色混合像素R及蓝色混合像素B。奇数行的绿色像素Gr与偶数行的Gb像素被分别混合而获得绿色混合像素Gr及绿色混合像素Gb。由这些混合像素检测局部彩色图像1的相关方向。根据相关方向，由混合像素生成插值像素，以免产生假彩色。
Description
技术领域
本发明涉及一种像素插值装置、其动作控制方法以及其动作控制程序。
背景技术
为了生成缩小图像，有时会按每一相同颜色像素进行像素混合。例如，针对利用拜耳(Bayer)排列的固体电子成像元件获得的彩色图像数据进行像素混合时，有调整像素相加比率来使相加像素的重心成为等间隔的方法(专利文献1)及调整像素相加之前的增幅量来将相加像素的重心等间隔的方法(专利文献2)等。
以往技术文献
专利文献
专利文献1：日本专利公开2008-98971号公报
专利文献2：日本专利公开2006-261789号公报
发明的概要
发明要解决的技术课题
然而，专利文献1、2的任意一个中，在拍摄高频的竖条纹或横条纹的被摄体时，尽管被摄体是黑白的，有时也会产生假彩色。
本发明的目的在于预先防止假彩色的产生。
用于解决技术课题的手段
基于本发明的像素插值装置，其特征在于，具备：相同颜色像素混合机构，在包含第1颜色像素、对亮度的贡献率分别低于第1颜色像素的第2颜色像素及第3颜色像素的基本排列图案在行方向及列方向重复的彩色图像中，按在行方向及列方向上由多个像素构成的每一像素混合图案进行处理，从而按每一像素混合图案获得多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，所述处理中，针对第1颜色像素，分为至少与第2颜色像素或第3颜色像素存在于相同行的第1种第1颜色像素及与第2颜色像素或第3颜色像素存在于相同列且不同于上述第1种的第2种第1颜色像素，并按每一相同颜色像素进行混合，针对第2颜色像素及第3颜色像素，按每一相同颜色像素进行混合；相关判断机构，根据通过相同颜色像素混合机构获得的多种第1颜色的混合像素，判断与彩色图像在列方向或行方向的哪一方向上相关；及插值机构，根据基于相关判断机构的判断结果，利用在相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素、第2颜色的插值像素及第3颜色的插值像素。
本发明还提供适于像素插值装置的动作控制方法。即，该方法中，在包含第1颜色像素、对亮度的贡献率分别低于第1颜色像素的第2颜色像素及第3颜色像素的基本排列图案在行方向及列方向重复的彩色图像中，由相同颜色像素混合机构按在行方向及列方向使由多个像素构成的每一像素混合图案进行如下处理，从而按每一像素混合图案获得多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，所述处理中，针对第1颜色像素，分为至少与第2颜色像素或第3颜色像素存在于相同行的第1种第1颜色像素及与第2颜色像素或第3颜色像素存在于相同列且不同于上述第1种的第2种第1颜色像素，并按每一相同颜色像素进行混合，针对第2颜色像素及第3颜色像素，按每一相同颜色像素进行混合，相关判断机构根据通过相同颜色像素混合机构获得的多种第1颜色的混合像素，判断与彩色图像在列方向或行方向的哪一方向上相关，插值机构根据基于相关判断机构的判断结果，利用在相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素、第2颜色的插值像素及第3颜色的插值像素。
本发明还提供用于实施像素插值装置的动作控制方法的程序。也可提供存储有这种程序的记录介质。
根据本发明，按每一像素混合图案进行如下处理，即，针对第1颜色像素，分为至少与第2颜色像素或第3颜色像素存在于相同行的第1种第1颜色像素及与第2颜色像素或第3颜色像素存在于相同列的第2种(不同于第1种的)第1颜色像素，并按每一相同颜色像素进行混合，针对第2颜色像素及第3颜色像素，按每一相同颜色像素进行混合。根据在像素混合中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，判断与彩色图像在列方向或行方向的哪一方向上相关。根据判断结果，利用多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素、第2颜色的插值像素及第3颜色的插值像素。根据多种第1颜色的混合像素，判断与彩色图像在列方向或行方向的那一方向上相关，根据该判断结果生成插值像素，因此进行像素混合时，能够预先防止由于高频的被摄体而产生的假彩色。
插值机构可如下，即，当通过相影响，针对第3颜色像素，减小与第3颜色像素相同列的第1颜色像素的影响关判断机构判断为在彩色图像的列方向相关时，针对第2颜色像素，减小与第2颜色像素相同行的第1颜色像素的影响，针对第3颜色像素，减小与第3颜色像素相同行的第1颜色像素的影响，当通过相关判断机构判断为在彩色图像的行方向相关时，针对第2颜色像素，减小与第2颜色像素相同列的第1颜色像素的，并利用在相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素、第2颜色的插值像素及第3颜色的插值像素。
插值机构可具备差量数据计算机构，其计算第2颜色的混合像素与多种第1颜色的混合像素中的存在于通过相关判断机构判定为相关的方向的第1颜色的混合像素之间的针对第2颜色的差量数据，及第3颜色的混合像素与多种第1颜色的混合像素中的存在于通过相关判断机构判定为相关的方向的第1颜色的混合像素之间的针对第3颜色的差量数据。此时，将多种第1颜色的混合像素的平均像素作为第1颜色的插值像素，将在第1颜色的插值像素加上通过上述差量数据计算机构计算出的针对第2颜色的差量数据的像素作为第2颜色的插值像素，将在第1颜色的插值像素加上通过上述差量数据计算机构计算出的针对第3颜色的差量数据的像素作为第3颜色的插值像素。
所述像素插值装置还可具备相加值判断机构，其判断第1相加值与第2相加值中哪一个值更大，其中，第1相加值通过将第2颜色的混合像素与多种第1颜色的混合像素中的与第2颜色在相同列上的第1颜色的混合像素之间的差量的绝对值加上第3颜色的混合像素与多种第1颜色的混合像素中的与第3颜色在相同列上的第1颜色的混合像素之间的差量的绝对值来获得，第2相加值通过将第2颜色的混合像素与多种第1颜色的混合像素中的与第2颜色在相同行上的第1颜色的混合像素之间的差量的绝对值加上第3颜色的混合像素与多种第1颜色的混合像素中的与第3颜色在相同行上的第1颜色的混合像素之间的差量的绝对值来获得。此时，相关判断机构为如下机构，即，例如通过相加值判断机构，判断为第1相加值小于第2相加值时，与此相应地判断为在列方向上相关，判断为第1相加值大于第2相加值时，与此相应地判断为在行方向上相关。
基于相同颜色像素混合机构的第1颜色的混合像素例如为2种。并且，优选在相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素在像素混合图案中的重心位置相同。
基本排列图案例如为基于拜耳排列的图案。并且，可在行方向及列方向的6×6的像素中，在行方向及列方向上包含具有绿色或品红色的颜色成分的第1颜色像素、具有红色或青色的颜色成分的第2颜色像素及具有蓝色或黄色的颜色成分的第3颜色像素，第1颜色像素在列方向、行方向及倾斜方向上至少包含有1个，且至少包含1个在列方向、行方向及倾斜方向上连续两个的部分。
彩色图像是例如在与第2颜色像素相同的行及相同的列存在第1颜色像素，且在与第3颜色像素相同的列及相同的行也存在第1颜色像素的图像。
还可提供具备像素插值装置的撮像装置。
附图说明
图1是局部彩色图像的一例。
图2表示像素混合的状态。
图3表示像素混合的状态。
图4表示像素混合的状态。
图5表示像素混合的状态。
图6表示像素混合的状态。
图7表示像素混合的状态。
图8表示像素混合的状态。
图9表示像素混合的状态。
图10表示像素混合的状态。
图11表示像素混合的状态。
图12表示像素混合的状态。
图13表示像素混合的状态。
图14表示像素混合的状态。
图15表示像素混合的状态。
图16表示像素混合的状态。
图17表示像素混合的状态。
图18表示横条纹的局部彩色图像。
图19表示竖条纹的局部彩色图像。
图20表示数码相机的电结构。
图21是局部彩色图像的一例。
图22表示像素混合的状态。
图23表示像素混合的状态。
图24表示像素混合的状态。
图25表示像素混合的状态。
图26表示像素混合的状态。
图27表示像素混合的状态。
图28表示横条纹的局部彩色图像。
图29表示竖条纹的局部彩色图像。
图30是局部彩色图像的一例。
图31表示像素混合的状态。
图32表示像素混合的状态。
图33表示像素混合的状态。
图34表示像素混合的状态。
图35表示像素混合的状态。
图36表示横条纹的局部彩色图像。
图37表示竖条纹的局部彩色图像。
图38表示斜条纹的局部彩色图像。
图39是局部彩色图像的一例。
图40是局部彩色图像的一例。
图41表示R像素。
图42表示B像素。
图43表示G1像素。
图44表示G2像素。
图45是表示个人计算机的电结构的框图。
图46是表示个人计算机的处理步骤的流程图。
图47表示智能手机的外观。
图48是表示智能手机的电结构的框图。
具体实施方式
图1是表示利用在多个光电二极管的受光面上滤色器根据拜耳排列而形成的成像元件获得的彩色图像的一部分的局部彩色图像1。
图1的局部彩色图像1在行方向(行数增加的方向)及列方向(列数增加的方向)上均由6个像素10构成。在奇数列奇数行上，有由积蓄在光电二极管的信号电荷获得的红色像素(R像素、第2颜色像素)，所述光电二极管在受光面上形成有具有使红色的光成分透射的特性的红色滤波器。在偶数列偶数行上，有由积蓄在光电二极管的信号电荷获得的蓝色像素(B像素、第3颜色像素)，所述光电二极管在受光面上在形成有具有使蓝色的光成分透射的特性的蓝色滤波器。在偶数列奇数行及奇数列偶数行上有由积蓄在光电二极管的信号电荷获得的绿色像素(第1颜色像素)，所述光电二极管在受光面上形成有具有使绿色的光成分透射的特性的绿色滤波器。该实施例中，将在奇数行上位于R像素之间的绿色像素称为Gr像素(第1种第1颜色像素)，将在偶数行上位于B像素之间的绿色像素称为Gb像素(第2种第1颜色像素)。图1中，也可以在奇数行偶数列排列R像素，在偶数行奇数列排列B像素，在其他部位排列绿色像素。与B像素相同的行上存在Gb像素，相同的列上存在Gr像素。并且，与R像素相同的行上存在Gr像素，相同的列上存在Gb像素。
图1中，示出了按照拜耳排列的局部彩色图像1，因此像素10按照列方向及行方向的2像素×2像素的基本排列图案重复。
并且，该实施例中，规定了列方向及行方向的3像素×3像素的像素混合块Br(像素混合图案)。如后述，在该像素混合块Br内，混合相同颜色像素彼此，彩色图像缩小为1/9。其中，Gr像素与Gb像素为相同颜色像素，但在像素混合中被区分，Gr像素彼此、Gb像素彼此被像素混合。并且，像素混合块Br当然也可以不是3像素×3像素的大小。
以构成局部彩色图像1的3像素×3像素的4个像素混合块Br规定的图像部分中，将左上、右上、左下及右下的各个图像部分设为图像部分11、12、13及14。
图2至图5表示图像部分11的像素混合的状态。
图2是构成图像部分11的R像素的像素混合。图2中，为了便于理解，省略了R像素以外的像素。
图像部分11中，四角的像素10为R像素。四角的4个R像素被混合且被平均化的像素成为图像部分11的缩小后的R混合像素(第2颜色的混合像素)。
图3是构成图像部分11的Gr像素的像素混合。图3中，为了便于理解，省略了表示Gr像素以外的像素的颜色的符号。
图像部分11中，中央像素10的上下为Gr像素。这些2个Gr像素被混合且被平均化的像素成为图像部分11的缩小后的Gr混合像素(第1颜色的混合像素)。
图4为构成图像部分11的Gb像素的像素混合。图4中，为了便于理解，省略了表示Gb像素以外的像素的颜色的符号。
图像部分11中，中央像素的左右为Gb像素。这些2个Gb像素被混合且被平均化的像素成为图像部分11的缩小后的Gb混合像素(第1颜色的混合像素)。
图5表示构成图像部分11的B像素。图像部分11中有中央的1个B像素，因此该B像素本身成为缩小后的B混合像素(第3颜色的混合像素)。如此，以作为各颜色的像素的绿色成分像素、蓝色成分像素及红色成分像素分别进行像素混合之后的各颜色的混合像素的重心位置在像素混合块Br中成为相同的像素位置上的方式进行像素混合。通过这种像素混合，同时进行图像的缩小和像素插值，因此能够省略通常作为独立的处理而进行的插值处理(还称为去马赛克处理)，并能够简化处理回路并加快处理速度。
图6至图9表示图像部分12的像素混合的状态。这些图中与图2至图5相同地省略图示被像素混合的像素以外的像素。
图6是图像部分12的R像素的像素混合。在中央像素10上下有R像素，因此这些2个R像素被混合而生成R混合像素。
图7是图像部分12的Gr像素的像素混合。在四角有Gr像素，因此这些4个Gr像素被混合而生成Gr混合像素。
图8是图像部分12的Gb像素。在中央有Gb像素，因此该Gb像素成为Gb混合像素。
图9是图像部分12的B像素。在中央像素10的左右有B像素，因此这些2个B像素被混合而生成B混合像素。
图10至图13表示图像部分13的像素混合的状态。在这些图中也与上述相同地省略图示被像素混合的像素以外的像素。
图10是图像部分13的R像素的像素混合。在中央像素10的左右有R像素，这些2个R像素被混合而生成R混合像素。
图11是图像部分13的Gr像素。Gr像素位于中央，因此该Gr像素成为Gr混合像素。
图12是图像部分13的Gb像素的像素混合。图像部分13的四角的Gb像素被像素混合而生成Gb混合像素。
图13是图像部分13的B像素的像素混合。图像部分13的中央像素上下的B像素被像素混合而生成B混合像素。
图14至图17表示图像部分14的像素混合的状态。这些图中，也与上述相同地省略图示被像素混合的像素以外的像素。
图14是图像部分14的R像素。R像素位于中央，因此该R像素成为R混合像素。
图15是图像部分14的Gr像素。Gr像素位于中央像素10的左右，因此这些2个Gr像素被像素混合而成为Gr混合像素。
图16是图像部分14的Gb像素。Gb像素位于中央像素10的上下，因此这些2个Gb像素被像素混合而成为Gb混合像素。
图17是图像部分14的B像素。B像素位于四角，因此这些4个B像素被混合而成为B混合像素。
图18表示横条纹的局部彩色图像1。
作为空间频率较高的被摄体的例子，在该例子中，设为被摄体为黑白的横条纹，且其白与黑的周期与成像元件的光电二极管所形成的间隔相等。如此一来，如图18所示，奇数行(或偶数行)成为白色线，偶数行(或奇数行)成为黑色线。局部彩色图像1中，为了明确是黑色线而附上了阴影。未附阴影的部分表示白色线。
在如图18所示的黑白的横条纹的局部彩色图像1中，若如上述那样进行像素混合，则有时会如下述那样产生假彩色。
首先，将白色电平设为100，将黑色电平设为0。如图2所示，图像部分11的R像素表示白色，因此R混合像素的电平成为100。同样地，如图3所示，Gr像素也表示白色，因此Gr混合像素的电平也成为100。如图4及图5所示，Gb像素及B像素分别显示黑色，因此Gb混合像素及B混合像素的电平均成为0。其中，Gr混合像素与Gb混合像素从相同的滤色器特性获得，因此若进行混合，则混合后的G像素的电平变成50，导致在像素混合后的缩小图像中产生假彩色。图像部分11以外的部分也相同。
图19表示竖条纹的局部彩色图像1。
与图18所示的内容相同地设为被摄体为黑白的竖条纹，且其白与黑的周期与成像元件的光电二极管所形成的间隔相等。如此一来，如图19所示，奇数列(或偶数列)成为白色线，偶数列(或奇数列)成为黑色线。图18中，也为了明确是黑色而附上了阴影。未附有阴影的部分为白色。
与上述相同地，将白色电平设为100，将黑色电平设为0。如图2所示，图像部分11的R像素表示白色，因此R混合像素的电平成为100。如图3所示，Gr像素表示黑色，因此Gr混合像素的电平成为0。如图4所示，Gb像素表示白色，因此Gb混合像素的电平成为100。如图5所示，B像素显示黑色，因此B混合像素的电平均成为0。若Gr混合像素与Gb混合像素被混合，则混合后的G像素的电平成为50，导致在像素混合后的缩小图像中产生假彩色。图像部分11以外的部分也相同。
该实施例中，如式1所示，利用通过像素混合获得的R混合像素、Gr混合像素、Gb混合像素及B混合像素进行相关方向判断。
(|R混合像素-Gr混合像素|+|B混合像素-Gb混合像素|)＜(|R混合像素-Gb混合像素|+|B混合像素-Gr混合像素|)……式1
若式1成立，则判断为局部彩色图像1如图18所示的横条纹那样在横方向(列方向)上相关。若式1不成立，则判断为局部彩色图像1如图19所示的竖条纹那样在纵方向(行方向)上相关。式1的不等号的左边为由相同行的像素生成的混合像素的差量值，式1的不等号的右边为由相同列的像素生成的混合像素的差量值，因此式1成立是因为认为相同行的像素间的电平差较少，在横方向上相关。同样地，式1不成立是因为认为相同列的像素间的电平差较小，在纵方向上相关。
该实施例中，根据相关方向校正混合像素。为了该校正，分别计算R像素差量值Rsub及B像素差量值Bsub。方向判断的结果，若判断为在横方向(列方向)上相关，则R像素差量值Rsub及B像素差量值Bsub分别以式3及式4表示。如后述，在横方向上相关时，位于与R像素相同行的Gr像素的影响及位于与B像素相同行的Gb像素的影响分别减少。
R像素差量值Rsub＝R混合像素-Gr混合像素……式3
B像素差量值Bsub＝B混合像素-Gb混合像素……式4
方向判断的结果，若判断为在纵方向上相关，则R像素差量值Rsub及B像素差量值Bsub分别以式5及式6表示。如后述，在纵方向(行方向)上相关时，位于与R像素相同列的Gb像素的影响及位于与B像素相同列的Gr像素的影响分别减少。
R像素差量值Rsub＝R混合像素-Gb混合像素……式5
B像素差量值Bsub＝B混合像素-Gr混合像素……式6
由如上述那样获得的混合像素等如下生成插值像素。
G插值像素＝(Gr混合像素+Gb混合像素)/2……式7
R插值像素＝G插值像素+R像素差量值Rsub……式8
B插值像素＝G插值像素+B像素差量值Bsub……式9
利用根据式7至式9获得的插值像素来生成缩小图像，由此即使是如上述那样高频率的横条纹或竖条纹的黑白图像，也不会产生假彩色就能够实现缩小及插值处理。
例如，如上述的图18所示，若针对黑白横条纹的局部彩色的图像1进行缩小及插值处理，则针对图像部分11，式1成立，因此R像素差量值Rsub由式3成为Rsub＝100-100＝0，B像素差量值Bsub由式4成为Bsub＝0-0＝0。G插值像素的电平由式7成为G插值像素的电平＝(100+0)/2＝50，R插值像素的电平由式8成为R插值像素的电平＝50+0＝50，B插值像素的电平由式9成为B插值像素的电平＝50+0＝50。成为G插值像素的电平＝R插值像素的电平＝B插值像素的电平＝50，预先防止假彩色的产生。对于其他图像部分12、13及14也相同。
并且，如上述的图19所示，若针对黑白的竖条纹的局部彩色图像1进行缩小及插值处理，则针对图像部分11，式1不成立，因此R像素差量值Rsub由式5成为Rsub＝100-100＝0，B像素差量值Bsub由式6成为Bsub＝0-0＝0。成为G插值像素＝R插值像素＝B插值像素＝50，预先防止假彩色的产生。对于其他图像部分12、13及14也相同。
图20是表示进行上述的缩小及插值处理的数码相机的电结构的框图。
成像元件20具有上述的拜耳排列，输出如上述那样表示包含局部彩色图像1的彩色图像的彩色图像数据(RAW数据)。从成像元件20输出的彩色图像数据供给至构成像素插值装置21的相关信息计算回路22。在相关信息计算回路22中，如上述那样进行像素混合，生成R混合像素、B混合像素、Gr混合像素及Gb混合像素。利用这些混合像素，根据式1计算表示彩色图像的相关方向的相关信息。
从相关信息计算回路22输出分别表示R混合像素、B混合像素、Gr混合像素及Gb混合像素的数据以及表示相关信息的数据，并供给至RGB像素插值回路23。在RGB像素插值回路23中，根据相关方向，计算出以式3及式4或式5及式6表示的像素差量值，且根据式7至式9生成插值像素。表示所生成的插值像素的数据经由存储器24供给至显示处理装置25。通过显示处理装置25控制显示装置26，由此显示已进行插值处理的缩小图像。显示于显示装置26的图像中当然防止了假彩色的产生。另外，上述实施例中设为在相关信息计算回路22中进行像素混合，并生成R混合像素、B混合像素、Gr混合像素及Gb混合像素，但并不限于此，也可以在从成像元件20读出彩色图像数据的阶段或输出所述数据的阶段进行像素混合。由此能够提高处理速度。
图21至图29表示其他实施例。
图21与图1对应，是表示利用在多个光电二极管的受光面上滤色器根据规定排列而形成的成像元件获得的彩色图像的一部分的局部彩色图像1A。
图21的局部彩色图像1A也在行方向及列方向上均由6个像素10A构成。对于这些像素10A，也与上述相同地对红色像素、绿色像素及蓝色像素分别标注R、G或B的符号。
在3像素×3像素的像素混合块Br中，在中央及四角有G像素。该实施例中，在像素混合块Br中，区分了中央的G像素与四角的G像素。四角的G像素设为G1像素，中央的G像素设为G2像素。在通过局部彩色图像部分1A的左上及右下的像素混合块Br规定的图像部分31及34中，在中央的G2像素的上下有R像素，在中央的G2像素的左右有B像素。与此相对，在通过局部彩色图像部分1A的右上及左下的像素混合块Br规定的图像部分32及33中，在中央的G2像素的上下有B像素，在中央的G2像素的左右有R像素。
彩色图像将图21所示的局部彩色图像1A作为基本排列图案而重复。
并且，局部彩色图像1A中，在水平方向(列方向)及垂直方向(行方向)上至少存在各一个G1像素或G2像素、R像素及B像素，并重复排列局部彩色图像1A，由此在彩色图像的任意水平方向、垂直方向及倾斜方向上均至少存在一个G1像素或G2像素。并且，在局部彩色图像1A中，至少包含1个G1像素或G2像素在水平方向、垂直方向及倾斜方向上连续两个的部分。而且，在局部彩色图像1A中，至少包含一个G1像素在水平方向及垂直方向上连续两个的部分。
例如，在局部彩色图像1A中，G1像素在第6n(n为正整数)+1行、第6n+3行、第6n+4行及第6n+6行中形成于第6m(m为正整数)+1列、第6m+3列、第6m+4列及第6m+6列。G2像素在第6n+2行及第6n+5行中形成于第6m+2列及第6m+5列。同样地，B像素在第6n+1行及第6n+3行中存在于第6m+5列，在第6n+2行中存在于第6m+1列及第6m+3列，在第6n+4行及第6n+6行中存在于第6m+2列，在第6n+5行中存在于第6m+4列及第6m+6列。R像素在第6n+1及第6n+3行中形成于第6m+2列，在第6n+2行中形成于第6m+4列及第6m+6列，在第6n+4行及第6n+6行中形成于第6m+5列，在第6n+5行中形成于第6m+1列及第6m+3列。
上述的例子中，通过在光电转换元件的光电二极管的受光面上形成红色滤波器、绿色滤波器或蓝色滤波器来获得彩色图像，但也可以通过在光电转换元件的光电二极管的受光面上形成具有使作为三基色的补色的青色C的光成分透射的特性的青色滤波器、具有使品红色M的光成分透射的特性的品红色滤波器或具有使黄色Y的光成分透射的特性的黄色滤波器，获得具有如上述那样的像素排列的彩色图像。
图22至图25表示图像部分31的像素混合的状态。对于图像部分34也相同。
图22是R像素的像素混合。为了便于理解，省略了R像素以外的像素。图像部分31中，中央像素10A的上下的像素为R像素。这些2个R像素被混合且被平均化的像素成为图像部分31的缩小后的R混合像素。
图23是构成图像部分31的G1像素的像素混合。图23中，也省略了表示G1像素以外的像素的颜色的符号。
在图像部分31中，四角为G1像素。这些4个G1像素被混合且被平均化的像素成为图像部分31的缩小后的G1混合像素。
图24是构成图像部分31的G2像素的像素混合。图24中，为了便于理解，也省略了表示G2像素以外的像素的颜色的符号。
在图像部分31中，中央像素为G2像素。该G2像素成为图像部分31的缩小后的G2混合像素。
图25表示构成图像部分31的B像素。省略了B像素以外的像素的颜色的符号。
在中央像素10A的左右有B像素。这些2个B像素被像素混合且被平均化，从而成为缩小后的B混合像素。
图26及图27表示图像部分32的像素混合的状态。对于图像部分33也相同。并且，图像部分32及33中的G1像素的排列及G2像素的排列与图像部分31相同，因此G1像素的像素混合与图23所示的状态相同，G2像素的像素混合与图24所示的状态相同。
图26是R像素的像素混合。在中央像素10A的左右有R像素，因此这些2个R像素被混合而生成R混合像素。当然也会被平均化。
图27是B像素的像素混合。在中央像素10A的上下有B像素，因此这些2个B像素被混合而生成B混合像素。如此，以作为各颜色的像素的绿色成分的像素、蓝色成分的像素、红色成分的像素分别进行像素混合之后的各颜色的混合像素的重心位置成为相同的像素位置的方式进行像素混合。通过这种像素混合，同时进行图像的缩小和像素插值，因此能够省略通常作为独立的处理而进行的插值处理(还称为去马赛克处理)，能够简化处理回路，并能够加快处理速度。
图28与图18对应，表示横条纹的局部彩色图像1A。
与如图18所示的状态相同地设为被摄体为横条纹且其白与黑的周期与成像元件的光电二极管所形成的间隔相等。如此一来，如图28所示，奇数行(或偶数行)成为白色线，偶数行(或奇数行)成为黑色线。局部彩色图像1A中为了明确是黑色线而附上了阴影。未附阴影的部分表示白色线。
与参考图18进行的说明相同地，若不区分G1像素与G2像素而进行像素混合，则会导致产生假彩色。
图29表示竖条纹的局部彩色图像1A。
与图28所示的状态相同地，若设为被摄体为黑白的竖条纹且其白与黑的周期与成像元件的光电二极管所形成的间隔相等，则如图29所示，奇数列(或偶数列)成为白色线，偶数列(或奇数列)成为黑色线。图29中，为了明确是黑色，也附上了阴影。未附阴影的部分为白色。
该实施例中，也与上述相同地，当为图像部分31及34的像素排列图案时，如式10所示，利用通过像素混合获得的R混合像素、G1混合像素、G2混合像素及B混合像素进行相关方向判断。
(|R混合像素-G1混合像素|+|B混合像素-G2混合像素|)＜(|R混合像素-G2混合像素|+|B混合像素-G1混合像素|)……式10
若式10成立，则判断为图像部分31及34如图28所示的横条纹那样在横方向(列方向)上相关。若式10不成立，则判断为图像部分31及34如图29所示的竖条纹那样在纵方向(行方向)上相关。
当为图像部分32及33的像素排列图案时，利用在式10中R混合像素与B混合像素相反的式10A进行相关方向判断。
(|B混合像素-G1混合像素|+|R混合像素-G2混合像素|)＜(|B混合像素-G2混合像素|+|R混合像素-G1混合像素|)……式10A
若式10A成立，则判断为图像部分32及33如图28所示的横条纹那样在横方向上相关，若式10A不成立，则判断为图像部分32及33如图29所示的竖条纹那样在纵方向上相关。
如此，根据对在相同列上被混合的R混合像素与G混合像素之间的差量绝对值和在相同列上被混合的B混合像素与G混合像素之间的差量绝对值之和、与在相同行上被混合的R混合像素与G混合像素之间的差量绝对值和在相同行上被混合的B混合像素与G混合像素之间的差量绝对值之和进行比较，判断是在列方向上相关还是在行方向上相关。
与上述相同地根据相关方向校正混合像素。为了该校正，分别计算R像素差量值Rsub及B像素差量值Bsub。方向判断的结果，若判断为在横方向上相关，则R像素差量值Rsub及B像素差量值Bsub分别以式11及式12表示。如后述，在横方向上相关时，位于与R像素相同行的G1像素的影响及位于与B像素相同行的G2像素的影响分别减少。
R像素差量值Rsub＝R混合像素-G1混合像素……式11
B像素差量值Bsub＝B混合像素-G2混合像素……式12
方向判断的结果，若判断为在纵方向上相关，则R像素差量值Rsub及B像素差量值Bsub分别以式13及式14表示。如后述，在纵方向上有关时，位于与R像素相同列的G2像素的影响及位于与B像素相同列的G1像素的影响分别减少。
R像素差量值Rsub＝R混合像素-G2混合像素……式13
B像素差量值Bsub＝B混合像素-G1混合像素……式14
由如上述那样获得的混合像素等如下生成插值像素。
G插值像素＝(G1混合像素+G2混合像素)/2……式15
R插值像素＝G插值像素+R像素差量值Rsub……式16
B插值像素＝G插值像素+B像素差量值Bsub……式17
利用根据式15至式17获得的插值像素生成缩小图像，由此即使是如上述那样高频率的横条纹或竖条纹的黑白图像，也不会产生假彩色就能够实现缩小及插值处理。
例如，如上述的图28所示，若针对黑白的横条纹的局部彩色图像1A进行缩小及插值处理，则针对图像部分31，式10成立，因此R像素差量值Rsub由式11成为Rsub＝100-100＝0，B像素差量值Bsub由式12成为Bsub＝0-0＝0。G插值像素的电平由式15成为G插值像素的电平＝(100+0)/2＝50，R插值像素的电平由式16成为R插值像素的电平＝50+0＝50，B插值像素的电平由式17成为B插值像素的电平＝50+0＝50。成为G插值像素＝R插值像素＝B插值像素＝50，可预先防止假彩色的产生。
关于其他图像部分32及33，也进行基于式10A的方向判断、R像素差量值及B像素差量值的计算以及G插值像素、R插值像素及B插值像素的计算，由此预先防止假彩色的产生。
并且，如上述的图29所示，若针对黑白的竖条纹的局部彩色图像1A进行缩小及插值处理，则针对图像部分31，式10不成立，因此R像素差量值Rsub由式13成为Rsub＝100-100＝0，B像素差量值Bsub由式14成为Bsub＝0-0＝0。成为G插值像素＝R插值像素＝B插值像素＝50，预先防止假彩色的产生。对于其他图像部分34也相同。
图30至图38表示其他实施例。
图30与图1、图21对应，是表示利用在多个光电二极管的受光面上滤色器根据规定排列而形成的成像元件获得的彩色图像的一部分的局部彩色图像1B。
图30所示的局部彩色图像1B也在行方向及列方向上均由6个像素10B构成。针对这些像素10B，也与上述相同地，对红色像素、绿色像素及蓝色像素分别标注R、G或B的符号。
在3像素×3像素的像素混合块Br的任意图像部分41至44中，在中央及中央的上下左右也有G像素。在中央的左上及右下有R像素，在中央的右上及左下有B像素。该实施例中，中央的G像素、中央的G像素上下的G像素及中央的G像素左右的G像素被区分。中央的G像素上下的G像素设为G1像素，中央的G像素左右的G像素设为G2像素，中央的G像素设为G3像素。
彩色图像将图像部分41作为基本排列图案而重复。
上述例子中，通过在光电转换元件的光电二极管的受光面上形成红色滤波器、绿色滤波器或蓝色滤波器来获得彩色图像，但也可通过在光电转换元件的光电二极管的受光面上形成具有使作为三基色的补色的青色C的光成分透射的特性的青色滤波器、具有使品红色M的光成分透射的特性的品红色滤波器或具有使黄色Y的光成分透射的特性的黄色滤波器，获得具有如上述那样的像素排列的彩色图像。
图31至图35表示图像部分41的像素混合的状态。对于其他图像部分42至44也相同。
图31是R像素的像素混合。为了便于理解，省略了R像素以外的像素。在图像部分41中，中央像素10B的左上及右下的像素为R像素。这些2个R像素被混合且被平均化的像素成为图像部分41的缩小后的R混合像素。
图32是构成图像部分41的G1像素的像素混合。图32中，省略了表示G1像素以外的像素的颜色的符号。
在图像部分41中，中央像素10B的上下为G1像素。这些2个G1像素被混合且被平均化的像素成为图像部分41的缩小后的G1混合像素。
图33是构成图像部分41的G2像素的像素混合。在图33中，为了便于理解，也省略了表示G2像素以外的像素的颜色的符号。
在图像部分41中，中央像素10B的左右为G2像素。这些G2像素被混合且被平均化，从而成为图像部分41的缩小后的G2混合像素。
图34表示构成图像部分41的B像素。省略了B像素以外的像素的颜色的符号。
在中央像素10B的右上及左下有B像素。这些2个B像素被像素混合且被平均化，从而成为缩小后的B混合像素。
图35表示构成图像部分41的G3像素。位于图像部分41的中央的G3像素为G3混合像素。如此，以作为各颜色的像素的绿色成分的像素、蓝色成分的像素、红色成分的像素分别进行像素混合之后的各颜色的混合像素的重心位置成为相同像素位置上的方式进行像素混合。通过这种像素混合，同时进行图像的缩小和像素插值，因此能够省略通常作为独立的处理而进行的插值处理(还称为去马赛克处理)，能够简化处理回路，并能够加快处理速度。
图36与图18、图28对应，表示横条纹的局部彩色图像1B。
与图18等中示出的状态相同地，设为被摄体为横条纹且其白与黑的周期与成像元件的光电二极管所形成的间隔相等。如此一来，如图36所示，奇数行(或偶数行)成为白色线，偶数行(或奇数行)成为黑色线。局部彩色图像1B中，为了明确是黑色线而附上了阴影。未附阴影的部分为白色线。
如与参考图18等进行的说明相同地，若不区分G1像素、G2像素及G3像素而进行像素混合，则会导致产生假彩色。
图37表示竖条纹的局部彩色图像1B。
如与图36所示的状态相同地，若设为被摄体为黑白的竖条纹且其白与黑的周期与成像元件的光电二极管所形成的间隔相等，则如图37所示，奇数列(或偶数列)成为白色线，偶数列(或奇数列)成为黑色线。图37中，为了明确是黑色附上了阴影。未附阴影的部分为白色。
图38表示斜条纹的局部彩色图像1B。
如与图36、图37所示的状态相同地，若设为被摄体为黑白的斜条纹且其白与黑的周期与成像元件的光电二极管所形成的间隔相等，则如图38所示，倾斜的白色线与黑色线交替出现。图38中，为了明确是黑色而附上了阴影。未附阴影的部分为白色。
如图36所示，当为横条纹时，在R像素或B像素与G1像素之间相关。并且，如图37所示，当为竖条纹时，在R像素或B像素与G2像素之间相关。而且，如图38所示，当为斜条纹时，在R像素或B像素与G3像素之间相关。因此，将R像素或B像素与G1像素之间的差量的绝对值设为第1绝对值，将R像素或B像素与G2像素之间的差量的绝对值设为第2绝对值，将R像素或B像素与G3像素之间的差量的绝对值设为第3绝对值时，认为在赋予最小的绝对值的像素的方向上存在图像部分41的相关。第1绝对值、第2绝对值或第3绝对值最小时，认为存在横方向的相关、纵方向的相关或倾斜方向的相关。
相关方向为横方向时的R像素差量值Rsub及B像素差量值Bsub成为式18及式19。
R像素差量值Rsub＝R混合像素-G1混合像素……式18
B像素差量值Bsub＝B混合像素-G1混合像素……式19
相关方向为纵方向时的R像素差量值Rsub及B像素差量值Bsub成为式20及式21。
R像素差量值Rsub＝R混合像素-G2混合像素……式20
B像素差量值Bsub＝B混合像素-G2混合像素……式21
相关方向为倾斜方向时的R像素差量值Rsub及B像素差量值Bsub成为式22及式23。
R像素差量值Rsub＝R混合像素-G3混合像素……式22
B像素差量值Bsub＝B混合像素-G3混合像素……式23
由通过如上述那样获得的混合像素等生成插值像素。R像素差量值Rsub及B像素差量值Bsub当然利用与相关方向对应的值。
G插值像素＝(G1混合像素+G2混合像素+G3混合像素)/3……式24
R插值像素＝G插值像素+R像素差量值Rsub……式25
B插值像素＝G插值像素+B像素差量值Bsub……式26
该实施例中也与上述的实施例相同地利用根据式24至式26获得的插值像素生成缩小图像，由此即使如上述那样是高频率的横条纹、竖条纹或斜条纹的黑白图像，也不会产生假彩色就能够实现缩小及插值处理。
图39至图44表示又一实施例。
图39与图1、图21、图30对应，是表示利用在多个光电二极管的受光面上滤色器根据规定排列而形成的成像元件获得的彩色图像的一部分的局部彩色图像1C。
图39所示的局部彩色图像1C在行方向及列方向上均由3个像素10C构成。对于这些像素10C，也与上述相同地对红色像素、绿色像素及蓝色像素分别标注了R、G及B的符号。
第3n+1行第3n+2列及第3n+2行第3n+3列上配置有R像素。第3n+2行第3n+1列及第3n+3行第3n+2列上配置有B像素。在其他部位配置有G像素。通过重复这种基本排列图案，构成彩色图像。
上述的例子中，通过在光电转换元件的光电二极管的受光面上形成红色滤波器、绿色滤波器或蓝色滤波器来获得彩色图像，但也可以通过在光电转换元件的光电二极管的受光面上形成具有使作为三基色的补色的青色C的光成分透射的特性的青色滤波器、具有使品红色M的光成分透射的特性的品红色滤波器或具有使黄色Y的光成分透射的特性的黄色滤波器，获得具有如上述那样的像素排列的彩色图像。
图40是图39所示的局部彩色图像1C在行方向及列方向上重复来构成的局部彩色图像1D的一例。
图40中，在第6n+3行第6n+3列上配置有G1像素(第1种第1颜色像素)，在第6n+4行第6n+4列上配置有G2像素(第2种第1颜色像素)。在图40中的空白部分，如图39所示那样配置有G像素。图40中，在图39所示的G像素中，针对规定的G像素规定G1像素及G2像素。与G1像素相同的行上仅存在B像素而不存在R像素。与G1像素相同的列上仅存在R像素而不存在B像素。与G2像素相同的行上仅存在R像素而不存在B像素。与G2像素相同的列上仅存在B像素而不存在R像素。
而且，像素混合块Br在以第6n+2行至第6n+5行及第6n+2列至第6n+5列规定的水平方向及垂直方向上均由各4个像素的总计16像素构成。
图41至图44分别分开表示构成像素混合块Br的R像素、B像素、G1像素及G2像素。
图41表示构成像素混合块Br的图像部分的R像素。图41中，也省略了表示R像素以外的像素的颜色的符号。多个R像素彼此被混合且被平均化的像素成为像素混合块Br的图像部分的缩小后的R混合像素。
图42表示构成像素混合块Br的图像部分的B像素。图42中，为了便于理解，也省略了表示B像素以外的像素的颜色的符号。多个B像素彼此被混合且被平均化的像素成为像素混合块Br的缩小后的B混合像素。
图43表示构成像素混合块Br的图像部分的G1像素。省略了G1像素以外的像素的颜色的符号。G1像素在像素混合块Br中只有一个，因此该G1像素成为G1混合像素。
图44表示构成像素混合块Br的图像部分的G2像素。省略了G2像素以外的像素的颜色的符号。G2像素在像素混合块Br中也只有一个，因此该G2像素成为G2混合像素。
该实施例中，如上述，利用通过按每一像素混合块Br的像素混合来获得的R混合像素、B混合像素、G1混合像素及G2混合像素进行相关方向判断。该相关方向判断可利用上述的式10A。
若式10A成立，则判断为像素混合块Br的图像部分在横方向上相关。若式10A不成立，则判断为像素混合块Br的图像部分在纵方向上相关。
若判断为在横方向上相关，则上述的R像素差量值Rsub根据式13计算，B像素差量值Bsub根据式14计算。若判断为在纵方向上相关，则R像素差量值Rsub根据式11计算，B像素差量值Bsub根据式12计算。
G插值像素作为像素混合块Br中包含的8个G像素(包含G1像素、G2像素，并包含如上述那样以图40等所示的像素混合块Br的空白部分的表示的G像素)的平均值而根据式27获得。但是，也可以根据式15计算G插值像素。
G插值像素＝ΣG/8……式27
R插值像素及B插值像素分别根据上述的式16及式17获得。
该实施例中也与上述相同地，不会产生假彩色就能够实现缩小及插值处理。如从图40可知，像素混合块Br彼此并不相接，相邻的像素混合块Br彼此分开2像素。如上述那样进行缩小时，位于像素混合块Br之间的像素被无视。因此，通过上述的缩小，在列方向及行方向上分别缩小为1/6(以面积比计缩小为1/36)。
如此，本发明的实施例中，在沿水平及垂直方向重复基本排列图案的彩色图像中，以至少存在在相同行存在R像素(第2颜色像素)或B像素(第3颜色像素)的G1像素(第1种第1颜色像素)、及在相同列存在R像素(第2颜色像素)或B像素(第3颜色像素)的G2像素且不同于G1像素的G2像素(第2种第1颜色像素)的方式设定像素混合块Br(像素混合图案)。这也可以说是在沿水平及垂直方向重复基本排列图案的彩色图像中，以至少存在仅在相同行存在R像素(第2颜色像素)或B像素(第3颜色像素)的G1像素(第1种第1颜色像素)、及仅在相同列存在R像素(第2颜色像素)或B像素(第3颜色像素)的G2像素的方式设定像素混合块Br(像素混合图案)。
本发明的实施例中，在这样设定的像素混合块Br内，至少以第1种第1颜色像素(例如，G1像素)、第2种第1颜色像素(例如，G2像素)、第2颜色像素(例如，R像素)及第3颜色像素(例如，B像素)彼此进行像素混合。
而且，利用通过像素混合获得的多种第1颜色的混合像素、第2颜色的混合像素以及第3颜色的混合像素，判断与彩色图像在列方向或行方向的哪一方向上相关。具体而言，对第1相关关系与第2相关关系进行比较，判定与彩色图像在列方向或行方向的哪一方向上相关，其中，第1相关关系为存在于与第2颜色像素(R像素)相同的行的第1颜色像素(G1像素或G2像素)的混合像素和第2颜色的混合像素及第3颜色的混合像素之间的相关关系，第2相关关系为存在于与第2颜色像素(R像素)相同的列的第1颜色像素(G2像素或G1像素)的混合像素和存在于与第2颜色的混合像素及第3颜色像素(B像素)相同的列的第1颜色像素(G1像素或G2像素)的混合像素之间的相关关系。
本发明的实施例中，根据上述判断的结果，利用多种第1颜色(G1、G2)的混合像素、第2颜色(R)的混合像素及第3颜色(B)的混合像素，按每一像素混合图案生成第1颜色(G)的插值像素、第2颜色(R)的插值像素及第3颜色(B)的插值像素。由此，即使在被输入空间频率较高的被摄体像时，通过像素混合获得了缩小图像时，也可预先抑制假彩色的产生。
并且，上述实施例中，说明了通过在光电转换元件的光电二极管的受光面上形成各颜色滤波器来获得彩色图像，但并不限于此。也可采用利用有机物质等的光电转换元件，从在光电二极管中针对入射光中的特定颜色成分进行光电转换的成像元件获得彩色图像。
图45及图46表示其他实施例。
图45是表示个人计算机的电结构的框图。
个人计算机的整体动作由CPU70统管。
CPU70上连接有通信装置71、存储器72、键盘等输入装置73及显示装置74。并且，个人计算机中，还包含硬盘78、接入到硬盘78的硬盘驱动器77以及CD-ROM(只读光盘存储器)驱动器75。
存储有进行上述处理的程序的CD-ROM76被加载到CD-ROM驱动器75，从CD-ROM76读出程序。所读出的程序被安装于个人计算机，由此执行上述处理。也可以设为，程序即使未被存储于CD-ROM76，也可以在通信装置71中接收经由网络发送的程序并安装于个人计算机。
图46是表示图45所示的个人计算机的处理步骤的流程图。
如上述那样通过成像元件拍摄的彩色图像数据被记录于硬盘78，从该硬盘78读取彩色图像数据(步骤81)。针对所读取的彩色图像数据，按每一像素混合块Br进行以下处理。
如上述那样按每一相同颜色像素进行像素混合(步骤82)。但是，如上述，针对Gr像素、Gb像素、G1像素、G2像素、G3像素，当然要按各像素进行像素混合，以免混入。
接着，如上述，计算表示相关方向的相关信息(步骤83)。如上述，根据式1等，计算表示相关方向的相关信息。
根据相关信息，判断在哪一方向上相关(步骤84)。在列方向(横方向)上相关时，如上述，计算与横方向对应的R像素差量值Rsub及B像素差量值Bsub(步骤85)。在行方向(纵方向)上相关时，计算与纵方向对应的R像素差量值Rsub及B像素差量值Bsub(步骤86)。
如上述，利用计算出的R像素差量值Rsub及B像素差量值Bsub生成插值像素(步骤87)。
以上，作为本发明实施例的摄影装置的实施方式，对数码相机及个人计算机进行了说明，但摄影装置的结构并不限于此。作为基于本发明实施例的其他摄影装置，例如可设为内置或外置型的PC用相机或如以下说明的具有摄影功能的便携终端装置。
作为基于本发明实施例的摄影装置的一实施方式的便携终端装置，例如可举出移动电话或智能手机、PDA(Personal Digital Assistants)、便携式游戏机。以下，举智能手机为例，参考附图进行详细说明。
图47表示作为本发明的摄影装置的一实施方式的智能手机91的外观。图47所示的智能手机91具有平板状框体92，在框体92的一侧的面具备作为显示部的显示面板111与作为输入部的操作面板112成为一体的显示输入部110。并且，该框体92具备麦克风122、扬声器121、操作部130及相机部131。另外，框体92的结构并不限定于此，例如能够采用显示部与输入部独立的结构，或者采用具有折叠结构或滑动机构的结构。
图48是表示图47所示的智能手机91的结构的框图。如图48所示，作为智能手机的主要的构成要件，具备无线通信部100、显示输入部110、通话部120、操作部130、相机部131、存储部140、外部输入输出部150、GPS(Global Positioning System)接收部160、动作传感器部170、电源部180及主控制部190。并且，作为智能手机91的主要功能，具备经由基站装置BS和移动通信网NW进行移动无线通信的无线通信功能。
无线通信部100根据主控制部190的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行语音数据、图像数据等各种文件数据、电子邮件数据等的收发及Web数据或流数据等的接收。
显示输入部110是所谓的触摸面板，其具备显示面板111及操作面板112，所述显示输入部根据主控制部190的控制，显示图像(静止图像及动态图像)和文字信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作。
显示面板111是例如将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。操作面板112是以能够视觉辨认显示于显示面板111的显示面上的图像的方式载置，并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备，则将因操作而产生的检测信号输出至主控制部190。接着，主控制部190根据所接收的检测信号检测显示面板111上的操作位置(坐标)。
如图47所示，作为本发明的摄影装置的一实施方式来例示的智能手机91的显示面板111与操作面板112成为一体而构成显示输入部110，配置成操作面板112完全覆盖显示面板111。采用该配置时，操作面板112可以具备对显示面板111以外的区域也检测用户操作的功能。换言之，操作面板112可具备针对与显示面板111重叠的重叠部分的检测区域(以下，称为显示区域)、及针对除此以外的不与显示面板111重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板111的大小完全一致，但未必一定要使两者一致。并且，操作面板112可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体92的大小等而适当设计。此外，作为在操作面板112中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，还可以采用任意方式。
通话部120具备扬声器121和麦克风122，所述通话部将通过麦克风122输入的用户的语音转换成能够在主控制部190中处理的语音数据并输出至主控制部190、或者对通过无线通信部100或外部输入输出部150接收的语音数据进行解码并从扬声器121输出。并且，如图47所示，例如能够将扬声器121搭载于与设置有显示输入部110的面相同的面，并将麦克风122搭载于框体92的侧面。
操作部130为使用键开关等的硬件键，接受来自用户的命令。例如，如图47所示，操作部130搭载于智能手机91的框体92的侧面，是若被手指等按下则开启，若手指离开则通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部140存储主控制部190的控制程序和控制数据、应用软件、将通信对象的名称和电话号码等建立了对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、及已下载的内容数据，并且暂时存储流数据等。并且，存储部140由智能手机内置的内部存储部141及具有装卸自如的外部存储器插槽的外部存储部142构成。另外，构成存储部140的各个内部存储部141与外部存储部142通过使用闪存类型(flash memorytype)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro typ e)、卡类型的存储器(例如，MicroSD(注册商标)存储器等)、RAM(Rando m Access Memory)、ROM(Read Only Memory)等存储介质来实现。
外部输入输出部150发挥与连结于智能手机91的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：I rDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机91连结的外部设备，例如有：有/无线头戴式耳机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频/视频I/O(Input/Output)端子连接的外部音频/视频设备、无线连接的外部音频/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、、耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机91内部的各构成要件、或将智能手机91内部的数据传送至外部设备。
GPS接收部160根据主控制部190的命令，接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测由该智能手机91的纬度、经度、高度构成的位置。GPS接收部160在能够从无线通信部100或外部输入输出部150(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部170例如具备3轴加速度传感器等，根据主控制部190的命令，检测智能手机91的物理动作。通过检测智能手机91的物理动作，可检测智能手机91的移动方向或加速度。该检测结果输出至主控制部190。
电源部180根据主控制部190的命令，向智能手机91的各部供给积蓄在电池(未图示)中的电力。
主控制部190具备微处理器，根据存储部140所存储的控制程序或控制数据进行动作，总括控制智能手机91的各部。并且，主控制部190为了通过无线通信部100进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部190根据存储部140所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部150来与对向设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部190具备根据接收数据或所下载的流数据等图像数据(静止图像或动态图像的数据)而在显示输入部110显示影像等的图像处理功能。图像处理功能是指主控制部190对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部110的功能。
而且，主控制部190执行对显示面板111的显示控制及检测通过操作部130、操作面板112进行的用户操作的操作检测控制。
通过执行显示控制，主控制部190显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于针对无法落入显示面板111的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部190检测通过操作部130进行的用户操作，或者通过操作面板112接受对上述图标的操作或对上述窗口的输入栏的字符串的输入，或者接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部190具备判定对操作面板112操作的位置是与显示面板111重叠的重叠部分(显示区域)还是除此以外的不与显示面板111重叠的外缘部分(非显示区域)，并控制操作面板112的感应区域或软件键的显示位置的触摸面板控制功能。
并且，主控制部190还能够检测对操作面板112的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部131是使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge-Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部131能够通过主控制部190的控制，将通过摄像获得的图像数据转换成例如JPEG(Joint Photographiccoding Experts Group)等被压缩的图像数据，并存储于存储部140，或能够通过外部输入输出部150和无线通信部100输出。图47所示的智能手机91中，相机部131搭载于与显示输入部110相同的面，但相机部131的搭载位置并不限定于此，也可搭载于显示输入部110的背面，或者也可以搭载有多个相机部131。另外，搭载有多个相机部131时，还能够切换用于进行摄影的相机部131来单独摄影、或者同时使用多个相机部131来进行摄影。
并且，相机部131能够利用于智能手机91的各种功能中。例如，能够在显示面板111显示通过相机部131获取的图像，或者作为操作面板112的操作输入之一而利用相机部131的图像。并且，当GPS接收部160检测位置时，还能够参考来自相机部131的图像来检测位置。而且，还能够参考来自相机部131的图像，不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机91的相机部131的光轴方向，或判断当前的使用环境。当然，还能够在应用软件内利用来自相机部131的图像。
另外，能够在静止画面或动画的图像数据上附加通过GPS接收部160获取的位置信息、通过麦克风122获取的语音信息(可通过主控制部等进行语音文本转换而成为文本信息)、或通过动作传感器部170获取的姿势信息等等来存储于记录部140，或者还能够通过外部输入输出部150或无线通信部100输出。
上述实施例中，像素混合块Br中的混合像素的重心位置相同。
符号说明
20-成像元件，21-像素插值装置，22-相关信息计算回路，23-RGB像素插值回路，Br-像素混合块。
Claims (10)
1.一种像素插值装置，其具备：
相同颜色像素混合机构，在包含第1颜色像素、对亮度的贡献率分别低于第1颜色像素的第2颜色像素及第3颜色像素的基本排列图案在行方向及列方向重复的彩色图像中，在像素混合块内按在行方向及列方向上由多个像素构成的每一像素混合图案进行处理，从而按每一像素混合图案获得多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，所述处理中，针对第1颜色像素，分为至少与第2颜色像素或第3颜色像素存在于相同行的第1种第1颜色像素及与第2颜色像素或第3颜色像素存在于相同列且不同于上述第1种的第2种第1颜色像素，并在上述像素混合块内按每一相同颜色像素进行混合，针对第2颜色像素及第3颜色像素，按每一相同颜色像素进行混合；
相关判断机构，根据通过上述相同颜色像素混合机构获得的多种第1颜色的混合像素，判断在彩色图像中的在列方向或行方向的哪一方向上相关；及
插值机构，根据基于上述相关判断机构的判断结果，利用在上述相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素，第2颜色的插值像素及第3颜色的插值像素,
上述插值机构为如下机构，即，
当通过上述相关判断机构判断为在彩色图像的列方向相关时，针对第2颜色像素，减小与第2颜色像素相同行的第1颜色像素的影响，针对第3颜色像素，减小与第3颜色像素相同行的第1颜色像素的影响，
当通过上述相关判断机构判断为在彩色图像的行方向相关时，针对第2颜色像素，减小与第2颜色像素相同列的第1颜色像素的影响，针对第3颜色像素，减小与第3颜色像素相同列的第1颜色像素的影响，从而利用在上述相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素、第2颜色的插值像素及第3颜色的插值像素。
2.根据权利要求1所述的像素插值装置，其中，
上述插值机构为如下机构，即，
具备差量数据计算机构，其计算第2颜色的混合像素与多种第1颜色的混合像素中的存在于通过上述相关判断机构判断为相关的方向上的第1颜色的混合像素之间的针对第2颜色的差量数据，及第3颜色的混合像素与多种第1颜色的混合像素中的存在于通过上述相关判断机构判定为相关的方向上的第1颜色的混合像素之间的针对第3颜色的差量数据，
将多种第1颜色的混合像素的平均像素作为第1颜色的插值像素，将第1颜色的插值像素加上通过上述差量数据计算机构计算出的针对第2颜色的差量数据后的像素作为第2颜色的插值像素，将第1颜色的插值像素加上通过上述差量数据计算机构计算出的针对第3颜色的差量数据后的像素作为第3颜色的插值像素。
3.根据权利要求1所述的像素插值装置，其中，
还具备相加值判断机构，其判断第1相加值与第2相加值中哪一个值更大，其中，第1相加值通过第2颜色的混合像素与多种第1颜色的混合像素中的与第2颜色在相同列上的第1颜色的混合像素之间的差量的绝对值加上第3颜色的混合像素与多种第1颜色的混合像素中的与第3颜色在相同列上的第1颜色的混合像素之间的差量的绝对值来获得，第2相加值通过第2颜色的混合像素与多种第1颜色的混合像素中的与第2颜色在相同行上的第1颜色的混合像素之间的差量的绝对值加上第3颜色的混合像素与多种第1颜色的混合像素中的与第3颜色在相同行上的第1颜色的混合像素之间的差量的绝对值来获得，
上述相关判断机构为如下机构，即，
在上述相加值判断机构判断为第1相加值小于第2相加值时，与此相应地判断为在列方向上相关，在上述相加值判断机构判断为第1相加值大于第2相加值时，与此相应地判断为在行方向上相关。
4.根据权利要求1所述的像素插值装置，其中，
基于上述相同颜色像素混合机构的第1颜色的混合像素为2种。
5.根据权利要求1所述的像素插值装置，其中，
在上述相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素在像素混合图案中的重心位置相同。
6.根据权利要求1所述的像素插值装置，其中，
基本排列图案为基于拜耳排列的图案。
7.根据权利要求1所述的像素插值装置，其中，
在行方向及列方向的6×6的像素中，在行方向及列方向上包含具有绿色或品红色的颜色成分的第1颜色像素、具有红色或青色的颜色成分的第2颜色像素及具有蓝色或黄色的颜色成分的第3颜色像素，第1颜色像素在列方向、行方向及倾斜方向上至少包含有1个，且至少包含1个在列方向、行方向及倾斜方向上连续两个的部分。
8.根据权利要求1所述的像素插值装置，其中，
上述彩色图像为如下图像，即，
在与第2颜色像素相同的行及相同的列上存在第1颜色像素，且在与第3颜色像素相同的列及相同的行上也存在第1颜色像素。
9.一种摄像装置，其具备权利要求1所述的像素插值装置。
10.一种像素插值装置的动作控制方法，其中，
在包含第1颜色像素、对亮度的贡献率分别低于第1颜色像素的第2颜色像素及第3颜色像素的基本排列图案在行方向及列方向重复的彩色图像中，由相同颜色像素混合机构在像素混合块内按在行方向及列方向上由多个像素构成的每一像素混合图案进行处理，从而按每一像素混合图案获得多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，所述处理中，针对第1颜色像素，分为至少与第2颜色像素或第3颜色像素存在于相同行的第1种第1颜色像素及与第2颜色像素或第3颜色像素存在于相同列且不同于上述第1种的第2种第1颜色像素，并在上述像素混合块内按每一相同颜色像素进行混合，针对第2颜色像素及第3颜色像素，按每一相同颜色像素进行混合，
相关判断机构根据通过上述相同颜色像素混合机构获得的多种第1颜色的混合像素，判断在彩色图像中的在列方向或行方向的哪一方向上相关，
插值机构根据基于上述相关判断机构的判断结果，利用在上述相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素、第2颜色的插值像素及第3颜色的插值像素,
上述插值机构为如下机构，即，
当通过上述相关判断机构判断为在彩色图像的列方向相关时，针对第2颜色像素，减小与第2颜色像素相同行的第1颜色像素的影响，针对第3颜色像素，减小与第3颜色像素相同行的第1颜色像素的影响，
当通过上述相关判断机构判断为在彩色图像的行方向相关时，针对第2颜色像素，减小与第2颜色像素相同列的第1颜色像素的影响，针对第3颜色像素，减小与第3颜色像素相同列的第1颜色像素的影响，从而利用在上述相同颜色像素混合机构中获得的多种第1颜色的混合像素、第2颜色的混合像素及第3颜色的混合像素，按每一像素混合图案生成第1颜色的插值像素、第2颜色的插值像素及第3颜色的插值像素。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013108577 | 2013-05-23 | ||
| JP2013-108577 | 2013-05-23 | ||
| PCT/JP2014/062943 WO2014188950A1 (ja) | 2013-05-23 | 2014-05-15 | 画素補間装置およびその動作制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105264886A CN105264886A (zh) | 2016-01-20 |
| CN105264886B true CN105264886B (zh) | 2017-05-03 |
Family
ID=51933509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480029601.3A Active CN105264886B (zh) | 2013-05-23 | 2014-05-15 | 像素插值装置及其动作控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9727948B2 (zh) |
| JP (1) | JP5877931B2 (zh) |
| CN (1) | CN105264886B (zh) |
| WO (1) | WO2014188950A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5865555B2 (ja) * | 2013-05-13 | 2016-02-17 | 富士フイルム株式会社 | 混色率算出装置及び方法並びに撮像装置 |
| JP6276580B2 (ja) * | 2013-12-20 | 2018-02-07 | 株式会社メガチップス | 画素補間処理装置、撮像装置、プログラムおよび集積回路 |
| JP6598507B2 (ja) * | 2015-05-11 | 2019-10-30 | キヤノン株式会社 | 撮像装置、撮像システム、信号処理方法 |
| US10366674B1 (en) * | 2016-12-27 | 2019-07-30 | Facebook Technologies, Llc | Display calibration in electronic displays |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101360248A (zh) * | 2007-07-30 | 2009-02-04 | 卡西欧计算机株式会社 | 像素插值电路、像素插值方法以及记录介质 |
| CN102959958A (zh) * | 2011-02-28 | 2013-03-06 | 富士胶片株式会社 | 彩色成像设备 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3389819B2 (ja) * | 1996-06-10 | 2003-03-24 | 株式会社村田製作所 | 誘電体導波管型共振器 |
| US6836572B2 (en) | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
| JP4581191B2 (ja) * | 2000-06-21 | 2010-11-17 | 株式会社ニコン | 補間処理装置および補間処理プログラムを記録した記録媒体 |
| JP2003250091A (ja) * | 2002-02-22 | 2003-09-05 | Olympus Optical Co Ltd | 固体撮像素子の欠陥画素検出装置及び電子カメラ |
| JP2004356681A (ja) * | 2003-05-27 | 2004-12-16 | Olympus Corp | ホワイトバランス調整回路、その応用装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム |
| JP4826071B2 (ja) * | 2004-07-01 | 2011-11-30 | ソニー株式会社 | 物理情報取得方法および物理情報取得装置並びに物理量分布検知の半導体装置 |
| JP4759293B2 (ja) | 2005-03-15 | 2011-08-31 | キヤノン株式会社 | 撮像素子 |
| JP4752381B2 (ja) * | 2005-08-02 | 2011-08-17 | コニカミノルタオプト株式会社 | 撮像装置 |
| JP5183880B2 (ja) * | 2006-03-14 | 2013-04-17 | ソニー株式会社 | カラーフィルタおよび撮像素子 |
| JP2008098971A (ja) * | 2006-10-12 | 2008-04-24 | Matsushita Electric Ind Co Ltd | 固体撮像装置 |
| JP5672776B2 (ja) * | 2010-06-02 | 2015-02-18 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| WO2012124183A1 (ja) * | 2011-03-11 | 2012-09-20 | 富士フイルム株式会社 | 撮像装置およびその動作制御方法 |
| JP5378627B2 (ja) * | 2011-03-11 | 2013-12-25 | 富士フイルム株式会社 | 撮像装置およびその動作制御方法ならびに撮像システム |
| US9007488B2 (en) * | 2012-03-08 | 2015-04-14 | Semiconductor Components Industries, Llc | Systems and methods for generating interpolated high-dynamic-range images |
-
2014
- 2014-05-15 JP JP2015518212A patent/JP5877931B2/ja active Active
- 2014-05-15 CN CN201480029601.3A patent/CN105264886B/zh active Active
- 2014-05-15 WO PCT/JP2014/062943 patent/WO2014188950A1/ja active Application Filing
-
2015
- 2015-11-20 US US14/947,916 patent/US9727948B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101360248A (zh) * | 2007-07-30 | 2009-02-04 | 卡西欧计算机株式会社 | 像素插值电路、像素插值方法以及记录介质 |
| CN102959958A (zh) * | 2011-02-28 | 2013-03-06 | 富士胶片株式会社 | 彩色成像设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2014188950A1 (ja) | 2017-02-23 |
| CN105264886A (zh) | 2016-01-20 |
| US9727948B2 (en) | 2017-08-08 |
| JP5877931B2 (ja) | 2016-03-08 |
| WO2014188950A1 (ja) | 2014-11-27 |
| US20160080715A1 (en) | 2016-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105814882B (zh) | 摄像模块及摄像装置 | |
| CN104838646B (zh) | 图像处理装置、图像处理方法、程序及记录介质 | |
| CN104285435B (zh) | 摄像装置及信号校正方法 | |
| US10516860B2 (en) | Image processing method, storage medium, and terminal | |
| CN104205332B (zh) | 摄像元件以及摄像装置 | |
| JP5690974B2 (ja) | 撮像装置及び合焦制御方法 | |
| US20150237273A1 (en) | Image capture device, anomalous oblique incident light detection method, and recording medium | |
| CN104995912B (zh) | 摄像装置、图像处理装置及图像处理方法 | |
| CN107431760A (zh) | 摄像装置、摄像装置的图像处理方法以及程序 | |
| CN105474626B (zh) | 摄像装置 | |
| CN105264886B (zh) | 像素插值装置及其动作控制方法 | |
| CN104380706B (zh) | 图像处理装置、摄像装置、计算机及图像处理方法 | |
| CN105230010B (zh) | 像素混合装置及其动作控制方法 | |
| CN104380727B (zh) | 图像处理装置和图像处理方法 | |
| CN104641625B (zh) | 图像处理装置、摄像装置及图像处理方法 | |
| CN105980905B (zh) | 摄像装置及对焦控制方法 | |
| CN104584542A (zh) | 图像处理装置、方法、程序、记录介质及摄像装置 | |
| CN107431769A (zh) | 摄像装置、闪烁检测方法及闪烁检测程序 | |
| US10075686B2 (en) | Color-image-data contamination correction device and imaging device, and method for controlling operation thereof | |
| CN104797967A (zh) | 摄像装置及对焦控制方法 | |
| CN107211088A (zh) | 相机装置、摄像系统、控制方法及程序 | |
| EP4175275A1 (en) | White balance processing method and electronic device | |
| CN108370415B (zh) | 图像处理装置及图像处理方法 | |
| US9344646B2 (en) | Imaging device and imaging method | |
| US11501412B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and image processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |