CN104838647B - 摄像装置、图像处理方法 - Google Patents

摄像装置、图像处理方法 Download PDF

Info

Publication number
CN104838647B
CN104838647B CN201380063634.5A CN201380063634A CN104838647B CN 104838647 B CN104838647 B CN 104838647B CN 201380063634 A CN201380063634 A CN 201380063634A CN 104838647 B CN104838647 B CN 104838647B
Authority
CN
China
Prior art keywords
pixel
color
neighbor
color filter
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380063634.5A
Other languages
English (en)
Other versions
CN104838647A (zh
Inventor
仓桥秀和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority claimed from PCT/JP2013/080375 external-priority patent/WO2014087804A1/ja
Publication of CN104838647A publication Critical patent/CN104838647A/zh
Application granted granted Critical
Publication of CN104838647B publication Critical patent/CN104838647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明提供一种检测异常倾斜入射光的入射方向,并减少由异常倾斜入射光引起的混色的影响的摄像装置、图像处理方法及程序。本发明的摄像装置(10)具备异常倾斜入射光检测部(34)及校正部(36),异常倾斜入射光检测部(34)对第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素的像素数据进行比较,由此检测来自第1方向的异常倾斜入射光。

Description

摄像装置、图像处理方法
技术领域
本发明涉及一种摄像装置、图像处理方法,尤其涉及一种校正由异常倾斜入射光引起的混色的影响的技术。
背景技术
已知一直以来,在数码摄像机中,由于入射光在透镜或摄像机主体中反射,产生从倾斜方向入射的光(异常倾斜入射光),产生原本并不存在的图像即重影或闪光。并且,还已知随着重影的产生,存在由异常倾斜入射光引起的混色的影响。
专利文献1中,公开如下技术,即在滤色器排列为拜耳排列的彩色摄像元件中,在摄像元件的各像素的输出值中与预先存储的基准模式对应的区域内,根据相邻的线之间的相同颜色像素(GR、GB)(可认为在本申请说明中相当于Gr、Gb)的输出值的电平差检测由重影带来的色噪声,通过校正来抑制色噪声。
并且,专利文献2中公开如下技术,即从原图像减去根据重影像成分的信息生成的重影像成分的模拟图像,由此去除重影。
另一方面,专利文献3中公开有如下技术,即进行混色校正时,利用作为校正对象的关注像素的输出值与和关注像素相邻的多个周围像素的各输出值的差值及按每个相邻方向而独立的校正参数,对关注图像的信号进行混色校正。
以往技术文献
专利文献
专利文献1:日本专利公开2005-333251号公报
专利文献2:日本专利公开2008-289034号公报
专利文献3:日本专利公开2007-142697号公报
发明的概要
发明要解决的技术课题
然而,专利文献1中公开的技术中,存在无法判别重影的异常倾斜入射光的入射方向,且无法进行与入射方向相应的适当的校正的问题。
另外,专利文献2中公开的技术中,存在为了检测重影,不得不进行模拟的问题。
另外,专利文献3中公开的技术中,存在无法判别异常倾斜入射光的有无及入射方向的问题。
因此,本发明的目的在于提供一种检测异常倾斜入射光的入射方向,并减少由异常倾斜入射光引起的混色的影响的摄像装置及图像处理方法。
用于解决技术课题的手段
为了实现上述目的,本发明一方式所涉及的摄像装置,其具备:摄像元件,其为具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素的摄像元件,多个像素分别具有滤色器、及接受透过该滤色器的光而输出像素数据的光电二极管;异常倾斜入射光检测机构,根据像素数据,检测异常倾斜入射光向摄像元件的入射;及校正机构,根据异常倾斜入射光检测机构的检测结果,对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正,其中,多个像素包含:第1第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;第2第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;第1第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;及第2第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成,异常倾斜入射光检测机构根据第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素的像素数据,检测沿第1方向向摄像元件入射的异常倾斜入射光。
由此,能够根据像素数据检测异常倾斜入射光的入射,且能够判别异常倾斜入射光的入射方向。
摄像装置中,优选多个像素包含:第1第2方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第2方向相邻配置且具有第1颜色的滤色器的像素构成;第2第2方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第2方向相邻配置且具有第1颜色的滤色器的像素构成;第1第2方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第2方向相邻配置且具有第1颜色的滤色器的像素构成;及第2第2方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第2方向相邻配置且具有第1颜色的滤色器的像素构成,异常倾斜入射光检测机构根据第1第2方向相同颜色相邻色素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素的像素数据,检测沿第2方向向摄像元件入射的异常倾斜入射光。
由此,在第2方向上,也能够检测异常倾斜入射光的入射,而且能够检测入射方向。
摄像装置中,优选当第1第1方向相同颜色相邻像素的像素数据及第2第1方向相同颜色相邻数据的像素数据相同,且第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素的像素数据与第1第1方向相同颜色相邻像素及第2第1方向相同颜色相邻像素的像素数据不同时,异常倾斜入射光检测机构检测沿第1方向向摄像元件入射的异常倾斜入射光,当第1第2方向相同颜色相邻像素的像素数据及第2第2方向相同颜色相邻像素的像素数据相同,且第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素的像素数据与第1第2方向相同颜色相邻像素及第2第2方向相同颜色相邻像素的像素数据不同时,异常倾斜入射光检测机构检测沿第2方向向摄像元件入射的异常倾斜入射光。
摄像装置中,优选多个像素包含多个基本排列像素群,所述基本排列像素群为在第1方向及第2方向上具有N像素×M像素的排列的基本排列像素群,所述多个基本排列像素群沿第1方向及第2方向并列设置,其中,所述N为3以上的整数且所述M为3以上的整数,各个基本排列像素群包含第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素、第2第1方向不同颜色相邻像素、第1第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
由此,在摄像元件的整个面中能够检测异常倾斜入射光的入射。
摄像装置中,优选多个像素包含:第1第1颜色像素及第2第1颜色像素,沿第1方向的正方向与具有相同颜色的滤色器的像素相邻且沿第1方向的负方向与具有不同颜色的滤色器的像素相邻,所述第1第1颜色像素及所述第2第1颜色像素具有第1颜色的滤色器;第3第1颜色像素及第4第1颜色像素,沿第1方向的负方向与具有相同颜色的滤色器的像素相邻且沿第1方向的正方向与具有不同颜色的滤色器的像素相邻,所述第3第1颜色像素及所述第4第1颜色像素具有第1颜色的滤色器;第5第1颜色像素及第6第1颜色像素,沿第2方向的正方向与具有相同颜色的滤色器的像素相邻且沿第2方向的负方向与具有不同颜色的滤色器的像素相邻,所述第5第1颜色像素及所述第6第1颜色像素具有第1颜色的滤色器;及第7第1颜色像素及第8第1颜色像素,沿第2方向的负方向与具有相同颜色的滤色器的像素相邻且沿第2方向的正方向与具有不同颜色的滤色器的像素相邻,所述第7第1颜色像素及所述第8第1颜色像素具有第1颜色的滤色器,第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素分别由第1第1颜色像素、第2第1颜色像素、第3第1颜色像素及第4第1颜色像素的任一个构成,第1第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素分别由第5第1颜色像素、第6第1颜色像素、第7第1颜色像素及第8第1颜色像素的任一个构成,异常倾斜入射光检测机构根据第1第1颜色像素、第2第1颜色像素、第3第1颜色像素及第4第1颜色像素的像素数据,判定沿第1方向向摄像元件入射的异常倾斜入射光沿第1方向的正方向及负方向的哪一个方向入射,异常倾斜入射光检测机构根据第5第1颜色像素、第6第1颜色像素、第7第1颜色像素及第8第1颜色像素的像素数据,检测沿第2方向向摄像元件入射的异常倾斜入射光沿第2方向的正方向及负方向的哪一个方向入射。
由此,能够在第1方向的正方向及负方向、和/或第2方向的正方向及负方向上检测异常倾斜入射光的入射,还能够检测第1方向的正方向及负方向、和/或第2方向的正方向及负方向上的异常倾斜入射光的入射方向。
摄像装置中,优选当通过异常倾斜入射光检测机构检测到沿第1方向向摄像元件入射的异常倾斜入射光时,校正机构利用第1第1颜色像素、第2第1颜色像素、第3第1颜色像素及第4第1颜色像素中输出相同像素数据的像素的像素数据,对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正,当通过异常倾斜入射光检测机构检测到沿第2方向向摄像元件入射的异常倾斜入射光时,校正机构利用第5第1颜色像素、第6第1颜色像素、第7第1颜色像素及第8第1颜色像素中输出相同像素数据的像素的像素数据,对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正。
由此,能够消除产生由异常倾斜入射光引起的混色的影响的具有相同颜色的滤波器的像素的像素数据之间的偏差。
摄像装置中,优选相对于第1第1方向不同颜色相邻像素沿第1方向相邻配置且具有与第1颜色不同的颜色的滤色器的像素、与相对于第2第1方向不同颜色相邻像素沿第1方向相邻配置且具有与第1颜色不同的颜色的滤色器的像素具有不同的颜色的滤色器,相对于第1第2方向不同颜色像素沿第2方向相邻配置且具有与第1颜色不同的颜色的滤色器的像素、与相对于第2第2方向不同颜色相邻像素沿第2方向相邻配置且具有与第1颜色不同的颜色的滤色器的像素具有不同的颜色的滤色器。
由此,当从第1方向入射有异常倾斜入射光时,各个第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素的混色的影响不同,因此能够简单地进行异常倾斜入射光的入射方向的判别。
摄像装置中,优选多个像素包含第1颜色像素群,其由在第1方向及第2方向上以2像素×2像素排列且具有第1颜色的滤色器的像素构成,构成第1颜色像素群的像素构成第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素,且构成第1第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
摄像装置中,优选多个像素包含多个基本排列像素群,其为由在第1方向及第2方向上以6像素×6像素排列的像素构成的多个基本排列像素群,并沿第1方向及第2方向并列设置,各个基本排列像素包含由在第1方向及第2方向上以3像素×3像素排列的像素构成的两个第1子排列及两个第2子排列,第1子排列具有:配置于中央且具有第1颜色的滤色器的1像素;配置于四角且具有第1颜色的滤色器的4像素;以夹住配置于中央且具有第1颜色的滤色器的1像素的方式沿第1方向配置且具有第2颜色的滤色器的2像素;及以夹住配置于中央且具有第1颜色的滤色器的1像素的方式沿第2方向配置且具有第3颜色的滤色器的2像素,第2子排列具有:配置于中央且具有第1颜色的滤色器的1像素;配置于四角且具有第1颜色的滤色器的4像素;以夹住配置于中央且具有第1颜色的滤色器的1像素的方式沿第1方向配置且具有第3颜色的滤色器的2像素;及以夹住配置于中央且具有第1颜色的滤色器的1像素的方式沿第2方向配置且具有第2颜色的滤色器的2像素,第1子排列沿第1方向及第2方向与第2子排列相邻配置,第1颜色像素群由两个第1子排列及两个第2子排列构成。
摄像装置中,优选多个像素包含多个基本排列像素群,其为由在第1方向及第2方向上以4像素×4像素排列的像素构成的多个基本排列像素群,并沿第1方向及第2方向并列设置,各个基本排列像素群包含由在第1方向及第2方向上以2像素×2像素排列的像素构成的两个第1子排列及两个第2子排列,第1子排列由具有第1颜色的滤色器的4像素构成,第2子排列由具有第2颜色的滤色器的2像素及具有第3颜色的滤色器的2像素构成,第1子排列沿第1方向及第2方向与第2子排列相邻配置,第1颜色像素群由第1子排列构成。
摄像装置中,优选多个像素包含多个基本排列像素群,其为由在第1方向及第2方向上以6像素×6像素排列的像素构成的多个基本排列像素群,并沿第1方向及第2方向并列设置,各个基本排列像素群包含由在第1方向及第2方向上以3像素×3像素排列的像素构成的两个第1子排列及两个第2子排列,第1子排列具有:配置于中央且具有第2颜色的滤色器1像素;配置于四角且具有第3颜色的滤色器的4像素;及配置于四角的各个像素之间且具有第1颜色的滤色器的4像素,第2子排列具有:配置于中央且具有第3颜色的滤色器的1像素;配置于四角且具有第2颜色的滤色器的4像素;及配置于四角的各个像素之间且具有第1颜色的滤色器的4像素,第1子排列沿第1方向及第2方向与第2子排列相邻配置,由在沿第1方向相邻的第1子排列及第2子排列的具有第1颜色的滤色器的像素中沿第1方向相互相邻且具有第1颜色的滤色器的像素,构成第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素,由在沿第2方向相邻的第1子排列及第2子排列的具有第1颜色的滤色器的像素中沿第2方向相互相邻且具有第1颜色的滤色器的像素,构成第1第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
摄像装置中,优选多个像素包含像素块,其为在第1方向及第2方向上以3像素×3像素排列的像素块,由配置于四角且具有第2颜色的滤色器的2像素及具有第3颜色的滤色器的2像素、及在第1方向及第2方向上配置成十字状的第1颜色的滤色器的5像素构成,异常倾斜入射光检测机构根据像素块中包含的具有第1颜色的滤色器的5像素的像素数据检测沿第1方向或第2方向向摄像元件入射的异常倾斜入射光。
摄像装置中,优选当通过异常倾斜入射光检测机构检测到沿第1方向向摄像元件入射的异常倾斜入射光时,校正机构利用与具有第1颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素的像素数据,对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正,当通过异常倾斜入射光检测机构检测到沿第2方向向摄像元件入射的异常倾斜入射光时,校正机构利用与具有第1颜色的滤色器的像素沿第2方向相邻配置且具有第1颜色的滤色器的像素的像素数据,对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正。
摄像装置中,优选多个像素包含多个基本排列像素群,其为由沿第1方向及第2方向上以4像素×4像素排列的像素构成的多个基本排列像素群,并沿第1方向及第2方向并列设置,各个基本排列像素群包含由在第1方向及第2方向上以2像素×2像素排列的像素构成的两个第1子排列及两个第2子排列,第1子排列由具有第1颜色的滤色器的3像素及具有第2颜色的滤色器的1像素构成,第2子排列由具有第1颜色的滤色器的3像素及具有第3颜色的滤色器的1像素构成,第1子排列中的具有第2颜色的滤色器的像素的位置与第2子排列中的具有第3颜色的滤色器的像素的位置对应,第1子排列沿第1方向及第2方向与第2子排列相邻配置,像素块由各个基本排列像素群中的具有第2颜色的滤色器的2像素、具有第3颜色的滤色器的2像素及具有第1颜色的滤色器的5像素构成。
摄像装置中,优选多个像素包含由至少1个以上的颜色的滤色器构成的第1颜色的像素及由第1颜色以外的至少两个以上的颜色的滤色器构成的第2颜色的像素,第1颜色的像素具有用于获得亮度信号的贡献率比第2颜色的像素的滤色器高的颜色的滤色器,具有第1颜色的滤色器的像素由第1颜色的像素构成。
摄像装置中,优选第1颜色的像素具有绿色、透明或白色的滤色器。
为了实现上述目的,本发明的一方式所涉及的图像处理方法,其具备:异常倾斜入射光检测步骤,具有滤色器及接受透过该滤色器的光而输出像素数据的光电二极管,根据像素数据检测异常倾斜光向具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素的摄像元件的入射;及校正步骤,根据异常倾斜入射光检测步骤的检测结果,对具有入射有异常倾斜入射光的光电二极管的像素的图像数据进行校正,其中,多个像素包含:第1第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;第2第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;第1第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;及第2第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成,异常倾斜入射光检测步骤中,根据第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素的像素数据,检测沿第1方向向摄像元件入射的异常倾斜入射光。
由此,能够根据像素数据检测异常倾斜入射光的入射,且能够判别异常倾斜入射光的入射方向。
为了实现上述目的,本发明的一方式所涉及的程序,其用于使计算机执行如下步骤,即,异常倾斜入射光检测步骤,具有滤色器及接受透过该滤色器的光而输出像素数据的光电二极管,根据像素数据检测向具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素的摄像元件的入射;及校正步骤,根据异常倾斜入射光检测步骤的检测结果,对具有入射有异常倾斜入射光的光电二极管的像素的图像数据进行校正,其中,多个像素包含:第1第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;第2第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;第1第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成;及第2第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿第1方向相邻配置且具有第1颜色的滤色器的像素构成,异常倾斜入射光检测步骤中,根据第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素的像素数据,检测沿第1方向向摄像元件入射的异常倾斜入射光。
由此,能够根据像素数据检测异常倾斜入射光的入射,而且能够判别异常倾斜入射光的入射方向。
发明效果
根据本发明,能够检测异常倾斜入射光及判定入射方向,而且能够减少由异常倾斜入射光引起的混色的影响。
附图说明
图1是说明异常倾斜入射光的产生的图。
图2是说明由异常倾斜入射光引起的混色的产生的图。
图3是说明由于混色的产生而产生图像数据的偏差的现象的图。
图4是说明由于产生图像数据的偏差而产生噪声图像的现象的图。
图5是本发明的一实施方式即摄像装置的功能框图。
图6是表示设置于摄像元件的滤色器排列的图。
图7是表示将图6所示的滤色器排列的基本排列像素群分割为第1子排列及第2子排列的情况的图。
图8是说明将异常倾斜入射光的入射方向有效利用于混色校正的情况的图。
图9是说明将异常倾斜入射光的入射方向有效利用于混色校正的情况的图。
图10是表示设置于摄像元件的滤色器的其他滤色器排列的图。
图11是表示将图10所示的滤色器排列的基本排列像素群分割为第1子排列及第2子排列的情况的图。
图12是表示设置于摄像元件的滤色器的其他滤色器排列的图。
图13是表示将图12所示的滤色器排列的基本排列像素群分割为第1子排列及第2子排列的情况的图。
图14是说明在图12所示的滤色器排列中,判别异常倾斜入射光的入射方向的情况的图。
图15是说明在图12所示的滤色器排列中,判别异常倾斜入射光的入射方向的情况的图。
图16是表示设置于摄像元件的滤色器的其他滤色器排列的图。
图17是表示将图16所示的滤色器排列的基本排列像素群分割为第1子排列及第2子排列的情况的图。
图18是表示在图16所示的滤色器排列中,判别异常倾斜入射光的入射方向的情况的图。
图19是表示在图16所示的滤色器排列中判别异常倾斜入射光的入射方向的情况的图。
图20是表示设置于摄像元件的滤色器的其他滤色器排列的图。
图21是智能手机的外观图。
图22是表示图21所示的智能手机的结构的框图。
具体实施方式
以下,根据附图对本发明所涉及的摄像装置、图像处理方法及程序的实施方式进行详细说明。另外,以下说明中,作为一例,将第1方向作为水平方向且将第2方向作为垂直方向来进行说明。
首先对由异常倾斜入射光引起的混色的产生及混色的产生引起的具有相同颜色的滤色器的像素的像素数据的偏差(误差)的产生进行说明。
图1中,在包含多个透镜的光学系统中,以虚线表示通过来自某一点光源的光而产生的异常倾斜入射光。产生异常倾斜入射光时,从点光源产生的光并不成像,而是带着一定程度的扩散而到达像面,形成重影。此时,异常倾斜入射光相对于像面,有时会带着角度入射。
通常所说的重影像是在如图1所示那样包含多个透镜等的光学系统中,通过如下所述的光(不需要的光)形成为视觉上可确认一定形状的光学像,所述光经由在透镜表面或摄像元件表面上的反射,通过与原本的成像光(有效成像光)所通过的光路不同的光路到达像面上。并且,闪光是在较强的光入射到光学系统时,同样在透镜表面或摄像元件表面反射而作为不需要的光到达像面上,视觉上无法确认一定形状,由此导致图像的对比度下降,或在图像中显示为模糊的光。即,可以说由于异常倾斜入射光的产生而产生重影或闪光。
图2是表示由异常倾斜入射光引起的混色的产生的状态的图。图2中的虚线表示异常倾斜入射光,实线为与原本的像对应的入射光。图2(A)中,(a)是具有绿色(第1颜色)滤波器(G滤波器)的像素,(b)是具有红色(第2颜色)的滤波器(R滤波器)的像素,(c)是具有G滤波器的像素。并且,以(a)表示的具有G滤波器的像素、以(b)表示的具有R滤波器的像素及以(c)表示的具有G滤波器的像素沿水平方向或垂直方向排列。(b)中,通过R滤波器的异常倾斜入射光入射到(a)所示的具有G滤波器的光电二极管中。接收到通过R滤波器的异常倾斜入射光的(a)的光电二极管所输出的像素数据与接收到的异常倾斜入射光相应地,与未接收到异常倾斜入射光的像素数据有所不同。
本发明中,将在具有相同颜色的滤色器的像素之间,接收到异常倾斜入射光的像素的像素数据与未接收到异常倾斜入射光的像素的像素数据有所不同的现象称作受到由异常倾斜入射光引起的混色的影响。并且,(c)中,通过G滤波器的异常倾斜入射光入射到(b)所示的具有R滤波器的光电二极管中。接收到通过R滤波器的异常倾斜入射光的(b)的光电二极管的图像数据与接收到的通过G滤波器的异常倾斜入射光相应地,与未接收到异常倾斜入射光的像素数据有所不同。在此,将接收到通过R滤波器的异常倾斜入射光的具有G滤波器的像素的像素数据表示为Rg。
图2(B)中也与图2(A)相同,(b)中,通过蓝色(第3颜色)的滤波器(B滤波器)的异常倾斜入射光入射到(a)所示的具有G滤波器的光电二极管中。接收到通过B滤波器的异常倾斜入射光的(a)的光电二极管的像素数据与接收到的异常倾斜入射光相应地,与未接收到异常倾斜入射光的像素数据有所不同。
另外,图2中,示出了像素沿水平方向或垂直方向相邻排列的状态。在此,相邻排列(相邻)是指在最小像素间隔的四个方向的任一方向相接。位于最小像素间隔的四个方向的像素带来的混色的影响起支配作用,因此在本发明的说明中,主要考虑来自相邻像素的混色来进行说明。但是,其目的并不在于排除来自相邻像素以外的像素的混色,也可考虑来自相邻的像素以外的像素的混色。在此,相邻的像素以外的像素是指配置于例如从受到混色的像素离开相邻像素√2倍的距离的位置的像素。
图3(A)是表示以滤色器形成拜耳排列的摄像元件22拍摄均匀的被摄体时从摄像元件22输出的图像数据中,产生由异常倾斜入射光引起的混色的情况的图。另外,图3(A)所示的情况当作异常倾斜入射光从图3的左侧或右侧入射。图3(A)中,像素数据Gr与图2中进行说明的图2(A)(a)的像素的像素数据对应。另外,图3(A)中,像素数据Gb与图2中进行说明的图2(B)(a)的像素的像素数据对应。
并且,像素数据Gg是通过G滤波器的异常倾斜入射光被相邻的具有G滤波器的光电二极管接收时输出的像素数据(参考图6)。
图3(B)中,示出在以滤色器形成拜耳排列的摄像元件22拍摄均匀的被摄体时从摄像元件22输出的像素数据中,没有异常倾斜入射光的入射且没有产生混色时的像素数据。如图3(B)所示,没有异常倾斜入射光的入射且没有产生混色时,具有G滤波器的像素的像素数据成为G,在具有G滤波器的像素之间示出大致相同的值。但是,如图3(A)所示,若产生由异常倾斜入射光引起的混色,则具有G滤波器的像素的像素数据成为Gr或Gb,示出偏差(误差)。
图4中,说明对图3(A)中说明的从滤色器形成拜耳排列的摄像元件22输出的像素数据进行去马赛克处理(还称作插值处理、同步处理)时图像噪声的产生。对图3(A)中说明的从滤色器形成拜耳排列的摄像元件22输出的图像数据进行去马赛克处理时,在原本的图像(与图3(B)对应的图像)上不存在纵线或横线,但由于混色而在像素数据中产生偏差,因此有可能错误判断为存在纵线或横线,并在图像上产生格子状的图像噪声。
图4(A)中示出相对于图3(A)中说明的从滤色器形成拜耳排列的摄像元件22输出的像素数据,由于Gr与Gb的偏差,判定为在纵向上有相关性并进行去马赛克处理时,导致出现Gr与Gb的条纹的现象。另一方面,图4(B)中示出相对于从滤色器形成拜耳排列的摄像元件22输出的像素数据,由于Gr与Gb的偏差,沿横向进行去马赛克处理时,也会导致出现Gb与Gr的条纹的现象。而且,在如图3(A)那样的像素数据中,连是在纵向上有相关性还是在横向上有相关性的相关方向也无法判别,因此还有可能由于去马赛克处理而使画质更劣化。
[摄像装置的实施方式]
图5是表示本发明所涉及的摄像装置10的实施方式的框图。
该摄像装置10是将所拍摄的图像存储于内部存储器(存储部26)或外部的存储介质(未图示)的数码摄像机,整个装置的动作通过中央处理装置(CPU)12统一控制。
摄像装置10中设置有包含快门按钮(快门开关)、模式拨盘、回放按钮、MENU/OK键、十字键、变焦按钮、BACK键等的操作部14。来自该操作部14的信号被输入至CPU12,CPU12根据输入信号控制摄像装置10的各电路,例如经由设备控制部16控制透镜部18、快门20及摄像元件22,并且进行拍摄动作控制、图像处理控制、图像数据的存储/回放控制、显示部25的显示控制等。
透镜部18包含聚焦透镜、变焦透镜、光圈等,通过透镜部18及快门20的光束成像于摄像元件22的受光面上。
摄像元件22为CMOS(Complementary Metal-Oxide Semiconductor)类型、XY地址类型、或CCD(Charge Coupled Device)类型的彩色图像传感器,多个受光元件(光电二极管)被2维排列。成像于各受光元件的受光面上的被摄体图像转换为与其入射光量对应的信号电压(或电荷)。
<摄像元件的实施方式>
图6是表示上述摄像元件22的实施方式的图,尤其表示配置于摄像元件22的受光面上的滤色器排列。另外,摄像元件22具有沿水平方向及垂直方向排列的多个像素,多个像素分别具有滤色器及接收透过了滤色器的光而输出像素数据的光电二极管。另外,光电二极管是指检测光来产生电荷的光电转换元件。
图6所示的摄像元件22的例子中,摄像元件22包含像素1-1、2-1、3-1、4-1。像素1-1是朝向具有G滤波器的像素的纸面沿右侧的水平方向相邻配置的具有G滤波器的像素(第1第1方向相同颜色相邻像素)。像素2-1是朝向具有G滤波器的像素的纸面沿右侧的水平方向相邻配置的具有G滤波器的像素(第2第1方向相同颜色相邻像素)。像素3-1是朝向具有B滤波器的像素的纸面沿右侧的水平方向相邻配置的具有G滤波器的像素(第1第1方向不同颜色相邻像素)。像素4-1是朝向具有R滤波器的像素的纸面沿右侧的水平方向相邻配置的具有G滤波器的像素(第2第1方向不同颜色相邻像素)。
另外,图6所示的摄像元件22的例子中,摄像元件22包含像素1-2、2-2、3-2、4-2。像素1-2是朝向具有G滤波器的像素的纸面沿左侧的水平方向相邻配置的具有G滤波器的像素(第1第1方向相同颜色相邻像素)。像素2-2是朝向具有G滤波器的像素的纸面沿左侧的水平方向相邻配置的具有G滤波器的像素(第2第1方向相同颜色相邻像素)。像素3-2是朝向具有B滤波器的像素的纸面沿左侧的水平方向相邻配置的具有G滤波器的像素(第1第1方向不同颜色相邻像素)。像素4-2是朝向具有R滤波器的像素的纸面沿左侧的水平方向相邻配置的具有G滤波器的像素(第2第1方向不同颜色相邻像素)。
另外,图6所示的摄像元件22的例子中,摄像元件22包含像素1-3、2-3、3-3、4-3。像素1-3是朝向具有G滤波器的像素的纸面沿下侧的垂直方向相邻配置的具有G滤波器的像素(第1第2方向相同颜色相邻像素)。像素2-3是朝向具有G滤波器的像素的纸面沿下侧的垂直方向相邻配置的具有G滤波器的像素(第2第2方向相同颜色相邻像素)。像素3-3是朝向具有B滤波器的像素的纸面沿下侧的垂直方向相邻配置的具有G滤波器的像素(第1第2方向不同颜色相邻像素)。像素4-3是朝向具有R滤波器的像素的纸面沿下侧的垂直方向相邻配置的具有G滤波器的像素(第2第2方向不同颜色相邻像素)。
另外,图6所示的摄像元件22的例子中,摄像元件22包含1-4、2-4、3-4、4-4。像素1-4是朝向具有G滤波器的像素的纸面沿上侧的垂直方向相邻配置的具有G滤波器的像素(第1第2方向相同颜色相邻像素)。像素2-4是朝向具有G滤波器的像素的纸面沿上侧的垂直方向相邻配置的具有G滤波器的像素(第2第2方向相同颜色相邻像素)。像素3-4是朝向具有B滤波器的像素的纸面沿上侧的垂直方向相邻配置的具有G滤波器的像素(第1第2方向不同颜色相邻像素)。像素4-4是朝向具有R滤波器的像素的纸面沿上侧的垂直方向相邻配置的具有G滤波器的像素(第2第2方向不同颜色相邻像素)。
另外,如图6所示,朝向具有B滤波器的像素的纸面沿右侧的水平方向相邻配置的具有G滤波器的像素(第1第1方向不同颜色相邻像素)(图6的符号3-1)及朝向具有R滤波器的像素的纸面沿右侧的水平方向相邻配置的具有G滤波器的像素(第2第1方向不同颜色相邻像素)(图6的符号4-1)分别朝向具有互不相同的颜色的滤色器的像素的纸面沿右侧的水平方向相邻配置。
另外,如图6所示,朝向具有B滤波器的像素的纸面沿左侧的水平方向相邻配置的具有G滤波器的像素(第1第1方向不同颜色相邻像素)(图6的符号3-2)及朝向具有R滤波器的像素的纸面沿左侧的水平方向相邻配置的具有G滤波器的像素(第2第1方向不同颜色相邻像素)(图6的符号4-2)分别朝向具有互不相同的颜色的滤色器的像素的纸面沿左侧的水平方向相邻配置。
同样地,朝向具有B滤波器的像素的纸面沿下侧的垂直方向相邻配置的具有G滤波器的像素(第1第2方向不同颜色相邻像素)(图6的符号3-3)及朝向具有R滤波器的像素的纸面沿下侧的垂直方向相邻配置的具有G滤波器的像素(第2第2方向不同颜色相邻像素)(图6的符号4-3)分别朝向具有互不相同的颜色的滤色器的像素的纸面沿下侧的垂直方向相邻配置。
同样地,朝向具有B滤波器的像素的纸面沿上侧的垂直方向相邻配置的具有G滤波器的像素(第1第2方向不同颜色相邻像素)(图6的符号3-4)及朝向具有R滤波器的像素的纸面沿上侧的垂直方向相邻配置的具有G滤波器的像素(第2第2方向不同颜色相邻像素)(图6的符号4-4)分别朝向具有互不相同的颜色的滤色器的像素的纸面沿上侧的垂直方向相邻配置。
对图6所示的摄像元件22的滤色器排列进行更具体说明。摄像元件22的滤色器排列包含由与6像素×6像素对应的正方形排列图案构成的基本排列像素群P(以粗框表示的像素群),该基本排列像素群P沿水平方向及垂直方向重复配置。即,该滤色器排列中,R滤波器、G滤波器、B滤波器保持规定的周期性而排列。
如此,由于R滤波器、G滤波器、B滤波器保持规定的周期性而排列,因此进行从摄像元件22读出的R、G、B信号的去马赛克处理等时,能够根据重复图案进行处理。
图6所示的滤色器排列中,R、G、B的所有颜色的滤波器配置于基本排列像素群P内的水平方向及垂直方向的各线内。由此,在进行去马赛克处理时若判别为相关方向为水平方向或垂直方向,则能够使用存在于水平方向或垂直方向的其他颜色的像素数据进行插值,因此能够抑制彩色莫尔纹(假色)的产生。并且,能够如上述那样抑制假色的产生,因此能够避免将光学低通滤波器配置于从光学系统的入射面至成像面为止的光路上,或者在应用光学低通滤波器时,也能够使用剪切用于防止假色的产生的高频成分的作用较弱的滤波器,并能够避免损坏分辨率。
图7表示将图6所示的基本排列像素群P四分割为3像素×3像素的状态。
如图7所示,各个基本排列像素群P包含由在水平方向及垂直方向上以3像素×3像素排列的像素构成的两个第1子排列及两个第2子排列。第1子排列具有:配置于中央且具有G滤波器的1像素;配置于四角且具有G滤波器的4像素;以夹持配置于中央且具有G滤波器的1像素的方式沿水平方向配置且具有R滤波器的2像素;及以夹持配置于中央且具有G滤波器的1像素的方式沿垂直方向配置且具有B像素的2像素。
第2子排列具有:配置于中央且具有G滤波器的1像素;配置于四角且具有G滤波器的4像素;以夹持配置于中央且具有G滤波器的1像素的方式沿水平方向配置且具有B滤波器的2像素;及以夹持配置于中央且具有G滤波器的1像素的方式沿垂直方向配置且具有R像素的2像素。
第1子排列沿水平方向及垂直方向与第2子排列相邻配置,第1颜色像素群(具有G滤波器的像素排列成2像素×2像素的群,还称作正方形排列)由两个第1子排列及两个第2子排列构成。
基本排列像素群P包含G滤波器沿水平、垂直及倾斜方向相邻两个以上的部分。该基本排列像素群P沿水平方向及垂直方向排列的滤色器排列包含与由G滤波器构成的2像素×2像素对应的正方形排列(参考图6)。
这是因为,如图7所示,作为亮度系像素的G滤波器在第1子排列或第2子排列中的3像素×3像素中配置于四角和中央,该3像素×3像素沿水平方向、垂直方向交替配置,由此形成与2像素×2像素对应的正方形排列的G滤波器。由这些G滤波器构成的2像素×2像素的像素数据能够用于水平方向、垂直方向及倾斜方向的亮度的相关方向的计算(方向判别)。
并且,具有上述G滤波器且具有2像素×2像素的G滤波器的像素群(第1颜色像素群)构成第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素,且构成第1第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
蓄积在上述结构的摄像元件22的信号电荷根据由设备控制部16施加的读出信号作为与信号电荷相应的电压信号来读出。从摄像元件22读出的电压信号添加至A/D转换器24,在此,依次转换为与滤色器排列对应的数码的R、G、B信号,并暂时保存于存储部26。
存储部26包含作为易失性存储器的SDRAM或作为可重写的非易失性存储器的EEPROM(存储机构)等,SDRAM用作基于CPU12的程序执行时的作业区或暂时保存图像拍摄而获得的数码图像信号的存储区。另一方面,EEPROM中存储有包含图像处理程序的摄像机控制程序、摄像元件22的像素的缺陷信息、在包括混色校正在内的图像处理等中使用的各种参数或表格等。
图像处理部28相对于暂时存储于存储部26的数码图像信号进行混色校正、白平衡校正、伽马校正处理、去马赛克处理(同步处理)、RGB/YC转换等规定的信号处理。另外,本发明的图像处理部28还包含异常倾斜入射光检测部(异常倾斜入射光检测机构)34及校正部(校正机构)36。关于异常倾斜入射光检测部34及校正部36,将进行后述。
由图像处理部28处理的图像数据在编码器30中被编码为图像显示用数据,经由驱动器32输出至设置于摄像机背面的显示部25。由此,被摄体图像连续显示于显示部25的显示画面上。
若有操作部14的快门按钮的第1阶段的按下(半按),则CPU12开始AF动作及AE动作,经由设备控制部16控制成使透镜部18的聚焦透镜沿光轴方向移动,并使聚焦透镜移动至对焦位置。
CPU12根据在半按快门按钮时从A/D转换器24输出的图像数据计算被摄体的明度(拍摄Ev值),根据该拍摄Ev值决定曝光条件(F值,快门速度)。
若AE动作及AF动作结束,并有快门按钮的第2阶段的按下(全按),则根据所决定的曝光条件控制光圈、快门20及摄像元件22中的电荷蓄积时间来进行正式图像拍摄。正式图像拍摄时从摄像元件22读出并通过A/D转换器24被A/D转换的RGB的去马赛克图像(与图6所示的滤色器排列对应的图像)的图像数据暂时存储于存储部26。
暂时存储于存储部26的图像数据通过图像处理部28适当读出,在此,进行包括异常倾斜入射光检测、混色校正、白平衡校正、伽马校正、去马赛克处理、RGB/YC转换等的规定信号处理。被RGB/YC转换的图像数据(YC数据)根据规定的压缩格式(例如,JPEG方式)压缩,被压缩的图像数据以规定的图像文件(例如Exif文件)形式存储于内部存储器或外部存储器。
[异常倾斜入射光检测]
本发明的摄像装置10在图像处理部(图像处理机构)28内具有检测异常倾斜入射光的异常倾斜入射光检测部(异常倾斜入射光检测机构)34。异常倾斜入射光检测部34根据第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素的像素数据,检测沿水平方向向摄像元件22入射的异常倾斜入射光。
图6中,对通过异常倾斜入射光检测部34进行的朝向水平方向的纸面从左侧入射的异常倾斜入射光的检测进行说明。在朝向水平方向的纸面从左侧入射有异常倾斜入射光时,图6中以符号1-1表示的具有G滤波器的像素(第1第1方向相同颜色相邻像素)受到来自朝向水平方向的纸面沿左侧相邻且具有G滤波器的像素(图6的符号3-1)的混色的影响。并且,图6中以符号1-1表示的具有G滤波器的像素输出像素数据Gg。
在朝向水平方向的纸面从左侧入射有异常倾斜入射光时,图6中以符号2-1表示的具有G滤波器的像素(第2第1方向相同颜色相邻像素)受到来自朝向水平方向的纸面沿左侧相邻且具有G滤波器的像素(图6的符号4-1)的混色的影响。并且,图6中以符号2-1表示的具有G滤波器的像素输出像素数据Gg。
在朝向水平方向的纸面从左侧入射有异常倾斜入射光时,图6中以符号3-1表示的具有G滤波器的像素(第1第1方向不同颜色相邻像素)受到来自朝向水平方向的纸面沿左侧相邻且具有B滤波器的像素的混色的影响。并且,图6中以符号3-1表示的具有G滤波器的像素输出向数据Gb。
在朝向水平方向的纸面从左侧入射有异常倾斜入射光时,图6中以符号4-1表示的具有G滤波器的像素(第2第1方向不同颜色相邻像素)受到来自朝向水平方向的纸面沿左侧相邻且具有R滤波器的像素的混色的影响。并且,图6中以符号4-1表示的具有G滤波器的像素输出像素数据Gr。
并且,异常倾斜入射光检测部34中,对上述的第1第1方向相同颜色相邻像素(图6的符号1-1)、第2第1方向相同颜色相邻像素(图6的符号2-1)、第1第1方向不同颜色相邻像素(图6的符号3-1)及第2第1方向不同颜色相邻像素(图6的符号4-1)的像素数据进行比较。
如上所述,第1第1方向相同颜色相邻像素(图6的符号1-1)与第2第1方向相同颜色相邻像素(图6的符号2-1)的像素数据同为Gg。并且,第1第1方向不同颜色相邻像素(图6的符号3-1)与第2第1方向不同颜色相邻像素(图6的符号4-1)的像素数据为Gb与Gr,并不相同。根据该结果,异常倾斜入射光检测部34能够判断存在朝向水平方向的纸面从左侧入射的异常倾斜入射光。
另外,像素数据同为Gg是指第1第1方向相同颜色相邻像素的像素数据(Gg)与第2第1方向相同颜色相邻像素的像素数据(Gg)的差量值在第1第1方向相同颜色相邻像素(或第2第1方向相同颜色相邻像素)的像素数据的2%以内,或者,根据成像对象,可以在1%以内。
并且,像素Gb与Gr不同是指其差量值的绝对值在第1第1方向相同颜色相邻像素(或第2第1方向相同颜色相邻像素)的像素数据的10%以上,或者,根据成像对象,可以在8%以上。
接着,图6中,对异常倾斜入射光检测部34所进行的朝向垂直方向的纸面从上侧入射的异常倾斜入射光的检测进行说明。在朝向垂直方向的纸面从上侧入射有异常倾斜入射光时,图6中以符号1-3表示的具有G滤波器的像素(第1第2方向相同颜色相邻像素)受到来自相邻且具有G滤波器的像素(图6的符号3-3)的混色的影响。并且,图6中以符号1-3表示的具有G滤波器的像素输出像素数据Gg。
在朝向垂直方向的纸面从上侧入射有异常倾斜入射光时,图6中的以符号2-3表示的具有G滤波器的像素(第2第2方向相同颜色相邻像素)受到来自相邻且具有G滤波器的像素(图6的符号4-3)的混色的影响。并且,图6中以符号2-3表示的具有G滤波器的像素输出像素数据Gg。
在朝向垂直方向的纸面从上侧入射有异常倾斜入射光时,图6中以符号3-3表示的具有G滤波器的像素(第1第2方向不同颜色相邻像素)受到来自上侧的具有B滤波器的像素的混色的影响。并且,图6中以符号3-3表示的具有G滤波器的像素输出像素数据Gb。
在朝向垂直方向的纸面从上侧入射有异常倾斜入射光时,图6中以符号4-3表示的具有G滤波器的像素(第2第2方向不同颜色相邻像素)受到来自上侧的具有R滤波器的像素的混色的影响。并且,图6中以符号4-3表示的具有G滤波器的像素输出像素数据Gr。
并且,异常倾斜入射光检测部34中,对上述的第1第2方向相同颜色相邻像素(图6的符号1-3)、第2第2方向相同颜色相邻像素(图6的符号2-3)、第1第2方向不同颜色相邻像素(图6的符号3-3)及第2第2方向不同颜色相邻像素(图6的符号4-3)的像素数据进行比较。如上所述,第1第2方向相同颜色相邻像素(图6的符号1-3)与第2第2方向相同颜色相邻像素(图6的符号2-3)的像素数据同为Gg。并且,第1第2方向不同颜色相邻像素(图6的符号3-3)与第2第2方向不同颜色相邻像素(图6的符号4-3)的像素数据为Gb与Gr,并不相同。根据该结果,异常倾斜入射光检测部34判断为存在朝向垂直方向的纸面从上侧入射的异常倾斜入射光。
另外,像素数据同为Gg是指第1第2方向相同颜色相邻像素的像素数据(Gg)与第2第2方向相同颜色相邻像素的像素数据(Gg)的差量值在第1第2方向相同颜色相邻像素(或第2第2方向相同颜色相邻像素)的像素数据的2%以内,或者,根据成像对象,也可以在1%以内。
并且,像素数据Gb与Gr不同是指其差量值的绝对值在第1第2方向相同颜色相邻像素(或第2第2方向相同颜色相邻像素)的像素数据的10%以上,或者,根据成像对象,可以在8%以上。
另外,与上述同样地进行异常倾斜入射光检测部34所进行的朝向水平方向的纸面从右侧入射的异常倾斜入射光的检测及异常倾斜入射光检测部34所进行的朝向垂直方向的纸面从下侧入射的异常倾斜入射光的检测。
如以上说明,异常倾斜入射光检测部34能够检测从四个方向入射的异常倾斜入射光(朝向水平方向的纸面从左侧入射的异常倾斜入射光、朝向水平方向的纸面从右侧入射的异常倾斜入射光、朝向垂直方向的纸面从上侧入射的异常倾斜入射光、朝向垂直方向的纸面从下侧入射的异常倾斜入射光)。换言之,异常倾斜入射光检测部34若进行异常倾斜入射光的检测,则还进行异常倾斜入射光的入射方向的判别。
另外,在此将第1方向的正方向作为朝向水平方向的纸面的左侧,将第1方向的负方向作为朝向水平方向的纸面的右侧来进行说明。并且,将第2方向的正方向作为朝向垂直方向的纸面的下侧,将第2方向的负方向作为朝向垂直方向的纸面的上侧来进行说明。
关于异常倾斜入射光的检测,在上述的像素数据的偏差在某个一定范围内产生时进行检测。在此所说的一定范围是指可能检测出通常的重影(由异常倾斜入射光引起的原本不存在的像)的范围。例如,可在64像素×64像素的范围内进行上述异常倾斜入射光的检测,也可以以32像素×32像素进行上述异常倾斜入射光的检测。
[混色校正]
校正部36进行由异常倾斜入射光的入射引起的混色的校正。即,当通过异常倾斜入射光检测部34检测到沿水平方向向摄像元件22入射的异常倾斜入射光时,校正部36能够使用像素数据Gg校正像素数据Gb及像素数据Gr。
使用像素数据Gg来校正像素数据Gb及像素数据Gr,由此能够将混色的影响抑制为最低限度。即,若对像素数据Gg、像素数据Gr及像素数据Gb进行比较,则相对于像素数据Gg的混色为来自相同颜色像素的泄漏,混色的影响最小,因此使用像素数据Gg来校正像素数据Gr及像素数据Gb。
校正部36能够通过各种方法使用像素数据Gg对像素数据Gr及Gb进行校正。例如,校正部36还能够通过将具有像素数据Gr及Gb的像素的像素数据置换为像素数据Gg来进行校正。并且,还能够使用像素数据Gr与像素数据Gg的平均值、像素数据Gb与像素数据Gg的平均值、或像素数据Gb与像素数据Gr与像素数据Gg的平均值来校正具有G滤波器的像素的像素数据。
如图8及图9中说明,校正部36能够考虑异常倾斜入射光的入射方向来进行混色校正。
图8(A)及图9(A)中示出有图6中示出的摄像元件22的一部分,表示朝向图8及图9的水平方向的纸面从右侧入射有异常倾斜入射光的情况。图6中示出的摄像元件22中,如图8(A)及图9(A)那样朝向水平方向的纸面从右侧入射有异常倾斜入射光时,具有G滤波器的2像素×2像素的像素群(第1颜色像素群)输出Gg、Gg、Gr及Gb的像素数据。
如图8(B)至(E)所示,根据四方的像素数据对具有G滤波器的像素的像素数据进行校正时,对于校正使用Gr或Gb这样的受到混色的影响的像素数据,因此有时会在导致校正后的像素数据GgC之间值并不相同的情况。
以下,对在校正后的像素数据GgC之间值并不相同的情况进行说明。首先,如图8(B)所示,相对于朝向第1像素群的纸面位于左上的示为Gg的像素数据,使用四方(朝向纸面的左、右、上、下)的像素数据的值进行混色校正,获得像素数据GgC。该像素数据GgC将受到混色的影响的示为Gr的像素数据用于混色校正,因此受到混色的影响。
接着,如图8(C)所示,相对于朝向第1颜色像素群的纸面的右上的示为Gr的像素数据,使用四方的像素数据的值进行混色校正,获得像素数据GrC。接着,如图8(D)所示,相对于朝向第1颜色像素群的纸面的左下的示为Gg的像素数据,使用四方的像素数据的值进行混色校正,获得像素数据GgC。该像素数据GgC将受到混色影响的示为Gb的像素数据用于混色校正,因此受到混色的影响。
接着,如图8(E)所示,相对于朝向第1颜色像素群的纸面的右下的示为Gb的像素数据,使用四方的像素数据的值进行混色校正,获得像素数据GbC。
图8(B)及图8(D)中,相对于相同像素数据Gg进行混色校正,获得像素数据GgC。但是,图8(B)及图8(D)的各个像素数据GgC受到不同的混色的影响,因此图8(B)及图8(D)的像素数据GgC显示出不同的值。即,图8(B)的情况下,像素数据Gr受到混色的影响,图8(D)的情况下,像素数据Gb受到混色的影响,在Gr与Gb中混色并不相同,因此进行混色校正的结果,在所获得的像素数据GgC之间产生由混色的影响引起的差异。
另一方面,如图9所示的混色校正中,考虑异常倾斜入射光的入射方向来进行混色校正,因此在混色校正之后获得的像素数据GgC之间不产生差异。以下,对在校正后的像素数据GgC之间值并不相同的情况进行说明。
首先,如图9(B)所示,相对于朝向第1颜色像素群的纸面的右上的示为Gr的像素数据,使用四方的像素数据的值进行混色校正,获得像素数据GrC。另外,在此,可较强地进行向异常倾斜入射光的入射方向(右侧)的混色校正。
接着,如图9(C)所示,相对于第1颜色像素群的纸面的右下的示为Gb的像素数据,使用四方的像素数据的值进行混色校正,获得像素数据GbC。接着,如图9(D)所示,相对于第1颜色像素群的纸面的左上的示为Gg的像素数据,使用四方的像素数据的值进行混色校正,获得像素数据GgC。此时,将示为GrC的像素数据使用于混色校正,但是GrC预先进行了混色校正,因此混色校正的影响得以消除。
接着,如图9(E)所示,相对于朝向第1颜色像素群的纸面的左下的示为Gb的像素数据,使用四方的像素数据的值进行混色校正,获得像素数据GgC。此时,将示为GbC的像素数据使用于混色校正,但GbC预先进行了混色校正,因此混色校正的影响得以消除。
图9(D)及图9(E)中,相对于相同像素数据Gg进行混色校正,所获得的像素数据的GgC也示出相同的值。这是因为在图9(B)的情况下,像素数据Gr受到混色的影响,图9(C)的情况下,像素数据Gb受到混色的影响,但是在图9(D)及图9(E)中进行混色校正之前,在图9(B)及图9(C)中进行了混色校正,由此消除了混色的影响。
如此,考虑异常倾斜入射光的入射方向来改变进行混色校正的像素的顺序,由此能够进行更高精确度的混色校正。图9的情况下,从位于异常倾斜入射光的入射方向的像素进行混色校正,由此能够进行更高精确度的混色校正。
本发明中,能够使用具有各种滤色器排列的摄像元件22。以下,将具有不同滤色器排列的摄像元件22作为变形例进行说明。
<摄像元件的其他实施方式(变形例1)>
图10是表示上述摄像元件22的其他实施方式的图,尤其表示配置于摄像元件22的受光面上的滤色器排列。
图10所示的滤色器排列中,由在水平方向及垂直方向上以6像素×6像素排列的像素构成的多个基本排列像素群P沿水平方向及垂直方向并列设置。
图10所示的滤色器排列包含由与6像素×6像素对应的正方形排列图案构成的基本排列像素群P(以粗框表示的像素群),该基本排列像素群P沿水平方向及垂直方向重复配置。即,该滤色器排列中,R滤波器、G滤波器、B滤波器保持规定的周期性而排列。
如此,R滤波器、G滤波器、B滤波器保持规定的周期性而排列,因此进行从摄像元件22读出的R、G、B信号的去马赛克处理等时,能够根据重复图案进行处理。
构成图10所示的滤色器排列的基本排列像素群P中,与最有助于获得亮度信号的颜色(G颜色)对应的G滤波器、与G颜色以外的其他颜色(R及B)对应的R滤波器、B滤波器在基本排列像素群P内的水平及垂直方向的各线内配置有1个以上。
由于R、G、B滤波器分别配置于基本排列像素群P内的水平及垂直方向的各线内,因此能够抑制彩色莫尔纹(假色)的产生。由此,能够避免将用于抑制假色的产生的光学低通滤波器配置于从光学系统的入射面至成像面为止的光路上,或在应用光学低通滤波器时,也能够应用剪切用于防止假色的产生的高频成分的作用较弱的滤波器,并能够避免损坏分辨率。
与亮度系像素对应的G滤波器在基本排列像素群P内,配置成包含沿水平、垂直及倾斜方向的各方向相邻两个以上的部分。
各个基本排列像素群P在水平方向及垂直方向上包含由以3像素×3像素排列的像素构成的两个第1子排列及两个第2子排列。
图11表示将图10所示的基本排列像素群P四分割为3像素×3像素的状态。
图11中,第1子排列具有:配置于中央且具有R滤波器的1像素;配置于四角且具有B滤波器的4像素;及配置于四角的各个像素之间且具有G滤波器的4像素。并且,图11中,第2子排列具有:配置于中央且具有B滤波器的1像素;配置于四角且具有R滤波器的4像素;及配置于四角的各个像素之间且具有G滤波器的4像素。第1子排列沿水平方向及垂直方向与第2子排列相邻配置。
如图11所示,基本排列像素群P还能够理解为被实线框包围的3像素×3像素的第1子排列与被虚线框包围的3像素×3像素的第2子排列沿水平、垂直方向交替排列的排列。
第1子排列中,在中心配置有R滤波器,在4角配置有B滤波器,夹着中心的R滤波器在上下左右配置有G滤波器。另一方面,第2子排列中,在中心配置有B滤波器,在4角配置有R滤波器,夹着中心的B滤波器在上下左右配置有G滤波器。这些第1子排列与第2子排列中,R滤波器与B滤波器的位置关系相反,其他配置相同。
[异常倾斜入射光检测]
当为具有图10所示的变形例1的摄像元件22的摄像装置10时,异常倾斜入射光检测部34中如下进行异常倾斜入射光的检测及方向的特定。
图10所示的变形例1中,对异常倾斜入射光检测部34所进行的朝向水平方向的纸面从左侧入射的异常倾斜入射光的检测进行了具体说明。图10中以符号1-1表示的具有G滤波器的像素在朝向图10的纸面的左侧相邻配置有具有G滤波器的像素(图10的符号3-1),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向相同颜色相邻像素)。图10中以符号2-1表示的具有G滤波器的像素在朝向图10的纸面的左侧相邻配置有具有G滤波器的像素(图10的符号4-1),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第2第1方向相同颜色相邻像素)。
图10中以符号3-1表示的具有G滤波器的像素在朝向图10的纸面的左侧相邻配置有具有与G滤波器不同颜色的R滤波器的像素,是相邻配置有具有与第1颜色不同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向不同颜色相邻像素)。并且,图10中以符号4-1表示的具有G滤波器的像素在朝向图10的纸面的左侧相邻配置有具有与G滤波器不同颜色的B滤波器的像素,是相邻配置有具有与第1颜色不同颜色的滤色器的像素的具有G滤波器的像素(第2第1方向不同颜色相邻像素)。
并且,在异常倾斜入射光检测部34中,对上述的第1第1方向相同颜色相邻像素(图10的符号1-1)、第2第1方向相同颜色相邻像素(图10的符号2-1)、第1第1方向不同颜色相邻像素(图10的符号3-1)及第2第1方向不同颜色相邻像素(图10的符号4-1)的像素数据进行比较,当第1第1方向相同颜色相邻像素(图10的符号1-1)与第2第1方向相同颜色相邻像素(图10的符号2-1)的值相同,且第1第1方向不同颜色相邻像素(图10的符号3-1)与第2第1方向不同颜色相邻像素(图10的符号4-1)的值不同时,检测出朝向水平方向的纸面从左侧入射的异常倾斜入射光的存在。
图10所示的变形例1中,对异常倾斜入射光检测部34所进行的朝向水平方向的纸面从右侧入射的异常倾斜入射光的检测进行具体说明。图10中以符号1-2表示的具有G滤波器的像素在朝向图10的纸面的右侧相邻配置有具有G滤波器的像素(图10的符号3-2),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向相同颜色相邻像素)。图10中以符号2-2表示的具有G滤波器的像素在朝向图10的纸面的右侧相邻配置有具有G滤波器的像素(图10的符号4-2),是相邻配置有具有相同颜色的滤色器的具有G滤波器的像素(第2第1方向相同颜色相邻像素)。
图10中的以符号3-2表示的具有G滤波器的像素在朝向图10的纸面的右侧相邻配置有具有与G滤波器不同颜色的R滤波器的像素,是相邻配置有具有与第1颜色不同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向不同颜色相邻像素)。并且,图10中以符号4-2表示的具有G滤波器的像素在朝向图10的纸面的右侧相邻配置有具有与G滤波器不同颜色的B滤波器的像素,是相邻配置有具有与第1颜色不同颜色的滤色器的具有G滤波器的像素(第2第1方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第1方向相同颜色相邻像素(图10符号1-2)、第2第1方向相同颜色相邻像素(图10的符号2-2)、第1第1方向不同颜色相邻像素(图10的符号3-2)及第2第1方向不同颜色相邻像素(图10的符号4-2)的像素数据进行比较,当第1第1方向相同颜色相邻像素(图10的符号1-2)与第2第1方向相同颜色相邻像素(图10的符号2-2)的值相同,且第1第1方向不同颜色相邻像素(图10的符号3-2)与第2第1方向不同颜色相邻像素(图10的符号4-2)的值不同时,检测出朝向水平方向纸面从右侧入射的异常倾斜入射光的存在。
接着,对进行朝向垂直方向的纸面从上侧入射的异常倾斜入射光的检测的情况进行说明。图10所示变形例1中,异常倾斜入射光检测部34如下进行朝向垂直方向的纸面从上侧入射的异常倾斜入射光的检测。
图10中以符号1-3表示的具有G滤波器的像素在朝向图10的纸面的上侧相邻配置有具有G滤波器的像素(图10的符号3-3),是相邻配置有具有G滤波器的像素的具有G滤波器的像素(第1第2方向相同颜色相邻像素)。图10中以符号2-3表示的具有G滤波器的像素在朝向图10的纸面的上侧相邻配置有具有G滤波器的像素(图10的符号4-3),是相邻配置有具有G滤波器的像素的具有G滤波器的像素(第2第2方向相同颜色相邻像素)。
图10中以符号3-3表示的具有G滤波器的像素在朝向图10的纸面的上侧相邻配置有具有与G滤波器不同颜色的R滤波器的像素,是相邻配置有具有与G滤波器不同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向不同颜色相邻像素)。并且,图10中以符号4-3表示的具有G滤波器的像素在朝向图10的纸面的上侧相邻配置有具有与G滤波器不同颜色的B滤波器的像素,是相邻配置有具有与G滤波器不同颜色的滤色器的像素的具有G滤波器的像素(第2第2方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第2方向相同颜色相邻像素(图10的符号1-3)、第2第2方向相同颜色相邻像素(图10的符号2-3)、第1第2方向不同颜色相邻像素(图10的符号3-3)及第2第2方向不同颜色相邻像素(图10的符号4-3)的像素数据进行比较,当第1第2方向相同颜色相邻像素(图10的符号1-3)与第2第2方向相同颜色相邻像素(图10的符号2-3)的值相同,且第1第2方向不同颜色相邻像素(图10的符号3-3)与第2第2方向不同颜色相邻像素(图10的符号4-3)的值不同时,检测出从垂直方向入射的异常倾斜入射光的存在。
进行朝向垂直方向的纸面从下侧入射的异常倾斜入射光的检测时,如下进行。图10所示的变形例1中,对通过异常倾斜入射光检测部34进行的朝向垂直方向的纸面从下侧入射的异常倾斜入射光的检测进行具体说明。
图10中以符号1-4表示的具有G滤波器的像素在图10的下侧相邻配置有具有G滤波器的像素(图10的符号3-4),是相邻配置有具有G滤波器的像素的具有G滤波器的像素(第1第2方向相同颜色相邻像素)。图10中以符号2-4表示的具有G滤波器的像素在图10的下侧相邻配置有具有G滤波器的像素(图10的符号4-4),是相邻配置有具有G滤波器的像素的具有G滤波器的像素(第2第2方向相同颜色相邻像素)。
图10中以符号3-4表示的具有G滤波器的像素在图10的下侧相邻配置有具有与G滤波器不同颜色的R滤波器的像素,是相邻配置有具有与G滤波器不同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向不同颜色相邻像素)。并且,图10中以符号4-4表示的具有G滤波器的像素在图10的下侧相邻配置有具有与G滤波器不同颜色的B滤波器的像素,是相邻配置有具有与G滤波器不同颜色的滤色器的像素的具有G滤波器的像素(第2第2方向不同颜色像素)。
并且,在异常倾斜入射光检测部34中,对上述的第1第2方向相同颜色相邻像素(图10的符号1-4)、第2第2方向相同颜色相邻像素(图10的符号2-4)、第1第2方向不同颜色相邻像素(图10的符号3-4)及第2第2方向不同颜色相邻像素(图10的符号4-4)的像素数据进行比较,当第1第2方向相同颜色相邻像素(图10的符号1-4)与第2第2方向相同颜色相邻像素(图10的符号2-4)的值相同,且第1第2方向不同颜色相邻像素(图10的符号3-4)与第2第2方向不同颜色相邻像素(图10的符号4-4)的值不同时,检测出从垂直方向入射的异常倾斜入射光的存在。
另外,为了清楚的说明,图10中,说明为以配置于相邻的不同基本排列像素群P的像素检测通过符号1-1~4-1的像素进行的朝向水平方向的纸面从左侧入射的异常倾斜入射光的检测、通过符号1-2~4-2的像素进行的朝向水平方向的纸面从右侧入射的异常倾斜入射光的检测、通过符号1-3~4-3的像素进行的从垂直方向入射的异常倾斜入射光的检测及通过符号1-4~4-4的像素进行的从垂直方向入射的异常倾斜入射光的检测。但是,也可在相同的基本排列像素群P内,从与符号1-1~4-1的像素、符号1-2~4-2的像素、符号1-3~4-3的像素及符号1-4~4-4的像素对应的像素进行检测。
<摄像元件的其他实施方式(变形例2)>
图12是表示上述摄像元件22的其他实施方式(变形例2)的图,尤其表示配置于摄像元件22的受光面上的滤色器排列。
图12所示的滤色器排列具有由在水平方向及垂直方向上以4像素×4像素排列的像素构成的多个基本排列像素群P。并且,滤色器排列包含沿水平方向及垂直方向并列设置的多个基本排列像素群P,各个基本排列像素群P包含由在水平方向及垂直方向上以2像素×2像素排列的像素构成的两个第1子排列及两个第2子排列。
第1子排列由具有R滤波器的2像素及具有B滤波器的2像素构成,第2子排列由具有G滤波器的4像素构成。第1子排列沿水平方向及垂直方向与第2子排列相邻配置,第1像素群由第2子排列构成。
具体而言,图12的滤色器排列包含由与4像素×4像素对应的正方形排列图案构成的基本排列像素群P(以粗框表示的像素群),该基本排列像素群P沿水平方向及垂直方向重复配置。即,该滤色器排列中,R滤波器、G滤波器、B滤波器保持规定周期性而排列。
如此,R滤波器、G滤波器、B滤波器保持规定周期性而排列,因此在进行从摄像元件22读出的R、G、B信号的去马赛克处理等时,能够根据重复图案进行处理。
图12所示的滤色器排列的R、G、B所有颜色的滤波器配置于基本排列像素群P内的水平方向及垂直方向的各线内。
图13是将图12所示的基本排列像素群P四分割为2像素×2像素的状态。
如图13所示,基本排列像素群P中,被实线框包围的2像素×2像素的第1子排列与被虚线框包围的2像素×2像素的第2子排列成为沿水平、垂直方向交替排列的排列。
第1子排列成为R滤波器及B滤波器沿水平、垂直方向交替排列的排列。并且,第1子排列中,具有R滤波器或B滤波器的像素还能够排列于2像素×2像素排列的对角线上。
另一方面,第2子排列中具有G滤波器的像素以2像素×2像素排列。具有G滤波器的像素的2像素×2像素排列为具有G滤波器的像素的像素群,构成第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素及第2第1方向不同颜色相邻像素,且构成第1第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素。
[异常倾斜入射光检测]
对图12所示的例子中的具有变形例2的摄像元件22的摄像装置10的异常倾斜入射光检测部34所进行的朝向水平方向的纸面从左侧入射的异常倾斜入射光的检测进行具体说明。
图12中以符号1-1表示的具有G滤波器的像素在朝向图12的纸面的左侧相邻配置有具有G滤波器的像素(图12的符号3-1),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向相同颜色相邻像素)。图12中以符号2-1表示的具有G滤波器的像素在朝向图12的纸面的左侧相邻配置有具有G滤波器的像素(图12的符号4-1),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第2第1方向相同颜色相邻像素)。
图12中以符号3-1表示的具有G滤波器的像素在朝向图12的纸面的左侧相邻配置有具有作为不同颜色的B滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向不同颜色相邻像素)。并且,图12中以符号4-1表示的具有G滤波器的像素在朝向图12的纸面的左侧相邻配置有具有作为不同颜色的R滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第2第1方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第1方向相同颜色相邻像素(图12的符号1-1)、第2第1方向相同颜色相邻像素(图12的符号2-1)、第1第1方向不同颜色相邻像素(图12的符号3-1)及第2第1方向不同颜色相邻像素(图12的符号4-1)的像素数据进行比较,当第1第1方向相同颜色相邻像素(图12的符号1-1)与第2第1方向相同颜色相邻像素(图12的符号2-1)的值相同,且第1第1方向不同颜色相邻像素(图12的符号3-1)与第2第1方向不同颜色相邻像素(图12的符号4-1)的值不同时,检测出从第1方向入射的异常倾斜入射光的存在。
对图12所示的具有变形例2的摄像元件22的摄像装置10的异常倾斜入射光检测部34所进行的朝向水平方向的纸面从右侧入射的异常倾斜入射光的检测进行具体说明。
图12中以符号1-2表示的具有G滤波器的像素在朝向图12的纸面的右侧相邻配置有具有G滤波器的像素(图12的符号4-2),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向相同颜色相邻像素)。图12中以符号2-2表示的具有G滤波器的像素在朝向图12的纸面的右侧相邻配置有具有G滤波器的像素(图12的符号3-2),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第2第1相同颜色相邻像素)。
图12中以符号3-2表示的具有G滤波器的像素在朝向图12的纸面的右侧相邻配置有具有作为不同颜色的B滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向不同颜色相邻像素)。并且,图12中以符号4-2表示的具有G滤波器的像素在朝向图12的纸面的右侧相邻配置有具有作为不同颜色的R滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第2第1方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第1方向相同颜色相邻像素(图12的符号1-2)、第2第1方向相同颜色相邻像素(图12的符号2-2)、第1第1方向不同颜色相邻像素(图12的符号3-2)及第2第1方向不同颜色相邻像素(图12的符号4-2)的像素数据进行比较,当第1第1方向相同颜色相邻像素(图12的符号1-2)与第2第1方向相同颜色相邻像素(图12的符号2-2)的值相同,且第1第1方向不同颜色相邻像素(图12的符号3-2)与第2第1方向不同颜色相邻像素(图12的符号4-2)的值不同时,检测出从第1方向入射的异常倾斜入射光的存在。
对图12所示的具有变形例2的摄像元件22的摄像装置10的异常倾斜入射光检测部34所进行的朝向垂直方向的纸面从上侧入射的异常倾斜入射光的检测进行具体说明。
图12中以符号1-3表示的具有G滤波器的像素在朝向图12的纸面的上侧相邻配置有具有G滤波器的像素(图12的符号3-3),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向相同颜色相邻像素)。图12中以符号2-3表示的具有G滤波器的像素在朝向图12的纸面的上侧相邻配置有具有G滤波器的像素(图12的符号4-3),是相邻配置具有相同颜色的滤色器的像素的具有G滤波器的像素(第2第2相同颜色相邻像素)。
图12中以符号3-3表示的具有G滤波器的像素在朝向图12的纸面的上侧相邻配置有具有作为不同颜色的R滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向不同颜色相邻像素)。并且,图12中以符号4-3表示的具有G滤波器的像素在朝向图12的纸面的上侧相邻配置有具有作为不同颜色的B滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第2第2方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第2方向相同颜色相邻像素(图12的符号1-3)、第2第2方向相同颜色相邻像素(图12的符号2-3)、第1第2方向不同颜色相邻像素(图12的符号3-3)及第2第2方向不同颜色相邻像素(图12的符号4-3)的像素数据进行比较,当第1第2方向相同颜色相邻像素(图12的符号1-3)与第2第2方向相同颜色相邻像素(图12的符号2-3)的值相同,且第1第2方向不同颜色相邻像素(图12的符号3-3)与第2第2方向不同颜色相邻像素(图12的符号4-3)的值不同时,检测出从垂直方向入射的异常倾斜入射光的存在。
对图12所示的具有变形例2的摄像元件22的摄像装置10的异常倾斜入射光检测部34所进行的朝向垂直方向的纸面从下侧入射的异常倾斜入射光的检测进行具体说明。
图12中以符号1-4表示的具有G滤波器的像素在朝向图12的纸面的下侧相邻配置有具有G滤波器的像素(图12的符号3-4),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向相同颜色相邻像素)。图12中以符号2-4表示的具有G滤波器的像素在朝向图12的纸面的下侧相邻配置有具有G滤波器的像素(图12的符号4-4),是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第2第2相同颜色相邻像素)。
图12中以符号3-4表示的具有G滤波器的像素在朝向图12的纸面的下侧相邻配置有具有作为不同颜色的R滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向不同颜色相邻像素)。并且,图12中的以符号4-4表示的具有G滤波器的像素在朝向图12的纸面的下侧相邻配置有具有作为不同颜色的B滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第2第2方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第2方向相同颜色相邻像素(图12的符号1-4)、第2第2方向相同颜色相邻像素(图12的符号2-4)、第1第2方向不同颜色相邻像素(图12的符号3-4)及第2第2方向不同颜色相邻像素(图12的符号4-4)的像素数据进行比较,当第1第2方向相同颜色相邻像素(图12的符号1-4)与第2第2方向相同颜色相邻像素(图12的符号2-4)的值相同,且第1第2方向不同颜色相邻像素(图12的符号3-4)与第2第2方向不同颜色相邻像素(图12的符号4-4)的值不同时,检测出从垂直方向入射的异常倾斜入射光的存在。
图14及图15中,示出了在具有图12所示的滤色器排列的摄像元件22中,判定异常倾斜入射光是沿水平方向的正方向或负方向的哪一方向入射的方法。图14及图15中,将朝向纸面的右侧设为正方向,将左侧设为负方向。
图14及图15所示的多个像素包含:第1第1颜色像素(图14的符号3-1)(图15的符号1-2)及第2第1颜色像素(图14的符号4-1)(图15的符号2-2),具有G滤波器,沿水平方向的正方向与具有G滤波器的像素相邻且沿水平方向的负方向与具有与第1颜色不同颜色的滤色器的像素相邻;及第3第1颜色像素(图14的符号1-1)(图15的符号4-2)及第4第1颜色像素(图14的符号2-1)(图15的符号3-2),具有G滤波器,沿水平方向的负方向与具有G滤波器的像素相邻且沿水平方向的正方向与具有与第1颜色不同颜色的滤色器的像素相邻。
图14中,示出沿着水平方向的正方向入射有异常倾斜入射光的状态。异常倾斜入射光沿着水平方向的正方向入射到摄像元件22时,第3第1颜色像素(图14的符号1-1)中存在来自相邻的具有G滤波器的像素(图14的符号3-1)的混色,因此像素数据成为Gg。并且,第4第1颜色像素(图14的符号2-1)中也存在来自相邻的具有G滤波器的像素(图14的符号4-1)的混色,因此像素数据成为Gg。
另一方面,第1第1颜色像素(图14的符号3-1)中存在来自在负方向侧相邻的具有B滤波器的像素的混色,因此像素数据成为Gb。并且,第2第1颜色像素(图14的符号4-1)中存在来自在负方向侧相邻的具有R滤波器的像素的混色,因此像素数据成为Gr。
如图14中所示,当检测到第1第1颜色像素(图14的符号3-1)为Gb、第2第1颜色像素(图14的符号4-1)为Gr、第3第1颜色像素(图14的符号1-1)为Gg及第4第1颜色像素(图14的符号2-1)为Gg的输出值时,能够判断为存在沿着水平方向的正方向入射的异常倾斜入射光。而且,当第1像素或第2像素的像素数据为Gg时,能够判断为存在从水平方向的正方向入射的异常倾斜入射光。
图15中,示出沿着水平方向的负方向入射有异常倾斜入射光的状态。当异常倾斜入射光沿着水平方向的负方向入射到摄像元件22时,第3第1颜色像素(图15的符号4-2)中存在来自沿正方向侧相邻的具有R滤波器的像素的混色,因此像素数据成为Gr。并且,第4第1颜色像素(图15的符号3-2)中也存在来自沿正方向侧相邻的具有B滤波器的像素的混色,因此像素数据成为Gb。
另一方面,第1第1颜色像素(图15的符号1-2)中存在来自在正方向侧相邻的具有G滤波器的像素(图15的符号4-2)的混色,因此像素数据成为Gg。并且,第2第1颜色像素(图15的符号2-2)中存在来自在正方向侧相邻的具有G滤波器的像素(图15的符号3-2)的混色,因此像素数据成为Gg。
如图15中所示,当检测到第1第1颜色像素(图15的符号1-2)为Gg、第2第1颜色像素(图15的符号2-2)为Gg、第3第1颜色像素(图15的符号4-2)为Gr及第4第1颜色像素(图15的符号3-2)为Gb的输出值时,能够判断为存在沿着水平方向的负方向入射的异常倾斜入射光。而且,当第1像素或第2像素的像素数据为Gg时,能够判断为存在从水平方向的负方向入射的异常倾斜入射光。
而且,当检测到异常倾斜入射光时,能够使用第1第1颜色像素、第2第1颜色像素、第3第1颜色像素及第4第1颜色像素中输出相同像素数据的像素的像素数据,对具有入射有异常倾斜入射光的光电二极管的像素的像素数据进行校正。
图14及图15中为了便于说明,对上述摄像元件22的其他实施方式(变形例2)中的异常倾斜入射光从水平方向入射的情况进行了说明。但是,上述摄像元件22的实施方式(具有图6、图10及图12所示的滤色器排列的摄像元件)中,能够判别在水平方向及垂直方向上是沿正方向、负方向的哪一方向入射有异常倾斜入射光。
<摄像元件的其他实施方式(变形例3)>
图16是表示上述摄像元件22的其他实施方式(变形例3)的图,尤其表示配置于摄像元件22的受光面上的滤色器排列。
图16中示出的滤色器排列包含多个基本排列像素群P,其为由在水平方向及垂直方向上以4像素×4像素排列的像素构成的多个基本排列像素群P,并沿水平方向及垂直方向并列设置。
如此,R滤波器、G滤波器、B滤波器保持规定的周期性而排列,因此进行从摄像元件22读出的R、G、B信号的去马赛克处理等时,能够根据重复图案进行处理。
图16所示的滤色器排列中,R、G、B的所有颜色的滤色器配置于基本排列像素群P内的水平方向及垂直方向的各线内。
像素块Q(图16中以点线表示)由各个基本排列像素群P中的具有R滤波器的2像素、具有B滤波器的2像素及具有G滤波器的5像素构成。
各个基本排列像素群P包含由在水平方向及垂直方向上以2像素×2像素排列的像素构成的两个第1子排列及两个第2子排列。图17表示将图16所示的基本排列像素群P四分割为2像素×2像素的状态。
如图17所示,第1子排列由具有G滤波器的3像素及具有R滤波器的1像素构成,第2子排列由具有G滤波器的3像素及具有B滤波器的1像素构成。第1子排列中的具有R滤波器的像素的位置与第2子排列中的具有B滤波器的像素的位置对应。第1子排列沿水平方向及垂直方向与第2子排列相邻配置。
具体而言,如图17所示,基本排列像素群P为被实线框包围的2像素×2像素的第1子排列与被虚线框包围的2像素×2像素的第2子排列成为沿水平、垂直方向交替排列的排列。
第1子排列具有3个G滤波器及1个R滤波器。并且,第2子排列具有3个G滤波器及1个B滤波器。而且,第1子排列中排列R滤波器的位置与第2子排列中排列B滤波器的位置相同。
[异常倾斜入射光检测]
图16所示的例子中,对异常倾斜入射光检测部34所进行的从水平方向入射的异常倾斜入射光的检测进行具体说明。图16中以符号1A表示的具有G滤波器的像素在朝向图16的纸面的左侧及右侧相邻配置有具有G滤波器的像素,是相邻配置具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向相同颜色相邻像素)。图16中以符号2A表示的具有G滤波器的像素在朝向图16的纸面的左侧及右侧相邻配置有具有G滤波器的像素,是相邻配置具有相同颜色的滤色器的像素的具有G滤波器的像素(第2第1方向相同颜色相邻像素)。
图16中以符号3A表示的具有G滤波器的像素在朝向图16的纸面的左侧相邻配置有具有R滤波器且在右侧相邻配置有具有B滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第1第1方向不同颜色相邻像素)。并且,图16中的以符号4A表示的具有G滤波器的像素在朝向图16的纸面的左侧相邻配置有具有B滤波器且在右侧相邻配置有具有R滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第2第1方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第1方向相同颜色相邻像素(图16的符号1A)、第2第1方向相同颜色相邻像素(图16的符号2A)、第1第1方向不同颜色相邻像素(图16的符号3A)及第2第1方向不同颜色相邻像素(图16的符号4A)的像素数据进行比较,当第1第1方向相同颜色相邻像素(图16的符号1A)与第2第1方向相同颜色相邻像素(图16的符号2A)的值相同,且第1第1方向不同颜色相邻像素(图16的符号3A)与第2第1方向不同颜色相邻像素(图16的符号4A)的值不同时,检测出从水平方向入射的异常倾斜入射光的存在。
进行从垂直方向入射的异常倾斜入射光的检测时,如下进行。
图16中,对通过异常倾斜入射光检测部34进行的从垂直方向入射的异常倾斜入射光的检测进行具体说明。图16中以符号1B表示的具有G滤波器的像素在朝向图16的纸面的上侧及下侧相邻配置有具有G滤波器的像素,是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向相同颜色相邻像素)。图16中的以符号2B表示的具有G滤波器的像素在朝向图16的纸面的上侧及下侧相邻配置有具有G滤波器的像素,是相邻配置有具有相同颜色的滤色器的像素的具有G滤波器的像素(第2第2方向相同颜色相邻像素)。
图16中以符号3B表示的具有G滤波器的像素在朝向图16的纸面的上侧及下侧相邻配置有具有作为不同颜色的R滤波器及B滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第1第2方向不同颜色相邻像素)。并且,图16中以符号4B表示的具有G滤波器的像素在朝向图16的纸面在上侧及下侧相邻配置有具有作为不同颜色的B滤波器及R滤波器的像素,是相邻配置有具有不同颜色的滤色器的像素的具有G滤波器的像素(第2第2方向不同颜色相邻像素)。
并且,异常倾斜入射光检测部34中,对上述的第1第2方向相同颜色相邻像素(图16的符号1B)、第2第2方向相同颜色相邻像素(图16的符号2B)、第1第2方向不同颜色相邻像素(图16的符号3B)及第2第2方向不同颜色相邻像素(图16的符号4B)的像素数据进行比较,当第1第2方向相同颜色相邻像素(图16的符号1B)与第2第2方向相同颜色相邻像素(图16的符号2B)的值相同,且第1第2方向不同颜色相邻像素(图16的符号3B)与第2第2方向不同颜色相邻像素(图16的符号4B)的值不同时,检测出从垂直方向入射的异常倾斜入射光的存在。
并且,如图16及图17所示,摄像装置10的其他实施方式(变形例3)中,具有G滤波器的像素沿水平方向连续排列,或者具有G滤波器的像素沿垂直方向连续排列,因此能够更容易地进行异常倾斜入射光的方向的判断。
而且,异常倾斜入射光检测部34根据像素块Q(图16中以点线图示)中包含的具有G滤波器的5像素的像素数据,能够检测沿水平方向或垂直方向向摄像元件22入射的异常倾斜入射光。
图18中,示出朝向具有图16所示的滤色器排列的摄像元件22,从水平方向入射有异常倾斜入射光的情况。并且,图19中,示出朝向具有图16所示的滤色器排列的摄像元件22,从垂直方向入射的异常倾斜入射光的情况。
图18中,沿水平方向连续排列的具有G滤波器的像素的像素数据成为Gg。换言之,表示Gg的值的像素数据沿水平方向连续排列。此时,检测出从水平方向入射的异常倾斜入射光。
另一方面,图19中,沿垂直方向连续排列的具有G滤波器的像素的像素数据成为Gg。换言之,表示Gg的值的像素数据沿垂直方向连续排列。此时,检测出从垂直方向入射的异常倾斜入射光。
并且,多个像素由至少具有G滤波器、R滤波器及B滤波器的像素构成。并且,具有G滤波器的像素所输出的像素数据最有助于获得亮度信号。
并且,第1颜色的像素具有绿色、透明或白色的滤色器。透明滤波器及白色滤波器是使红色波长区域的光、蓝色波长区域的光及绿色波长区域的光均透过的滤波器,透明滤波器具有比较高的透光率(例如,70%以上的透光率),白色滤波器具有低于透明滤波器的透光率。
并且,“第1方向”及“第2方向”并不特别限定,只要是形成相互垂直(包括实质上垂直)的方向即可。例如,可将通过摄像装置进行图像拍摄时相对于被摄体的“水平方向”及“垂直方向”作为“第1方向”及“第2方向”,也可将相对于这些“水平方向”及“垂直方向”具有任意角度的方向作为“第1方向”及“第2方向”。因此,通过使沿水平方向及垂直方向2维排列的多个像素旋转45度的所谓“蜂窝式排列”配置多个像素时,可将与“水平方向”及“垂直方向”成45度的方向作为“第1方向”及“第2方向”。
关于配置于摄像元件22的受光面上的滤色器排列,能够采用在此示出的排列以外的排列。例如能够采用将在第1方向及第2方向上N像素×M像素(N为3以上的整数,M为3以上的整数)的排列群作为基本排列像素群,并且基本排列像素群沿第1方向及第2方向并列设置的排列。并且,关于各个基本排列像素群,还可采用包含第1第1方向相同颜色相邻像素、第2第1方向相同颜色相邻像素、第1第1方向不同颜色相邻像素、第2第1方向不同颜色相邻像素、第1第2方向相同颜色相邻像素、第2第2方向相同颜色相邻像素、第1第2方向不同颜色相邻像素及第2第2方向不同颜色相邻像素的排列。例如,作为所对应的排列,可举出如图20所示的3像素×3像素的基本排列像素群P沿水平方向(第1方向)及垂直方向(第2方向)并列设置的排列。
例如,图20中标注有符号1的像素配置成朝向水平方向的纸面在左侧与具有相同颜色的G滤波器的像素相邻,因此是第1第1方向相同颜色相邻像素。并且,图20中标注有符号1的像素配置成朝向垂直方向的纸面在上侧与具有不同颜色的R滤波器的像素相邻,因此是第2第2方向不同颜色相邻像素。图20中标注有符号2的像素配置成朝向水平方向的纸面在左侧与具有相同颜色的G滤波器的像素相邻,因此是第2第1方向相同颜色相邻像素。并且,图20中标注有符号2的像素配置成朝向垂直方向的纸面在上侧与具有相同颜色的G滤波器的像素相邻,因此是第1第2方向相同颜色相邻像素。
图20中标注有符号3的像素配置成朝向水平方向的纸面在左侧与具有不同颜色的B滤波器的像素相邻,因此是第1第1方向不同颜色相邻像素。并且,图20中标注有符号3的像素配置成朝向垂直方向的纸面在上侧与具有相同颜色的G滤波器的像素相邻,因此是第2第2方向相同颜色相邻像素。图20中标注有符号4的像素配置成朝向水平方向的纸面在左侧与具有不同颜色的R滤波器的像素相邻,因此是第2第1方向不同颜色相邻像素。并且,图20中标注有符号4的像素配置成朝向垂直方向的纸面在上侧与具有不同颜色的B滤波器的像素相邻,因此是第1第2方向不同颜色相邻像素。
另外,作为基本排列像素群P的大小,若基本排列像素群的像素数增加,则导致去马赛克处理等的信号处理复杂化。因此,从防止信号处理的复杂化观点出发,基本排列像素群的大小优选为不过分大的10像素×10像素以下,更优选为8像素×8像素以下的大小。
<智能手机的结构>
图21是表示作为本发明的摄像装置10的一实施方式的智能手机101的外观的图。图21所示的智能手机101具有平板状框体102,在框体102的一侧面具备有作为显示部的显示面板121与作为输入部的操作面板122成为一体的显示输入部120。并且,该框体102具备有扬声器131、麦克风132、操作部140及摄像机部141。另外,框体102的结构并不限定于此,例如还能够采用显示部与输入部分开的结构,或采用折叠结构或具有滑动机构的结构。
图22是表示图21所示的智能手机101的结构的框图。如图22所示,作为智能手机的主要构成要件,具备无线通信部110、显示输入部120、通话部130、操作部140、摄像机部141、存储部150、外部输入输出部160、GPS(Global Positioning System)接收部170、动作传感器部180、电源部190及主控制部100。并且,智能手机101作为主要功能具备经由基站装置BS及移动通信网NW进行移动无线通信的无线通信功能。
无线通信部110根据主控制部100的指示,对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发、Web数据或流数据等的收发。
显示输入部120是通过主控制部100的控制,显示图像(静止图像及动态图像)或文字信息等来视觉性地向用户传递信息,并检测相对于所显示信息的用户操作的所谓的触控面板,具备显示面板121及操作面板122。
显示面板121是将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备的装置。操作面板122是以能够视觉识别显示于显示面板121的显示面上的图像的方式载置,并检测通过用户的手指或尖笔来操作的一个或多个坐标的设备。若通过用户的手指或尖笔操作该设备,则将通过操作而产生的检测信号输出至主控制部100。接着,主控制部100根据所接收的检测信号输出显示面板121上的操作位置(坐标)。
如图21所示,作为本发明的摄影装置的一实施方式来例示的智能手机101的显示面板121与操作面板122成为一体而构成显示输入部120,成为操作面板122完全覆盖显示面板121的配置。采用该配置时,操作面板122可具备针对显示面板121外的区域也检测用户操作的功能。换言之,操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下,称为显示区域)及针对除此以外的不与显示面板121重叠的外缘部分的检测区域(以下,称为非显示区域)。
另外,可使显示区域的大小与显示面板121的大小完全一致,但并不一定要使两者一致。并且,操作面板122可具备外缘部分及除此以外的内侧部分的两个感应区域。而且,外缘部分的宽度根据框体102的大小等适当设计。此外,作为在操作面板122中采用的位置检测方式,可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容式等,能够采用任一方式。
通话部130具备扬声器131和麦克风132,将通过麦克风132输入的用户的声音转换为能够在主控制部100中处理的音频数据来输出至主控制部100,或解码通过无线通信部110或外部输入输出部160接收的音频数据而从扬声器131输出。并且,如图21所示,例如能够将扬声器131搭载于与设置有显示输入部120的面相同的面,并将麦克风132搭载于框体102的侧面。
操作部140为使用键开关等的硬件键,接受来自用户的指示。例如,如图21所示,操作部140搭载于智能手机101的框体102的侧面,是若被手指等按下则打开,若手指离开则通过弹簧等的复原力成为关闭状态的按键式开关。
存储部150存储主控制部100的控制程序和控制数据、应用软件、对通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据或已下载的内容数据,或暂时存储流数据等。并且,存储部150由智能手机内置的内部存储部151及具有装卸自如的外部内存插槽的外部存储部152构成。另外,构成存储部150的各个内部存储部151与外部存储部152通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimedia card micro type)、卡类型的存储器(例如,MicroSD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read OnlyMemory)等存储介质来实现。
外部输入输出部160发挥与智能手机101连结的所有外部设备的接口作用,用于通过通信等(例如,通用串行总线(USB)、IEEE1394等)或局域网(例如,网络、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association:IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂协议(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机101连结的外部设备,例如有有/无线头戴式受话机、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(SubscriberIdentity Module Card)/UIM(User Identity Module Card)卡、经由音频·视频I/O(Input/Output)端子连接的外部音频·视频设备、无线连接的外部音频·视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的个人计算机、耳机等。外部输入输出部能够将从这种外部设备接受传送的数据传递至智能手机101内部的各构成要件,或使智能手机101内部的数据传送至外部设备。
GPS接收部170根据主控制部100的指示接收从GPS卫星ST1~STn发送的GPS信号,执行基于所接收的多个GPS信号的定位运算处理,检测由该智能手机101的纬度、经度、高度构成的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如,无线LAN)获取位置信息时,还能够利用该位置信息来检测位置。
动作传感器部180例如具备3轴加速度传感器等,根据主控制部100的指示,检测智能手机101的物理动态。通过检测智能手机101的物理动态,可检测智能手机101的移动方向或加速度。该检测结果被输出至主控制部100。
电源部190根据主控制部100的指示,向智能手机101的各部分供给蓄积在电池(未图示)的电力。
主控制部100具备微处理器,根据存储部150所存储的控制程序或控制数据动作,统一控制智能手机101的各部分。并且,主控制部100为了通过无线通信部110进行音频通信或数据通信,具备控制通信系统的各部分的移动通信控制功能及应用程序处理功能。
应用程序处理功能通过主控制部100根据存储部150所存储的应用软件而动作来实现。作为应用程序处理功能,例如有控制外部输入输出部160来进行与对象设备的数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且,主控制部100具备根据接收数据或所下载的数据流等图像数据(静止图像或动态图像的数据)向显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部100解码上述图像数据,对该解码结果实施图像处理来将图像显示于显示输入部120的功能。
而且,主控制部100执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的用户操作的操作检测控制。
通过执行显示控制,主控制部100显示用于启动应用软件的图标、或显示滚动条等软件键、或者显示用于创建电子邮件的窗口。另外,滚动条是指用于针对无法容纳于显示面板121的显示区域的较大图像等,接受移动图像的显示部分的指示的软件键。
并且,通过执行操作检测控制,主控制部100检测通过操作部140进行的用户操作,或接受操作面板122进行的相对于上述图标的操作相对于上述窗口的输入栏的文字列的输入,或者接受通过滚动条进行的显示图像的滚动要求。
而且,通过执行操作检测控制,主控制部100具备触控面板控制功能,该功能判定相对于操作面板122的操作位置是与显示面板121重叠的重叠部分(显示区域)还是除此以外的不与显示面板121重叠的外缘部分(非显示区域),并控制操作面板122的感应区域或软件键的显示位置。
并且,主控制部100还能够检测相对于操作面板122的手势操作并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触控操作,而是根据手指等描绘轨迹,或同时指定多个位置,或者组合这些来从多个位置对至少1个描绘轨迹的操作。
摄像机部141为使用CMOS(Complementary MetalOxide Semiconductor)或CCD(Charge-Coupled Device)等摄像元件22进行电子拍摄的数码摄像机。并且,摄像机部141能够通过主控制部100的控制,将通过图像拍摄获得的图像数据转换为例如JPEG(JointPhotographic coding Experts Group)等压缩的图像数据,存储于存储部150或通过外部输入输出部160或无线通信部110输出。图21所示的智能手机101中,摄像机部141搭载于与显示输入部120相同的面,但摄像机部141的搭载位置并不限定于此,可搭载于显示输入部120的背面,或者也可搭载有多个摄像机部141。另外,搭载有多个摄像机部141时,还能够切换供拍摄的摄像机部141来单独拍摄或者同时使用多个摄像机部141进行拍摄。
并且,摄像机部141能够利用于智能手机101的各种功能中。例如,能够在显示面板121显示通过摄像机部141获取的图像,或者作为操作面板122的操作输入之一,利用摄像机部141的图像。并且,当GPS接收部170检测位置时,还能够参考来自摄像机141的图像来检测位置。而且,能够参考来自摄像机部141的图像,不使用3轴加速度传感器或者与3轴加速度传感器同时使用来判断智能手机101的摄像机部141的光轴方向,或判断当前的使用环境。当然,还能够在应用软件内利用来自摄像机部141的图像。
此外,还能够在静止图像或动画的图像数据上附加通过GPS接收部170获取的位置信息、通过麦克风132获取的音频信息(也可以通过主控制部等进行音频文本转换而成为文本信息)、通过动作传感器部180获取的姿势信息等来存储于存储部150,或者通过输入输出部160或无线通信部110输出。
在上述智能手机101中,图像处理部28(包含异常倾斜入射光检测部34及校正部36)例如能够通过主控制部100、存储部150等适当地实现。
将使上述的实施方式的结构以如实现上述的实施方式的功能的方式动作的程序存储于存储介质,符号化存储于该存储介质的程序来读出,并在计算机中执行的处理方法也包含于上述的实施方式的范畴。即,计算机能够读取的存储介质也包含于实施例的范围内。并且,除了存储有上述的计算机程序的存储介质,其计算机程序本身也包含于上述实施方式。
作为该存储介质,例如能够使用软盘(注册商标)器件、硬盘、光盘、磁光盘、CD-ROM、磁带、非易失性存储卡、ROM。
并且,不限于以存储于上述存储介质的程序单体执行处理,与其他软件、扩展板的功能共同地在OS上动作并执行上述实施方式的动作的形式也包含于上述的实施方式的范畴。
本发明并不限定于上述实施方式,在不脱离本发明精神的范围内能够进行各种变形是理所当然的。
符号说明
10-摄像装置,12-CPU,14-操作部,16-设备控制部,18-透镜部,20-快门,22-摄像元件,24-A/D转换器,25-显示部,26-存储部,28-图像处理部,30-编码器,32-驱动器,34-异常倾斜入射光检测部,36-校正部,101-智能手机,P-基本排列像素群。

Claims (17)

1.一种摄像装置,其具备:
摄像元件,其为具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素的摄像元件,所述多个像素分别具有滤色器、及接受透过该滤色器的光而输出像素数据的光电二极管;
异常倾斜入射光检测机构,根据所述像素数据,检测异常倾斜入射光向所述摄像元件的入射;及
校正机构,根据所述异常倾斜入射光检测机构的检测结果,对具有入射有所述异常倾斜入射光的所述光电二极管的像素的所述像素数据进行校正,
其中,
所述多个像素包含:
第1第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成;
第2第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成;
第1第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成;及
第2第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成,
所述异常倾斜入射光检测机构根据所述第1第1方向相同颜色相邻像素、所述第2第1方向相同颜色相邻像素、所述第1第1方向不同颜色相邻像素及所述第2第1方向不同颜色相邻像素的所述像素数据,检测沿所述第1方向向所述摄像元件入射的异常倾斜入射光。
2.根据权利要求1所述的摄像装置,其中,
所述多个像素包含:
第1第2方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿所述第2方向相邻配置且具有第1颜色的滤色器的像素构成;
第2第2方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿所述第2方向相邻配置且具有第1颜色的滤色器的像素构成;
第1第2方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿所述第2方向相邻配置且具有第1颜色的滤色器的像素构成;及
第2第2方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿所述第2方向相邻配置且具有第1颜色的滤色器的像素构成,
所述异常倾斜入射光检测机构根据所述第1第2方向相同颜色相邻像素、所述第2第2方向相同颜色相邻像素、所述第1第2方向不同颜色相邻像素及所述第2第2方向不同颜色相邻像素的所述像素数据,检测沿所述第2方向向所述摄像元件入射的异常倾斜入射光。
3.根据权利要求2所述的摄像装置,其中,
当所述第1第1方向相同颜色相邻像素的所述像素数据及所述第2第1方向相同颜色相邻像素的所述像素数据相同,且所述第1第1方向不同颜色相邻像素及所述第2第1方向不同颜色相邻像素的所述像素数据与所述第1第1方向相同颜色相邻像素及所述第2第1方向相同颜色相邻像素的所述像素数据不同时,所述异常倾斜入射光检测机构检测出沿所述第1方向向所述摄像元件入射的异常倾斜入射光,
当所述第1第2方向相同颜色相邻像素的所述像素数据及所述第2第2方向相同颜色相邻像素的所述像素数据相同,且所述第1第2方向不同颜色相邻像素及所述第2第2方向不同颜色相邻像素的所述像素数据与所述第1第2方向相同颜色相邻像素及所述第2第2方向相同颜色相邻像素的所述像素数据不同时,所述异常倾斜入射光检测机构检测出沿所述第2方向向所述摄像元件入射的异常倾斜入射光。
4.根据权利要求2或3所述的摄像装置,其中,
所述多个像素包含多个基本排列像素群,所述基本排列像素群为在所述第1方向及所述第2方向上具有N像素×M像素的排列的基本排列像素群,所述多个基本排列像素群沿所述第1方向及所述第2方向并列设置,其中,所述N为3以上的整数且所述M为3以上的整数,
各个所述基本排列像素群包含所述第1第1方向相同颜色相邻像素、所述第2第1方向相同颜色相邻像素、所述第1第1方向不同颜色相邻像素、所述第2第1方向不同颜色相邻像素、所述第1第2方向相同颜色相邻像素、所述第2第2方向相同颜色相邻像素、所述第1第2方向不同颜色相邻像素及所述第2第2方向不同颜色相邻像素。
5.根据权利要求2或3所述的摄像装置,其中,
所述多个像素包含:
第1第1颜色像素及第2第1颜色像素,沿所述第1方向的正方向与具有相同颜色的滤色器的像素相邻且沿所述第1方向的负方向与具有不同颜色的滤色器的像素相邻,所述第1第1颜色像素及所述第2第1颜色像素具有第1颜色的滤色器;
第3第1颜色像素及第4第1颜色像素,沿所述第1方向的负方向与具有相同颜色的滤色器的像素相邻且沿所述第1方向的正方向与具有不同颜色的滤色器的像素相邻,所述第3第1颜色像素及所述第4第1颜色像素具有第1颜色的滤色器;
第5第1颜色像素及第6第1颜色像素,沿所述第2方向的正方向与具有相同颜色的滤色器的像素相邻且沿所述第2方向的负方向与具有不同颜色的滤色器的像素相邻,所述第5第1颜色像素及所述第6第1颜色像素具有第1颜色的滤色器;及
第7第1颜色像素及第8第1颜色像素,沿所述第2方向的负方向与具有相同颜色的滤色器的像素相邻且沿所述第2方向的正方向与具有不同颜色的滤色器的像素相邻,所述第7第1颜色像素及所述第8第1颜色像素具有第1颜色的滤色器,
所述第1第1方向相同颜色相邻像素、所述第2第1方向相同颜色相邻像素、所述第1第1方向不同颜色相邻像素及所述第2第1方向不同颜色相邻像素分别由所述第1第1颜色像素、所述第2第1颜色像素、所述第3第1颜色像素及所述第4第1颜色像素的任一个构成,
所述第1第2方向相同颜色相邻像素、所述第2第2方向相同颜色相邻像素、所述第1第2方向不同颜色相邻像素及所述第2第2方向不同颜色相邻像素分别由所述第5第1颜色像素、所述第6第1颜色像素、所述第7第1颜色像素及所述第8第1颜色像素的任一个构成,
所述异常倾斜入射光检测机构根据所述第1第1颜色像素、所述第2第1颜色像素、所述第3第1颜色像素及所述第4第1颜色像素的所述像素数据,判定沿所述第1方向向所述摄像元件入射的异常倾斜入射光沿所述第1方向的正方向及负方向的哪一个方向入射,
所述异常倾斜入射光检测机构根据所述第5第1颜色像素、所述第6第1颜色像素、所述第7第1颜色像素及所述第8第1颜色像素的所述像素数据,检测沿所述第2方向向所述摄像元件入射的异常倾斜入射光沿所述第2方向的正方向及负方向的哪一个方向入射。
6.根据权利要求5所述的摄像装置,其中,
当通过所述异常倾斜入射光检测机构检测到沿所述第1方向向所述摄像元件入射的异常倾斜入射光时,所述校正机构利用所述第1第1颜色像素、所述第2第1颜色像素、所述第3第1颜色像素及所述第4第1颜色像素中输出相同像素数据的像素的所述像素数据,对具有入射有所述异常倾斜入射光的所述光电二极管的像素的所述像素数据进行校正,
当通过所述异常倾斜入射光检测机构检测到沿所述第2方向向所述摄像元件入射的异常倾斜入射光时,所述校正机构利用所述第5第1颜色像素、所述第6第1颜色像素、所述第7第1颜色像素及所述第8第1颜色像素中输出相同像素数据的像素的所述像素数据,对具有入射有所述异常倾斜入射光的所述光电二极管的像素的所述像素数据进行校正。
7.根据权利要求5所述的摄像装置,其中,
相对于所述第1第1方向不同颜色相邻像素沿所述第1方向相邻配置且具有与所述第1颜色不同的颜色的滤色器的像素、与相对于所述第2第1方向不同颜色相邻像素沿所述第1方向相邻配置且具有与所述第1颜色不同的颜色的滤色器的像素具有不同的颜色的滤色器,
相对于所述第1第2方向不同颜色相邻像素沿所述第2方向相邻配置且具有与所述第1颜色不同的颜色的滤色器的像素、与相对于所述第2第2方向不同颜色相邻像素沿所述第2方向相邻配置且具有与所述第1颜色不同的颜色的滤色器的像素具有不同的颜色的滤色器。
8.根据权利要求2或3所述的摄像装置,其中,
所述多个像素包含第1颜色像素群,其由在所述第1方向及所述第2方向上以2像素×2像素排列且具有第1颜色的滤色器的像素构成,
构成所述第1颜色像素群的像素构成所述第1第1方向相同颜色相邻像素、所述第2第1方向相同颜色相邻像素、所述第1第1方向不同颜色相邻像素及所述第2第1方向不同颜色相邻像素,且构成所述第1第2方向相同颜色相邻像素、所述第2第2方向相同颜色相邻像素、所述第1第2方向不同颜色相邻像素及所述第2第2方向不同颜色相邻像素。
9.根据权利要求8所述的摄像装置,其中,
所述多个像素包含多个基本排列像素群,其为由在所述第1方向及所述第2方向上以6像素×6像素排列的像素构成的多个基本排列像素群,并沿所述第1方向及所述第2方向并列设置,
各个所述基本排列像素群包含由在所述第1方向及所述第2方向上以3像素×3像素排列的像素构成的两个第1子排列及两个第2子排列,
所述第1子排列具有:配置于中央且具有第1颜色的滤色器的1像素;配置于四角且具有第1颜色的滤色器的4像素;以夹住所述配置于中央且具有第1颜色的滤色器的1像素的方式沿所述第1方向配置且具有第2颜色的滤色器的2像素;及以夹住所述配置于中央且具有第1颜色的滤色器的1像素的方式沿所述第2方向配置且具有第3颜色的滤色器的2像素,
所述第2子排列具有:配置于中央且具有第1颜色的滤色器的1像素;配置于四角且具有第1颜色的滤色器的4像素;以夹住所述配置于中央且具有第1颜色的滤色器的1像素的方式沿所述第1方向配置且具有第3颜色的滤色器的2像素;及以夹住所述配置于中央且具有第1颜色的滤色器的1像素的方式沿所述第2方向配置且具有第2颜色的滤色器的2像素,
所述第1子排列沿所述第1方向及所述第2方向与所述第2子排列相邻配置,
所述第1颜色像素群由所述两个第1子排列及所述两个第2子排列构成。
10.根据权利要求8所述的摄像装置,其中,
所述多个像素包含多个基本排列像素群,其为由在所述第1方向及所述第2方向上以4像素×4像素排列的像素构成的多个基本排列像素群,并沿所述第1方向及所述第2方向并列设置,
各个所述基本排列像素群包含由在所述第1方向及所述第2方向上以2像素×2像素排列的像素构成的两个第1子排列及两个第2子排列,
所述第1子排列由具有第1颜色的滤色器的4像素构成,所述第2子排列由具有第2颜色的滤色器的2像素及具有第3颜色的滤色器的2像素构成,
所述第1子排列沿所述第1方向及所述第2方向与所述第2子排列相邻配置,
所述第1颜色像素群由所述第1子排列构成。
11.根据权利要求2或3所述的摄像装置,其中,
所述多个像素包含多个基本排列像素群,其为由在所述第1方向及所述第2方向上以6像素×6像素排列的像素构成的多个基本排列像素群,并沿所述第1方向及所述第2方向并列设置,
各个所述基本排列像素群包含由在所述第1方向及所述第2方向上以3像素×3像素排列的像素构成的两个第1子排列及两个第2子排列,
所述第1子排列具有:配置于中央且具有第2颜色的滤色器的1像素;配置于四角且具有第3颜色的滤色器的4像素;及配置于所述四角的各个像素之间且具有第1颜色的滤色器的4像素,
所述第2子排列具有:配置于中央且具有第3颜色的滤色器的1像素;配置于四角且具有第2颜色的滤色器的4像素;及配置于所述四角的各个像素之间且具有第1颜色的滤色器的4像素,
所述第1子排列沿所述第1方向及所述第2方向与所述第2子排列相邻配置,
由在沿所述第1方向相邻的所述第1子排列及所述第2子排列的具有第1颜色的滤色器的像素中沿所述第1方向相互相邻且具有第1颜色的滤色器的像素,构成所述第1第1方向相同颜色相邻像素、所述第2第1方向相同颜色相邻像素、所述第1第1方向不同颜色相邻像素及所述第2第1方向不同颜色相邻像素,
由在沿所述第2方向相邻的所述第1子排列及所述第2子排列的具有第1颜色的滤色器的像素中沿所述第2方向相互相邻且具有第1颜色的滤色器的像素,构成所述第1第2方向相同颜色相邻像素、所述第2第2方向相同颜色相邻像素、所述第1第2方向不同颜色相邻像素及所述第2第2方向不同颜色相邻像素。
12.根据权利要求2或3所述的摄像装置,其中,
所述多个像素包含像素块,其为在所述第1方向及所述第2方向上以3像素×3像素排列的像素块,由配置于四角且具有第2颜色的滤色器的2像素及具有第3颜色的滤色器的2像素、及在所述第1方向及所述第2方向上配置成十字状且具有第1颜色的滤色器的5像素构成,
所述异常倾斜入射光检测机构根据所述像素块中包含的具有第1颜色的滤色器的5像素的所述像素数据检测沿所述第1方向或所述第2方向向所述摄像元件入射的异常倾斜入射光。
13.根据权利要求12所述的摄像装置,其中,
当通过所述异常倾斜入射光检测机构检测到沿所述第1方向向所述摄像元件入射的异常倾斜入射光时,所述校正机构利用与具有第1颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素的所述像素数据,对具有入射有所述异常倾斜入射光的所述光电二极管的像素的所述像素数据进行校正,
当通过所述异常倾斜入射光检测机构检测到沿所述第2方向向所述摄像元件入射的异常倾斜入射光时,所述校正机构利用与具有第1颜色的滤色器的像素沿所述第2方向相邻配置且具有第1颜色的滤色器的像素的所述像素数据,对具有入射有所述异常倾斜入射光的所述光电二极管的像素的所述像素数据进行校正。
14.根据权利要求12所述的摄像装置,其中,
所述多个像素包含多个基本排列像素群,其为由在所述第1方向及所述第2方向上以4像素×4像素排列的像素构成的多个基本排列像素群,并沿所述第1方向及所述第2方向并列设置,
各个所述基本排列像素群包含由在所述第1方向及所述第2方向上以2像素×2像素排列的像素构成的两个第1子排列及两个第2子排列,
所述第1子排列由具有第1颜色的滤色器的3像素及具有第2颜色的滤色器的1像素构成,所述第2子排列由具有第1颜色的滤色器的3像素及具有第3颜色的滤色器的1像素构成,所述第1子排列中的具有所述第2颜色的滤色器的像素的位置与所述第2子排列中的具有所述第3颜色的滤色器的像素的位置对应,
所述第1子排列沿所述第1方向及所述第2方向与所述第2子排列相邻配置,
所述像素块由各个所述基本排列像素群中的具有第2颜色的滤色器的2像素、具有第3颜色的滤色器的2像素及具有第1颜色的滤色器的5像素构成。
15.根据权利要求1至3中任一项所述的摄像装置,其中,
所述多个像素包含由至少1个以上的颜色的所述滤色器构成的第1颜色的像素及由所述第1颜色以外的至少两个以上的颜色的所述滤色器构成的第2颜色的像素,
所述第1颜色的像素具有用于获得亮度信号的贡献率比所述第2颜色的像素的所述滤色器高的颜色的所述滤色器,
具有所述第1颜色的滤色器的像素由所述第1颜色的像素构成。
16.根据权利要求15所述的摄像装置,其中,
所述第1颜色的像素具有绿色、透明或白色的滤色器。
17.一种图像处理方法,其具备:
异常倾斜入射光检测步骤,具有滤色器及接受透过该滤色器的光而输出像素数据的光电二极管,根据所述像素数据检测异常倾斜入射光向具有沿第1方向及与该第1方向垂直的第2方向排列的多个像素的摄像元件的入射;及
校正步骤,根据所述异常倾斜入射光检测步骤的检测结果,对具有入射有所述异常倾斜入射光的所述光电二极管的像素的所述图像数据进行校正,
其中,
所述多个像素包含:第1第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成;第2第1方向相同颜色相邻像素,由与具有第1颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成;第1第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成;及第2第1方向不同颜色相邻像素,由与具有与第1颜色不同的颜色的滤色器的像素沿所述第1方向相邻配置且具有第1颜色的滤色器的像素构成,
所述异常倾斜入射光检测步骤中,根据所述第1第1方向相同颜色相邻像素、所述第2第1方向相同颜色相邻像素、所述第1第1方向不同颜色相邻像素及所述第2第1方向不同颜色相邻像素的所述像素数据,检测沿所述第1方向向所述摄像元件入射的异常倾斜入射光。
CN201380063634.5A 2012-12-07 2013-11-11 摄像装置、图像处理方法 Active CN104838647B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-268183 2012-12-07
JP2012268183 2012-12-07
PCT/JP2013/080375 WO2014087804A1 (ja) 2012-12-07 2013-11-11 撮像装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
CN104838647A CN104838647A (zh) 2015-08-12
CN104838647B true CN104838647B (zh) 2016-11-30

Family

ID=

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101527311A (zh) * 2008-03-06 2009-09-09 佳能株式会社 图像感测装置和成像系统
CN101569205A (zh) * 2007-06-15 2009-10-28 松下电器产业株式会社 图像处理装置
JP2011066801A (ja) * 2009-09-18 2011-03-31 Canon Inc 固体撮像装置及び撮像システム
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法
CN102693991A (zh) * 2011-03-24 2012-09-26 索尼公司 固态成像设备及电子装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101569205A (zh) * 2007-06-15 2009-10-28 松下电器产业株式会社 图像处理装置
CN101527311A (zh) * 2008-03-06 2009-09-09 佳能株式会社 图像感测装置和成像系统
JP2011066801A (ja) * 2009-09-18 2011-03-31 Canon Inc 固体撮像装置及び撮像システム
CN102696228A (zh) * 2010-10-04 2012-09-26 富士胶片株式会社 成像设备和混色校正方法
CN102693991A (zh) * 2011-03-24 2012-09-26 索尼公司 固态成像设备及电子装置

Similar Documents

Publication Publication Date Title
CN104838646B (zh) 图像处理装置、图像处理方法、程序及记录介质
CN105814882B (zh) 摄像模块及摄像装置
JP5802858B2 (ja) 撮像装置、画像処理装置、画像処理方法及びプログラム
US9363493B2 (en) Image processing apparatus, method, recording medium and image pickup apparatus
CN104813648B (zh) 图像处理装置、摄像装置、及图像处理方法
US10021287B2 (en) Imaging control device, imaging device, imaging control method, and program for transmitting an imaging preparation command, receiving a preparation completion command, and transmitting a captured image acquisition command
US20160182794A1 (en) Imaging device and imaging method
CN104904197A (zh) 摄像装置、异常倾斜入射光检测方法、程序及记录介质
KR20170123661A (ko) 촬영 방법, 촬영 장치, 및 단말
US10516860B2 (en) Image processing method, storage medium, and terminal
CN105474626B (zh) 摄像装置
US9877004B2 (en) Color-mixture-ratio calculation device and method, and imaging device
CN110447223A (zh) 成像元件以及摄像装置
US20150172614A1 (en) Image processing device, imaging apparatus, computer, image processing method, and non-transitory computer readable medium
JP5749409B2 (ja) 撮像装置、画像処理方法及びプログラム
CN110463193A (zh) 摄像装置及图像处理方法
US9363435B2 (en) Apparatus and method of determining how to perform low-pass filter processing as a reduction association processing when moire is suppressed in a captured image represented by image capture data according to an array of color filters and when the moire appears in the reduced image after processing the reduction processing on the image pickup data, on the basis of an acquisition result of the shooting condition data
CN107005626A (zh) 摄像装置及其控制方法
CN109196857A (zh) 成像元件及摄像装置
CN104838647B (zh) 摄像装置、图像处理方法
US9270955B2 (en) Imaging apparatus that generates three-layer color data on the basis of a first mosaic image
CN112367511A (zh) 图像处理方法、装置、图像处理器和电子设备
WO2014185239A1 (ja) 画像データのオプティカル・ブラック補正装置およびその動作制御方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant