CN102379125A - 图像输入装置 - Google Patents

图像输入装置 Download PDF

Info

Publication number
CN102379125A
CN102379125A CN2010800149410A CN201080014941A CN102379125A CN 102379125 A CN102379125 A CN 102379125A CN 2010800149410 A CN2010800149410 A CN 2010800149410A CN 201080014941 A CN201080014941 A CN 201080014941A CN 102379125 A CN102379125 A CN 102379125A
Authority
CN
China
Prior art keywords
image
signal
visible light
chrominance signal
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010800149410A
Other languages
English (en)
Inventor
片桐哲也
高清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Opto Inc
Original Assignee
Konica Minolta Opto Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Opto Inc filed Critical Konica Minolta Opto Inc
Publication of CN102379125A publication Critical patent/CN102379125A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

目的在于提供一种在光子量少的夜间也能够生成图像的S/N比高的辉度信号而且能够提供异样感少的图像的图像输入装置，在例如原图像成分中可见光辉度信号较低、红外成分为支配性时，通过修正加法运算辉度的色度信号，能够防止加法运算辉度的色度信号变得太高，进行接近本来可见光的异样感少的更自然的色再现。

Description

图像输入装置
技术领域
本发明涉及对由摄像元件拍摄的原图像数据进行图像处理的图像输入装置。
背景技术
近年来拍摄彩色夜间景色的摄像装置已为周知。例如专利文献1中公开了一种如下所述的彩色图像再生装置。这种彩色图像再生装置是先由备有R、G、B滤波器的像素从拍摄的图像中抽出由R、G、B色成分组成的可视图像数据。然后，由备有Ir滤波器的像素从拍摄的图像中抽出红外图像数据。接下去对可视图像数据进行HSV变换抽出第1辉度信息，且从红外图像数据抽出第2辉度信息。然后对第1辉度信息加权加权系数w1，对第2辉度信息加权加权系数w2(w1+w2＝1)，生成伪彩色图像。
先行技术文献
专利文献
专利文献1：特开2007-184805号公报
发明内容
发明欲解决的课题
但是，由于夜间光子量少所以摄影图像的S/N比小存在问题，专利文献1的手法中没有考虑这种因素。对此申请人开发了一种图像输入装置，其中备有配列了分光敏度不同的至少3种像素、拍摄至少包括3种原图像成分之原图像数据的摄像元件，以及将所述原图像数据变换为包括辉度信号和色度信号之色空间的色空间变换部，所述色空间变换部将通过加法运算所述原图像成分而得到的第1强度信号，作为所述色空间的辉度信号进行算出。
具体说明这种图像输入装置的动作。首先，将RGB色信号变换到含有辉度信号Y和色差信号Cb、Cr的色空间。然后将加法运算图像成分Ye、R、IR、W而得到的辉度信号Yadd(第1强度信号的一例)，作为为变换对象色空间的辉度信号进行算出。因为辉度信号Yadd通过加法运算处理算出，所以，与用减法运算处理算出辉度信号Yadd时相比，能够降低噪声成分。然后平滑处理色差信号Cb、Cr，算出色差信号Cbs、Crs。在此，色差信号Cb、Cr中含有的噪声成分被模糊，能够提高色差信号Cbs、Crs的S/N比。然后，相应辉度信号Yadd的比例RT1(RT1＝Yadd/Y)，修正色差信号Crs、Cbs，根据下式，求色差信号Crm、Cbm：
Crm＝Crs×Yadd/Y，
Cbm＝Cbs×Yadd/Y。
最后，从辉度信号Yadd和色差信号Crm、Cbm算出RGB色信号。根据这种图像输入装置，在光子量少的夜间也能够降低噪声，生成S/N比高的辉度信号。
然而这种图像输入装置中，因为在红外领域被摄体发出的可见光量少，所以计算的色差值小，有时修正后的信号埋入噪声作为图像数据不可信赖。另外，加法运算可见光和红外成分得到的辉度信号Yadd比可见光的辉度信号Y值大，按照Yadd计算的色差信号Crm、Cbm也比可见光的色差信号Cb、Cr高，所以处理后的图像颜色鲜明，容易识别。但是，红外成分显著比可见光大时，色差信号Crm、Cbm太高，有时与人眼识别的被摄体颜色之间出现异样感。
本发明的目的在于提供一种在光子量少的夜间也能够生成图像的S/N比高的辉度信号，而且能够提供异样感少的图像的图像输入装置。
用来解决课题的手段
第1项记载的图像输入装置，其特征在于，
具有：摄像元件，配列分光敏度不同的至少3种像素、将入射的被摄体像变换为至少包括3种原图像成分的原图像数据；色信号生成部，从所述原图像成分生成RGB色信号；色空间变换部，将所述RGB色信号变换到包括辉度信号和色度信号的色空间；
所述色空间变换部将通过加法运算所述原图像成分而得到的第1强度信号，作为所述色空间的辉度信号进行算出，
并且，将所述RGB色信号变换到所述色空间从而生成第2强度信号，相应所述第1强度信号相对所述第2强度信号的比例，修正所述色度信号，
另外，相应入射的被摄体像中所含的可见光的强度，修正已被修正的所述色度信号。
根据本发明，由摄像元件拍摄至少包括3种原图像成分的图像数据。然后，色空间变换部加法运算构成原图像数据的原图像成分从而生成第1强度信号，将该第1强度图像信号作为色空间的辉度信号进行算出。因此，在光子量少的夜间也能够生成S/N比高的辉度信号。并且，色空间变换部通过对RGB色信号进行色空间变换从而生成第2強度信号，算出第1強度信号相对该第2強度信号的比例，相应该比例修正色度信号。因此，色空间变换部能够在为变换对象的色空间生成平衡性良好的色度信号和辉度信号。除此之外，在例如原图像成分中可见光辉度信号较低、红外成分为支配性时，还通过采用所定的函数修正色度信号(例如加法运算辉度的色差信号)，能够防止色度信号变得太高，进行接近本来可见光的异样感少的更自然的色再现。作为“相应可见光强度修正色度信号”的例子，有例如相应辉度信号Y值采用在0到1之间变化的函数f(Y)修正色度信号的例子，但并不局限于此。
第2项记载的图像输入装置，其特征在于，所述色空间变换部在所述可见光的强度小于阈值时修正所述色度信号，在所述可见光的强度在阈值以上时不修正所述色度信号。例如对红外成分低的领域不作处理，由此能够提高处理速度。
第3项记载的图像输入装置，其特征在于，所述色空间变换部根据所述原图像成分，比较入射的被摄体像中所含的红外光的强度和可见光的强度，在所述红外光的强度比所述可见光的强度强时，修正所述色度信号。例如在入射到所述摄像元件上的被摄体像中相比可见光来说红外成分为支配性时，通过修正色度信号能够防止色度信号变得太高，进行接近本来可见光的异样感少的更自然的色再现。
第4项记载的图像输入装置，其特征在于，所述色空间变换部在所述可见光的强度小于阈值、且所述红外光的强度比所述可见光的强度强时，修正所述色度信号。例如，对红外成分低的领域不作处理，由此能够提高处理速度。
第5项记载的图像输入装置，其特征在于，所述摄像元件的分光敏度不同的至少3种像素中的至少一个在红外区域持有敏度。通过使所述摄像元件像素发出的信号必定持有红外成分，由此保障处理的正确度。
第6项记载的图像输入装置，其特征在于，相应入射的被摄体像中所含的可见光及非可见光的强度，修正已被修正的所述色度信号。由此能够进行色度调整处理。所谓“色度调整处理”是抑制伪色显现、实现良好的色再现的色度修正处理，在例如特开2007-195122号公报中有所记载。
发明的效果
根据本发明，通过加法运算构成原图像数据的原图像成分，生成第1強度信号，将该第1強度信号作为为变换对象的色空间的辉度信号进行算出。因此，在光子量少的夜间也能够生成S/N比高的辉度信号。
另外，通过确切修正色度信号，能够进行接近本来可见光的异样感少的更自然的色再现。
附图说明
图1：实施方式1图像输入装置1的方框示意图。
图2：摄像元件3的像素配列示意图。
图3：Ye、R、IR滤波器的分光透过特性示意图，纵轴表示透过率(敏度)，横轴表示波长(nm)。
图4：图像处理部4的详细结构方框示意图。
图5：噪声成分分布示意曲线。
图6：(a)是减法运算处理的噪声成分示意表，(b)是加法运算处理的噪声成分示意表。
图7：相应辉度信号Y在0到1之间变化的所定函数f(Y)的例子示意曲线。
图8：实施方式1图像输入装置1的动作流程示意。
图9：实施方式2图像输入装置1的动作流程示意。
图10：相应红外成分IRP在0到1之间变化的函数f(IRP)一例示意曲线。
图11：实施方式1变形例图像输入装置1的动作流程示意。
图12：根据入射光标绘的辉度信号Y和红外光量IR图。
具体实施方式
[实施方式1]
以下对本发明实施方式图像输入装置1作说明。图1是实施方式1图像输入装置1的方框示意图。如图1所示，图像输入装置1备有透镜2、摄像元件3、图像处理部4以及控制部5。图像输入装置1被用于例如搭载于车辆、拍摄车辆周围被摄体之用途。
透镜2由光学透镜系统构成，取入被摄体的光学像，导向摄像元件3。作为光学透镜系统，可以采用沿被摄体光学像光轴L直列配置的例如变焦透镜、聚焦透镜及其他固定透镜块等。透镜2还备有用来调节透过光量的光阑(图略)、快门(图略)等，在控制部5的控制下，光阑及快门的驱动被控制。
摄像元件3包括由PD(光电二极管)构成的受光部、输出经受光部光电变换的信号的输出回路、驱动摄像元件3的驱动回路，生成具有相应光量程度的原图像数据。作为摄像元件3，可以采用CMOS影像传感、VMlS影像传感及CCD影像传感等各种摄像传感。
本实施方式中，摄像元件3被入射被摄体光学像，由备有彩色滤波器的像素变换输出可见彩色图像成分，由备有红外滤波器的像素变换输出红外图像成分，由不备滤波器的像素变换输出含有可见辉度图像成分和红外图像成分的辉度图像成分。
图像处理部4包括被用作演算回路及演算回路作业区域的存储器等，A/D变换从摄像元件3输出的原图像数据，变换为数字信号，在实行后述图像处理之后，输出到例如图略的存储器和显示装置。
控制部5含有格纳CPU及CPU实行的程序的存储器等，应答来自于外部的控制信号，统括控制整个图像输入装置1。
图2是摄像元件3的像素配列示意图。如图2所示，摄像元件3上矩阵状配列着单位像素部31，其中包括以可见波长区域和红外波长区域为有敏度波长带域的Ye像素(第1像素)、R像素(第2像素)、IR像素(第3像素)以及W像素(第4像素)。其中，例如“Ye”像素是指具有“Ye”滤波器的像素，以下相同。
图2的情况，如单位像素部31中的第1行第1列上配列着R像素、第2行第1列上配列着IR像素、第1行第2列上配列着W像素、第2行第2列上配列着Ye像素那样，R像素、IR像素、W像素及Ye像素被配列成锯齿状。但这只不过是一例，也可以用其他图案锯齿状配列R像素、IR像素、W像素及Ye像素。
Ye像素备有Ye滤波器(第1彩色滤波器)，输出为Ye可见彩色图像成分的图像成分Ye(原图像成分)以及红外图像成分。R像素备有R滤波器(第2彩色滤波器)，输出为R可见彩色图像成分的图像成分R(原图像成分)以及红外图像成分。IR像素备有IR滤波器(红外滤波器)，输出为红外图像成分的图像成分IR(原图像成分)。W像素不备滤波器，输出为包括可见辉度图像成分和图像成分IR之辉度图像成分的图像成分W(原图像成分)。
图3是Ye、R、IR滤波器的分光透过特性示意图，纵轴表示透过率(敏度)，横轴表示波长(nm)。虚线所示的曲线表示去掉滤波器状态时像素的分光敏度特性。由此可知，该分光敏度特性在600nm附近具有峰值，描绘上凸变化的曲线。图3中，400nm～700nm为可见波长区域、700nm～1100nm为红外波长区域、400nm～1100nm为有敏度波长带域。
如图3所示，Ye滤波器具有如下特性：透过除可见波长区域的蓝色区域之外的所述有敏度波长带域的光。因此，Ye滤波器主要透过黄光和红外光。
R滤波器具有如下特性：透过除可见波长区域的蓝色区域及绿色区域之外的有敏度波长带域的光。因此，R滤波器主要透过红光和红外光。
IR滤波器具有如下特性：透过除可见波长区域之外的有敏度波长带域、即红外波长带域的光。W表示不备滤波器的情况，像素的有敏度波长带域的光，全部被透过。
也可以代替Ye、R、IR，用Ye、M(品红)+IR、C(青)+IR(其中，M+IR只遮蔽绿色，C+IR只遮蔽红色)来实现类似上述的特性。但是，R像素、IR像素、Ye像素能够使分光透过特性陡峭，与例如M+IR滤波器、C+IR滤波器相比分光透过特性良好。也就是说，M+IR滤波器及C+IR滤波器分别具有在有敏度波长带域中只遮蔽为中央一部分区域的绿色区域和红色区域之特性，使这种滤波器持有像R滤波器、IR滤波器、Ye滤波器那样陡峭的分光透过特性是困难的。因此，即使M+IR滤波器及C+IR滤波器分别演算也不能精度良好地抽出RGB图像成分。所以，通过用R像素、IR像素、Ye像素、W像素构成摄像元件3，能够实现摄像元件3的高性能化。
图4是图像处理部4的详细结构方框示意图。图像处理部4备有色补间部41、色信号生成部42、色空间变换部43以及RGB色信号生成部44。
色补间部41实施用来对摄像元件3输出的图像成分Ye、图像成分R、图像成分IR以及图像成分W的每个补间缺落像素数据的补间处理，使图像成分R、图像成分IR、图像成分W以及图像成分Ye的每个成为由相同于摄像元件3像素数的像素数构成的图像数据。图像成分Ye、R、IR、W中出现缺落像素数据的原因在于R像素、IR像素、W像素及Ye像素的锯齿状配列。作为补间处理，可以采用例如线形补间处理。
色信号生成部42用下述式(1)合成由色补间部41实施补间处理后的图像成分Ye、图像成分R、图像成分IR、图像成分W，生成色信号dR、dG、dB(RGB色信号)。
dR＝R-IR
dG＝Ye-R    (1)
dB＝W-Ye
色空间变换部43如式(2)所示，将色信号dR、dG、dB变换到含有辉度信号Y(第2強度信号的一例)和色差信号Cb、Cr(色度信号的一例)的色空间，其中，色差信号Cb表示青与辉度信号Y的色差信号，色差信号Cr表示红与辉度信号Y的色差信号。
Y＝0.3dR+0.59dG+0.11dB
Cb＝-0.17dR-0.33dG+0.5dB    (2)
Cr＝0.5dR-0.42dG-0.08dB
另外，色空间变换部43还如式(3)所示，将加法运算图像成分Ye、R、IR、W而得到的辉度信号Yadd(第1強度信号的一例)，作为为变换对象的色空间的辉度信号进行算出。
Yadd＝(1/4)×(R+IR+W+Ye)    (3)
这里因为辉度信号Yadd是用加法运算处理算出的，所以，与用减法运算处理算出辉度信号Y时相比，能够降低噪声成分。
图5是噪声成分的分布示意曲线。图6(a)是减法运算处理的噪声成分示意表，图6(b)是加法运算处理的噪声成分示意表。图5中纵轴表示噪声成分的频度，横轴表示噪声成分的强度。
例如，噪声成分a是表示某图像成分A的噪声成分，噪声成分b是表示某图像成分B的噪声成分。噪声成分a、b以例如10、9为平均值，具有标准偏差为相同的正规分布。
简略化演算a-b则可得图6(a)的结果。简略化演算(1/2)×(a+b)则可得图6(b)的结果。
进行减法运算处理时如图6(a)所示。a-b的最大值为3。最小值为-1。所以噪声成分范围为4。而进行加法运算处理时如图6(b)所示，(a+b)/2的最大值为10.5，最小值为8.5，噪声成分范围为2，由该结果可知，进行加法运算处理比进行减法运算处理噪声成分范围减小，大幅度提高了S/N比。图5、图6仅为一例，并非表示实际的噪声成分值。
回到图4，色空间变换部43也可以平滑处理用式(2)求得的色差信号Cb、Cr。作为平滑处理这里可以采用级联滤波処理，它是用例如5×5等较小尺寸的低通滤波器反复处理，使色差信号Cb、Cr为多重分辨率的滤波处理。也可以采用使用了较大尺寸的所定尺寸低通滤波器的滤波处理。
也可以采用对于发光被摄体不模糊地使边缘以外领域平滑化的边缘保存滤波(像素间的信号程度差比某基准小时平滑化，比基准值大的部分不平滑化的滤波)处理。检测发光可以通过比较红外成分和可见光成分来推测。
这样，通过对色差信号Cb、Cr进行平滑处理，色差信号Cb、Cr中含有的噪声成分被模糊，能够提高色差信号Cb、Cr的S/N比。
另外，色空间变换部43还如式(4)所示，相应用式(3)求得的辉度信号Yadd与用式(2)求得的辉度信号Y的比例RT1(RT1＝Yadd/Y)，修正色差信号Cr、Cb，求得色差信号Crm、Cbm。
Cbm＝Cb×Yadd/Y    (4)
Crm＝Cr×Yadd/Y
通过如此用比例RT1修正色差信号Cr、Cb，能够平衡性良好地算出为变换对象的色空间中的色差信号和辉度信号。不进行该处理的话计算色信号dR’、dG’、dB’时，辉度信号Yadd大于辉度信号Y时将失去鲜明度，辉度信号Yadd小于辉度信号Y时鲜明度将过剩，有可能引起问题。
并且，色空间变换部43还如式(5)所示，用所定函数f(Y)修正用式(4)求得的色差信号Crm、Cbm，求得色差信号Crk、Cbk。
Cbk＝f(Y)×Cbm    (5)
Crk＝f(Y)×Crm
图7是相应辉度信号Y在0到1之间变化的所定函数f(Y)的例子示意曲线。图7(a)所示的函数f(Y)，从Ymin向Ymax，在Ymin附近接近0且上升率低，中间附近上升率高，在Ymax附近接近1且上升率降低。图7(b)所示的函数f  (Y)，从Ymin向Ymax，从Ymin到中央是线性上升，从中央到Ymax为一定(f(Y)＝1)。图7(c)所示的函数f(Y)，从Ymin到中央是f(Y)＝0，从中央到Ymax是f(Y)＝1。函数f(Y)并不局限于上述，也可以采用例如乘上斜线的。
例如原图像成分中可见光辉度信号较低、红外成分为支配性时，通过采用相应表示可见光强度的辉度信号变化的函数f(Y)修正加法运算辉度的色差信号Cbm、Crm，防止加法运算辉度的色差信号变得太高，能够进行接近本来可见光的异样感少的更自然的色再现。
RGB色信号生成部44通过逆变换式(2)，从辉度信号Y a
dd和色差信号Crk、Cbk算出色信号dR’、dG’、dB’。具体则是使式(2)的Y为Yadd、Cb为Cbk、Cr为Crk，dR、dG、dB为dR’、dG’、dB’，逆变换式(2)即可。因为色信号dR’、dG’、dB’是经上述处理算出的，所以，与用减法运算处理图像成分Ye、R、IR、W算出的色信号dR、dG、dB相比，是精度远远高的色信号。
接下去说明图像输入装置1的动作。图8是实施方式1图像输入装置1的动作流程示意。首先，控制部5使摄像元件3拍摄1帧原图像数据。由此得到图像成分Ye、R、IR、W。
这里，摄像元件3用Ye像素输出图像成分Ye、用R像素输出图像成分R、用IR像素输出图像成分IR、用W像素数输出图像成分W。图像输入装置1拍摄动图像时，控制部5可以使摄像元件3用30fps、60fps等帧率拍摄原图像数据。图像输入装置1拍摄静止图像时，控制部5可以使摄像元件3在用户按下释放按钮时拍摄原图像数据。
接下去由色补间部41对图像成分Ye、R、IR、W实施色补间处理。然后，色信号生成部42进行式(1)所示的dR＝R-IR、dG＝Ye-R、dB＝W-Ye演算，算出色信号dR、dG、dB(步骤S1).
然后色空间变换部43进行式(2)所示的Y＝0.3dR+0.59dG+0.11dB、Cb＝-0.17dR-0.33dG+0.5dB、Cr＝0.5dR-0.42dG-0.08dB演算，算出辉度信号Y、色差信号Cr、Cb(步骤S 2)。
色空间变换部43也可以对色差信号Cr，Cb进行平滑处理。
接下去色空间变换部43进行式(3)所示的Yadd＝(1/4)×(R+IR+W+Ye)演算，算出辉度信号Yadd(步骤S3)。
本实施方式中，如式(3)所示，是通过加法运算R、IR、W、Ye算出辉度信号Yadd的，但并不局限于此，也可以如例如式(3’)所示，通过加权加法运算算出辉度信号Yadd。
Yadd＝α·R+β·IR+γ·W+σ·Ye    (3’)
其中，α、β、γ、σ是加权系数，α+β+γ+σ＝1。α、β、γ、σ可以采用预先定出的值。
然后色空间变换部43进行式(4)所示的演算，算出色差信号Crm、Cbm(步骤S 4)。
接下去色空间变换部43进行式(5)所示的演算，用函数f(Y)修正色差信号Crm、Cbm，算出色差信号Crk、Cbk(步骤S5)。色空间变换部43也可以对色差信号Crk、Cbk进行平滑处理。
接下去，RGB色信号生成部44逆变换式(2)，由此从辉度信号Yadd、色差信号Crk、Cbk算出色信号dR’、dG’、dB’(步骤S6)。以上，图像处理结束。
根据上述图像输入装置1，因为用式(3)算出辉度信号Yad，所以，即使是夜间也能够算出S/N比高的辉度信号Yadd。另外，对色差信号Cr、Cb进行平滑处理的话，即使是夜间也能够算出S/N比高的色差信号Cr、Cb。
接下去说明本实施方式的变形例。图11是变形例图像输入装置1的动作流程示意。图12是根据入射光标绘的辉度信号Y和红外光量IR图，f(Y，IR)是表示其相关关系的近似曲线。图11流程中，步骤S1～S4与实施方式1相同，省略说明。
红外光投光到暗的被摄体等可见光成分少红外成分多的领域时，上述式(4)中Cbm＞＞Cb、Crm＞＞Cr，Cb、Cr中所含的噪声被放大而变得明显，存在问题。对此，图11的步骤S5’中，用所定函数f(Y，IR)修正由上述式(4)求得的色差信号Crm、Cbm，求色差信号Crk，Cbk。也就是说，相应入射的被摄体像中所含的可见光及非可见光的强度，修正已被修正的所述色度信号。
Cbk＝f(Y，IR)×Cbm    (5’)
Crk＝f(Y，IR)×Crm
图12标绘了噪声比实际图像放大而变得明显之领域的辉度信号Y(可见光的强度一例)和红外光量IR(非可见光的强度一例)。辉度信号Y与红外光量IR存在相关。用所定函数f(Y，IR)表示该相关。f(Y，IR)的输出如果使相关高的领域(近似系数附近)的值小、其他为1.0之图表的话，则能够仅去掉噪声明显领域的颜色，所以仅噪声变得不明显，其他颜色不减弱。
并且，RGB色信号生成部44逆变换式(2)，由此，从辉度信号Yadd、色差信号Crk、Cbk算出色信号dR’、dG’、dB’(步骤S6’)。由此图像处理结束。
[实施方式2]
以下对实施方式2的图像输入装置作说明。图9是实施方式2的图像输入装置1的动作流程示意。
图9的流程中，步骤S1～S4与实施方式1相同，省略说明。接着步骤S4在步骤S05中，比较辉度信号Y与阈值。辉度信号Y不到阈值则判断为是红外领域(红外光为支配性)，在步骤S06中不进行式(4)的变换，直接从Yadd、Cb、Cr计算色信号dR’、dG’、dB’。这样能够缩短处理时间。而辉度信号Y在阈值以上则判断为不是红外领域，在步骤S07从Yadd、Cbm、Crm计算色信号dR’、dG’、dB’。
接下去说明本实施方式的变形例。在红外领域修正色差信号时，比较红外光的强度和可见光的强度，在红外光强度高时修正色差信号Cbm、Crm。红外领域的色差信号Cbk、Crk用式(6)计算。也就是说，色空间变换部43根据原图像成分，比较入射的被摄体像中所含的红外光的强度(例如图像成分IR)和可见光的强度(例如辉度信号Y)，在红外光的强度强于可见光的强度且可见光的强度小于阈值时，修正色差信号。
另外，也可以构成在可见光的强度小于阈值时修正色差信号，可见光的强度在阈值以上时不修正色差信号。与可见光相比红外成分为支配性时，通过修正色差信号，能够防止色度信号变得太高，进行接近本来可见光的异样感少的更自然的色再现，另外，对红外成分低的领域不实施修正处理，由此能够提高处理速度。
并且，也可以同时进行(6)式和(5)式的修正。
Cbk＝f(IRP)×Cbm    (6)
Crk＝f(IRP)×Crm
其中，IRP是红外成分比率，由(7)式计算。图10是相应红外成分IRP在0到1之间变化的函数f(IRP)的一例示意曲线。红外成分IRP低的话函数f(IRP)接近1、高的话接近0地变化。函数f(IRP)并不局限于图10的示例。
IRP＝IR/(W+Ye+R+IR)    (7)
产业上的利用可能性
本发明能够适用于车载照相机和监视照相机等，但用途并不局限于此。
符号说明
1  图像入力装置
2  透镜
3  撮像元件
4  图像処理部
5  控制部
41  色补间部
42  色信号生成部
43  色空间变换部
44  RGB色信号生成部

Claims (6)

1.一种图像输入装置，其特征在于，
具有：摄像元件，配列分光敏度不同的至少3种像素、将入射的被摄体像变换为至少包括3种原图像成分的原图像数据；色信号生成部，从所述原图像成分生成RGB色信号；色空间变换部，将所述RGB色信号变换到包括辉度信号和色度信号的色空间；
所述色空间变换部将通过加法运算所述原图像成分而得到的第1强度信号，作为所述色空间的辉度信号进行算出，
并且，将所述RGB色信号变换到所述色空间从而生成第2强度信号，相应所述第1强度信号相对所述第2强度信号的比例，修正所述色度信号，
另外，相应入射的被摄体像中所含的可见光的强度，修正已被修正的所述色度信号。
2.如权利要求1中记载的图像输入装置，其特征在于，所述色空间变换部在所述可见光的强度小于阈值时修正所述色度信号，在所述可见光的强度在阈值以上时不修正所述色度信号。
3.如权利要求1中记载的图像输入装置，其特征在于，所述色空间变换部根据所述原图像成分，比较入射的被摄体像中所含的红外光的强度和可见光的强度，在所述红外光的强度比所述可见光的强度强时，修正所述色度信号。
4.如权利要求3中记载的图像输入装置，其特征在于，所述色空间变换部在所述可见光的强度小于阈值、且所述红外光的强度比所述可见光的强度强时，修正所述色度信号。
5.如权利要求1至4的任何一项中记载的图像输入装置，其特征在于，所述摄像元件的分光敏度不同的至少3种像素中的至少一个在红外区域持有敏度。
6.如权利要求1至5的任何一项中记载的图像输入装置，其特征在于，相应入射的被摄体像中所含的可见光及非可见光的强度，修正已被修正的所述色度信号。
CN2010800149410A 2009-04-07 2010-03-30 图像输入装置 Pending CN102379125A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2009092589 2009-04-07
JP2009-092589 2009-04-07
JP2010058999 2010-03-16
JP2010-058999 2010-03-16
PCT/JP2010/055674 WO2010116923A1 (ja) 2009-04-07 2010-03-30 画像入力装置

Publications (1)

Publication Number Publication Date
CN102379125A true CN102379125A (zh) 2012-03-14

Family

ID=42936208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010800149410A Pending CN102379125A (zh) 2009-04-07 2010-03-30 图像输入装置

Country Status (5)

Country Link
US (1) US8411176B2 (zh)
EP (1) EP2418856A4 (zh)
JP (1) JP5397788B2 (zh)
CN (1) CN102379125A (zh)
WO (1) WO2010116923A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929628A (zh) * 2013-01-10 2014-07-16 株式会社日立制作所 摄像装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010053029A1 (ja) * 2008-11-04 2010-05-14 コニカミノルタオプト株式会社 画像入力装置
JP5546166B2 (ja) * 2009-06-19 2014-07-09 キヤノン株式会社 撮像装置、信号処理方法、及びプログラム
JP5432075B2 (ja) * 2010-07-06 2014-03-05 パナソニック株式会社 撮像装置および色温度算出方法
CA2767023C (en) * 2011-02-09 2014-09-09 Research In Motion Limited Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light
JP5910043B2 (ja) * 2011-12-02 2016-04-27 富士通株式会社 撮像装置、画像処理プログラム、画像処理方法、および画像処理装置
WO2013111228A1 (ja) * 2012-01-24 2013-08-01 日本電気株式会社 マーカ検出装置及びマーカ検出方法
US9047665B2 (en) * 2013-08-21 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus
DE102014205986B4 (de) * 2014-03-31 2021-03-18 MTU Aero Engines AG Leitschaufelkranz und Strömungsmaschine
JP2016025439A (ja) * 2014-07-18 2016-02-08 ソニー株式会社 信号処理装置
JP6429176B2 (ja) * 2014-09-16 2018-11-28 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像処理方法および装置
US10510153B1 (en) * 2017-06-26 2019-12-17 Amazon Technologies, Inc. Camera-level image processing
US10580149B1 (en) * 2017-06-26 2020-03-03 Amazon Technologies, Inc. Camera-level image processing

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453189B2 (ja) * 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
JP4892909B2 (ja) * 2005-09-22 2012-03-07 ソニー株式会社 信号処理方法、信号処理回路およびこれを用いたカメラシステム
JP4466569B2 (ja) 2006-01-10 2010-05-26 株式会社豊田中央研究所 カラー画像再生装置
JP2007195122A (ja) 2006-01-23 2007-08-02 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置および画像処理方法
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
JP4312222B2 (ja) 2006-10-12 2009-08-12 三洋電機株式会社 撮像装置
KR100818987B1 (ko) * 2006-09-19 2008-04-04 삼성전자주식회사 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법
US8723958B2 (en) * 2008-04-30 2014-05-13 Konica Minolta Opto, Inc. Image pickup apparatus and image pickup element

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103929628A (zh) * 2013-01-10 2014-07-16 株式会社日立制作所 摄像装置
CN103929628B (zh) * 2013-01-10 2016-06-22 日立产业控制解决方案有限公司 摄像装置

Also Published As

Publication number Publication date
JP5397788B2 (ja) 2014-01-22
JPWO2010116923A1 (ja) 2012-10-18
EP2418856A1 (en) 2012-02-15
US20120026357A1 (en) 2012-02-02
US8411176B2 (en) 2013-04-02
WO2010116923A1 (ja) 2010-10-14
EP2418856A4 (en) 2014-02-26

Similar Documents

Publication Publication Date Title
CN102379125A (zh) 图像输入装置
CN102204258B (zh) 图像输入装置
CN103430551B (zh) 使用具有纵色像差的透镜单元的成像系统及其操作方法
CN105049680B (zh) 进行图像恢复处理的图像处理设备和图像处理方法
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
CN1937781B (zh) 图像处理设备和图像处理方法
CN102484722B (zh) 图像捕获装置
CN104023218A (zh) 摄像装置以及图像信号处理装置
CN106162132A (zh) 图像处理设备及其控制方法
CN102194218B (zh) 降低图像色彩噪声的方法和装置
JP5259381B2 (ja) 撮像装置および撮像方法
CN107534727A (zh) 图像处理装置、摄像装置、图像处理方法及图像处理程序
CN102045490A (zh) 图像处理装置以及图像处理方法
JP2017118284A (ja) 撮像装置
US10395347B2 (en) Image processing device, imaging device, image processing method, and image processing program
CN106134181B (zh) 摄影装置
CN106973194A (zh) 拍摄装置、图像处理装置、图像处理方法
JP5330291B2 (ja) 信号処理装置及び撮像装置
CN101526669A (zh) 一种可用于染色体和病理玻片的显微镜拍摄成像装置及其成像方法
JP2014068186A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120314