JP2007300253A - 撮像装置およびその光源推定装置 - Google Patents
撮像装置およびその光源推定装置 Download PDFInfo
- Publication number
- JP2007300253A JP2007300253A JP2006124720A JP2006124720A JP2007300253A JP 2007300253 A JP2007300253 A JP 2007300253A JP 2006124720 A JP2006124720 A JP 2006124720A JP 2006124720 A JP2006124720 A JP 2006124720A JP 2007300253 A JP2007300253 A JP 2007300253A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- pixel data
- distribution
- types
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Of Color Television Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】撮像素子110によって撮像された入力画像の画素データは、A/D変換回路120を介してデモザイクブロック130によりRGB信号138およびRGBE信号139として出力される。光源推定回路200はRGBE信号139を線形判別法の一次元の軸に射影することによって光源を推定する。画像処理パラメータ設定部300は推定された光源に従って、ルックアップテーブルからホワイトバランスゲインおよび色補正行列を読み出して供給する。これにより、ホワイトバランス回路140はホワイトバランス処理を行い、色再現処理回路150は色再現処理を行う。
【選択図】図1
Description
ρi(x)=∫E(λ)・S(λ)・Ri(λ)dλ
(i=R,G,B,E) (式1)
なお、この積分は、可視領域として通常400乃至700nm程度の区間の波長について行うことになる。
ρR(j)_underL1=∫E1(λ)・Sj(λ)・RR(λ)dλ
ρG(j)_underL1=∫E1(λ)・Sj(λ)・RG(λ)dλ
ρB(j)_underL1=∫E1(λ)・Sj(λ)・RB(λ)dλ
ρE(j)_underL1=∫E1(λ)・Sj(λ)・RE(λ)dλ
(j=1〜m) (式2)
ρR(j)_underL2=∫E2(λ)・Sj(λ)・RR(λ)dλ
ρG(j)_underL2=∫E2(λ)・Sj(λ)・RG(λ)dλ
ρB(j)_underL2=∫E2(λ)・Sj(λ)・RB(λ)dλ
ρE(j)_underL2=∫E2(λ)・Sj(λ)・RE(λ)dλ
(j=1〜m) (式3)
ρR(j)_underL3=∫E3(λ)・Sj(λ)・RR(λ)dλ
ρG(j)_underL3=∫E3(λ)・Sj(λ)・RG(λ)dλ
ρB(j)_underL3=∫E3(λ)・Sj(λ)・RB(λ)dλ
ρE(j)_underL3=∫E3(λ)・Sj(λ)・RE(λ)dλ
(j=1〜m) (式4)
ρR(j)_underL4=∫E4(λ)・Sj(λ)・RR(λ)dλ
ρG(j)_underL4=∫E4(λ)・Sj(λ)・RG(λ)dλ
ρB(j)_underL4=∫E4(λ)・Sj(λ)・RB(λ)dλ
ρE(j)_underL4=∫E4(λ)・Sj(λ)・RE(λ)dλ
(j=1〜m) (式5)
ω=SW −1(m1−m2) (式6)
y(j)=ωtx(j) (式7)
y0=ωtx0 (式8)
P(D1|y0)>>P(D2|y0) (式9)
を満たすy0であれば、状態はD1であったと判定する。また、
P(D1|y0)<<P(D2|y0) (式10)
を満たすy0であれば、状態はD2であったと判定する。また、それ以外であれば、状態は判定不能であったとする。
P(a|b)×P(b)=P(b|a)×P(a)
P(y0|D1)P(D1)>>P(y0|D2)P(D2) (式11)
P(y0|D1)P(D1)<<P(y0|D2)P(D2) (式12)
20 物体
30 撮像素子
100 撮像装置
110 撮像素子
120 A/D変換回路
130 デモザイクブロック
140 ホワイトバランス回路
150 色再現処理回路
160 信号変換処理回路
170 ガンマ補正回路
181 表示部
182 データ保持部
190 ユーザインターフェース
200 光源推定回路
210 有効画素選択回路
220 光源推定パラメータ保持部
230 内積演算回路
240 判定回路
250 光源限定部
260 多数決回路
270 前回結果保持部
300 画像処理パラメータ設定部
Claims (19)
- 入力画像の撮像の際の光源の種類を推定する光源推定装置において、
第1または第2の光源の下で撮像された画素データについて所定の空間における前記第1または第2の光源下で撮影された画素データの分布を保持する分布保持手段と、
前記入力画像の画素データについて前記空間における座標を決定する座標決定手段と、
前記座標が前記第1または第2の光源下で撮影された画素データの何れの分布に属するかを判定する分布判定手段と
を具備することを特徴とする光源推定装置。 - 前記空間は1次元空間であり、
前記分布は画素データを前記1次元空間に射影することによって得られる分布であることを特徴とする請求項1記載の撮像装置。 - 前記入力画像の複数の画素データについて前記座標が前記第1または第2の光源下で撮影された画素データの何れの分布に属するかの判定結果から多数決により光源を推定する多数決手段をさらに具備することを特徴とする請求項1記載の光源推定装置。
- 前記第1の光源としてLEDを含むことを特徴とする請求項1記載の光源推定装置。
- 前記第1の光源は複数種類の光源の何れか1種類であり、
前記第2の光源は前記複数種類の光源のうち前記第1の光源に該当しない何れか1種類である
ことを特徴とする請求項1記載の光源推定装置。 - 複数種類の光源としてLEDを含むことを特徴とする請求項5記載の光源推定装置。
- 前記第1の光源は太陽光、蛍光灯、白熱灯またはLEDの4種類の光源の何れか1種類であり、
前記第2の光源は前記4種類の光源のうち前記第1の光源に該当しない何れか1種類である
ことを特徴とする請求項5記載の光源推定装置。 - 前記第1の光源は複数種類の光源の何れか1種類であり、
前記第2の光源は前記複数種類の光源のうち前記第1の光源に該当しない他の複数種類である
ことを特徴とする請求項1記載の光源推定装置。 - 複数種類の光源としてLEDを含むことを特徴とする請求項8記載の光源推定装置。
- 前記第1の光源は太陽光、蛍光灯、白熱灯またはLEDの4種類の光源の何れか1種類であり、
前記第2の光源は前記複数種類の光源のうち前記第1の光源に該当しない他の3種類である
ことを特徴とする請求項8記載の光源推定装置。 - 入力画像を撮像する撮像手段と、
第1または第2の光源の下で撮像された画素データについて所定の空間における前記第1または第2の光源下で撮影された画素データの分布を保持する分布保持手段と、
前記入力画像の画素データについて前記空間における座標を決定する座標決定手段と、
前記座標が前記第1または第2の光源下で撮影された画素データの何れの分布に属するかを判定する分布判定手段と、
前記判定の結果に応じて前記入力画像のホワイトバランス処理を行うホワイトバランス処理手段と、
前記判定の結果に応じて前記ホワイトバランス処理の出力に対して色再現処理を行う色再現処理手段と
を具備することを特徴とする撮像装置。 - 前記第1の光源を特定の種類の光源に限定して前記分布判定手段に前記判定を行わせる光源限定手段をさらに具備することを特徴とする請求項11記載の撮像装置。
- 前記入力画像の撮像の際にストロボ発光が行われたか否かを検出するストロボ発光検出手段をさらに具備し、
前記光源限定手段は、前記ストロボ発光の検出結果に応じて前記分布判定手段に前記判定を行わせることを特徴とする請求項12記載の撮像装置。 - 前記第1の光源は複数種類の光源の何れか1種類であり、
前記第2の光源は前記複数種類の光源のうち前記第1の光源に該当しない他の種類である
ことを特徴とする請求項11記載の撮像装置。 - 前記複数種類の光源のうち特定の種類の光源に限定して前記分布判定手段に前記判定を行わせる光源限定手段をさらに具備することを特徴とする請求項14記載の撮像装置。
- 前記光源限定手段は、前記複数種類の光源のうち蛍光灯およびLEDに限定して前記分布判定手段に前記判定を行わせることを特徴とする請求項15記載の撮像装置。
- 前記ホワイトバランス処理手段は、前記判定の結果として光源がLEDである旨判定された場合には太陽光のホワイトバランスゲインを利用する
ことを特徴とする請求項11記載の撮像装置。 - 第1または第2の光源の下で撮像された画素データについて所定の空間における前記第1または第2の光源下で撮影された画素データの分布を保持する分布保持手段を備えて入力画像の撮像の際の光源の種類を推定する光源推定装置において、
前記入力画像の画素データについて前記空間における座標を決定する手順と、
前記座標が前記第1または第2の光源下で撮影された画素データの何れの分布に属するかを判定する手順と
を具備することを特徴とする光源推定方法。 - 第1または第2の光源の下で撮像された画素データについて所定の空間における前記第1または第2の光源下で撮影された画素データの分布を保持する分布保持手段を備えて入力画像の撮像の際の光源の種類を推定する光源推定装置において、
前記入力画像の画素データについて前記空間における座標を決定する手順と、
前記座標が前記第1または第2の光源下で撮影された画素データの何れの分布に属するかを判定する手順と
をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006124720A JP4967440B2 (ja) | 2006-04-03 | 2006-04-28 | 撮像装置およびその光源推定装置 |
KR1020070031528A KR20070099445A (ko) | 2006-04-03 | 2007-03-30 | 촬상장치 및 그 광원 추정 장치 |
US11/730,364 US8164647B2 (en) | 2006-04-03 | 2007-03-30 | Image pickup apparatus and its light source estimating apparatus |
EP07251466A EP1843603A3 (en) | 2006-04-03 | 2007-04-02 | Image pickup apparatus, light source estimating apparatus and method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006102267 | 2006-04-03 | ||
JP2006102267 | 2006-04-03 | ||
JP2006124720A JP4967440B2 (ja) | 2006-04-03 | 2006-04-28 | 撮像装置およびその光源推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007300253A true JP2007300253A (ja) | 2007-11-15 |
JP4967440B2 JP4967440B2 (ja) | 2012-07-04 |
Family
ID=38120325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006124720A Expired - Fee Related JP4967440B2 (ja) | 2006-04-03 | 2006-04-28 | 撮像装置およびその光源推定装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8164647B2 (ja) |
EP (1) | EP1843603A3 (ja) |
JP (1) | JP4967440B2 (ja) |
KR (1) | KR20070099445A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012049600A (ja) * | 2010-08-24 | 2012-03-08 | Seiko Epson Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2012119885A (ja) * | 2010-11-30 | 2012-06-21 | Fujifilm Corp | 光源判定装置および光源判定方法 |
JP2012529134A (ja) * | 2009-06-05 | 2012-11-15 | オスラム オプト セミコンダクターズ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 光学照射装置および光学記録装置 |
US8860840B2 (en) | 2011-11-16 | 2014-10-14 | Sony Corporation | Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus |
WO2022085406A1 (ja) * | 2020-10-19 | 2022-04-28 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子、及び電子機器 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8253824B2 (en) * | 2007-10-12 | 2012-08-28 | Microsoft Corporation | Multi-spectral imaging |
US8229215B2 (en) | 2007-12-03 | 2012-07-24 | Omnivision Technologies, Inc. | Image sensor apparatus and method for scene illuminant estimation |
KR101536191B1 (ko) | 2008-12-16 | 2015-07-13 | 삼성전자주식회사 | 컬러 재현 장치 및 컬러 재현 방법 |
KR101030393B1 (ko) * | 2009-02-20 | 2011-04-20 | 인하대학교 산학협력단 | 디지털 영상의 화이트 밸런스 조정 장치 및 방법 |
US8503771B2 (en) | 2010-12-20 | 2013-08-06 | Samsung Techwin Co., Ltd. | Method and apparatus for estimating light source |
US8854709B1 (en) * | 2013-05-08 | 2014-10-07 | Omnivision Technologies, Inc. | Automatic white balance based on dynamic mapping |
JP6063093B2 (ja) * | 2014-03-31 | 2017-01-18 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
US10863158B2 (en) * | 2016-05-17 | 2020-12-08 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
JP2020036162A (ja) * | 2018-08-29 | 2020-03-05 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11283025A (ja) * | 1998-03-31 | 1999-10-15 | Nec Corp | 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体 |
JP2000224608A (ja) * | 1999-02-02 | 2000-08-11 | Fuji Photo Film Co Ltd | オートホワイトバランス制御方法 |
JP2004165932A (ja) * | 2002-11-12 | 2004-06-10 | Sony Corp | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
JP2005190473A (ja) * | 2003-12-05 | 2005-07-14 | Sharp Corp | 光源モデル推定のためのシステムおよび方法 |
WO2007007786A1 (ja) * | 2005-07-13 | 2007-01-18 | Nec Corporation | 色補正方法および色補正装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3057254B2 (ja) | 1989-06-14 | 2000-06-26 | ソニー株式会社 | オートホワイトバランス回路 |
JP3478452B2 (ja) * | 1996-03-27 | 2003-12-15 | ソニー株式会社 | 逆光検出方法、逆光検出装置及び撮像カメラ |
US7206072B2 (en) * | 2002-10-04 | 2007-04-17 | Fujifilm Corporation | Light source type discriminating method, image forming method, method and apparatus for estimating light source energy distribution, and exposure amount determining method |
US7532239B2 (en) * | 2002-10-11 | 2009-05-12 | Seiko Epson Corporation | Automatic adjustment of image quality according to type of light source |
JP2004173010A (ja) * | 2002-11-20 | 2004-06-17 | Konica Minolta Holdings Inc | 撮像装置、画像処理装置、画像記録装置、画像処理方法、プログラム及び記録媒体 |
US20050212956A1 (en) * | 2004-03-26 | 2005-09-29 | Ming-Kai Liao | Main illuminant judging method in multi-light environment |
US7772016B2 (en) * | 2007-04-04 | 2010-08-10 | International Business Machines Corporation | Method for composition control of a metal compound film |
-
2006
- 2006-04-28 JP JP2006124720A patent/JP4967440B2/ja not_active Expired - Fee Related
-
2007
- 2007-03-30 US US11/730,364 patent/US8164647B2/en not_active Expired - Fee Related
- 2007-03-30 KR KR1020070031528A patent/KR20070099445A/ko not_active Application Discontinuation
- 2007-04-02 EP EP07251466A patent/EP1843603A3/en not_active Withdrawn
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11283025A (ja) * | 1998-03-31 | 1999-10-15 | Nec Corp | 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体 |
JP2000224608A (ja) * | 1999-02-02 | 2000-08-11 | Fuji Photo Film Co Ltd | オートホワイトバランス制御方法 |
JP2004165932A (ja) * | 2002-11-12 | 2004-06-10 | Sony Corp | 光源推定装置、光源推定方法、撮像装置および画像処理方法 |
JP2005190473A (ja) * | 2003-12-05 | 2005-07-14 | Sharp Corp | 光源モデル推定のためのシステムおよび方法 |
WO2007007786A1 (ja) * | 2005-07-13 | 2007-01-18 | Nec Corporation | 色補正方法および色補正装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012529134A (ja) * | 2009-06-05 | 2012-11-15 | オスラム オプト セミコンダクターズ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 光学照射装置および光学記録装置 |
JP2012049600A (ja) * | 2010-08-24 | 2012-03-08 | Seiko Epson Corp | 画像処理装置、画像処理方法及び撮像装置 |
JP2012119885A (ja) * | 2010-11-30 | 2012-06-21 | Fujifilm Corp | 光源判定装置および光源判定方法 |
US8860840B2 (en) | 2011-11-16 | 2014-10-14 | Sony Corporation | Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus |
WO2022085406A1 (ja) * | 2020-10-19 | 2022-04-28 | ソニーセミコンダクタソリューションズ株式会社 | 撮像素子、及び電子機器 |
Also Published As
Publication number | Publication date |
---|---|
US8164647B2 (en) | 2012-04-24 |
US20070236715A1 (en) | 2007-10-11 |
EP1843603A3 (en) | 2009-02-25 |
JP4967440B2 (ja) | 2012-07-04 |
KR20070099445A (ko) | 2007-10-09 |
EP1843603A2 (en) | 2007-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4967440B2 (ja) | 撮像装置およびその光源推定装置 | |
KR100278642B1 (ko) | 칼라 영상 처리장치 및 방법 | |
US8451371B2 (en) | Exposure control for an imaging system | |
JP4266461B2 (ja) | カラー照明色温度の検出方法及び該装置 | |
US20100080458A1 (en) | Image processing apparatus, image processing method, and computer program | |
WO2004045219A1 (ja) | 光源推定装置、光源推定方法、撮像装置および画像処理方法 | |
JP6553624B2 (ja) | 計測機器、及びシステム | |
US8629919B2 (en) | Image capture with identification of illuminant | |
JP2003143612A (ja) | デジタル撮像システム | |
CN100477743C (zh) | 摄像装置及其光源推断装置 | |
CN107465903B (zh) | 图像白平衡方法、装置和计算机可读存储介质 | |
JP2014122847A (ja) | 画像補正装置、画像補正プログラム、画像補正方法 | |
CN111988594B (zh) | 图像处理设备及其控制方法、摄像设备、监视系统和介质 | |
JP5740147B2 (ja) | 光源推定装置及び光源推定方法 | |
JP5464982B2 (ja) | 撮像装置および画像処理方法 | |
WO2020027210A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
CN109729259B (zh) | 图像处理装置、其方法、其系统以及计算机可读介质 | |
JP4967445B2 (ja) | 撮像装置およびその光源推定装置 | |
JP2012199804A (ja) | 画像処理装置および画像処理方法 | |
JP7309415B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009182845A (ja) | 画像処理装置および画像処理方法 | |
JP5120936B2 (ja) | 画像処理装置および画像処理方法 | |
JP2008085975A (ja) | 撮像素子特性評価方法および撮像素子特性評価装置 | |
JP6011146B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
WO2009096232A1 (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090415 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120306 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120319 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150413 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |