JP2002185976A - 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 - Google Patents
映像信号処理装置および映像信号処理プログラムを記録した記録媒体Info
- Publication number
- JP2002185976A JP2002185976A JP2000374840A JP2000374840A JP2002185976A JP 2002185976 A JP2002185976 A JP 2002185976A JP 2000374840 A JP2000374840 A JP 2000374840A JP 2000374840 A JP2000374840 A JP 2000374840A JP 2002185976 A JP2002185976 A JP 2002185976A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- color
- signal processing
- area
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 34
- 239000003086 colorant Substances 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005375 photometry Methods 0.000 claims description 3
- UQMRAFJOBWOFNS-UHFFFAOYSA-N butyl 2-(2,4-dichlorophenoxy)acetate Chemical compound CCCCOC(=O)COC1=CC=C(Cl)C=C1Cl UQMRAFJOBWOFNS-UHFFFAOYSA-N 0.000 claims 1
- 230000000295 complement effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 244000181025 Rosa gallica Species 0.000 description 2
- 235000000533 Rosa gallica Nutrition 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
Landscapes
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Abstract
(57)【要約】
【課題】 有彩色の被写体が撮影画面の広い範囲を占め
る場合でも良好なホワイトバランスを得る。 【解決手段】 カラー撮像素子の受光面を複数の領域に
分割し、各領域の色ごとの画素出力平均値を演算すると
ともに、各領域ごとに基準となる色の画素出力平均値に
対する他の色の画素出力平均値の比を演算し、複数の領
域の中から画素出力平均値の比が所定範囲内に収まって
いる領域を抽出し、抽出した領域の各色の画素出力に基
づいてホワイトバランス調整を行う。
る場合でも良好なホワイトバランスを得る。 【解決手段】 カラー撮像素子の受光面を複数の領域に
分割し、各領域の色ごとの画素出力平均値を演算すると
ともに、各領域ごとに基準となる色の画素出力平均値に
対する他の色の画素出力平均値の比を演算し、複数の領
域の中から画素出力平均値の比が所定範囲内に収まって
いる領域を抽出し、抽出した領域の各色の画素出力に基
づいてホワイトバランス調整を行う。
Description
【０００１】
【発明の属する技術分野】本発明は、カラー撮像素子か
ら入力した映像信号を処理する装置およびその処理プロ
グラムを記録した記録媒体に関し、特に、ホワイトバラ
ンス性能を改良したものである。
ら入力した映像信号を処理する装置およびその処理プロ
グラムを記録した記録媒体に関し、特に、ホワイトバラ
ンス性能を改良したものである。
【０００２】
【従来の技術】カラー撮像素子で撮像した映像信号を処
理し、被写体の白色部分を正しく白色に再生するための
ホワイトバランス調整を行う電子スチルカメラやビデオ
カメラなどの映像信号処理装置が知られている（例え
ば、特許第２９９７２３４号公報参照）。
理し、被写体の白色部分を正しく白色に再生するための
ホワイトバランス調整を行う電子スチルカメラやビデオ
カメラなどの映像信号処理装置が知られている（例え
ば、特許第２９９７２３４号公報参照）。
【０００３】図８は従来の映像信号処理回路の制御ブロ
ック図であり、この図により従来のホワイトバランス調
整について簡単に説明する。このカメラはＴＴＬ方式の
撮像装置と映像信号処理装置を備えている。撮影レンズ
５１によりカラー撮像素子５２上に結像された被写体像
は、カラー撮像素子５２により映像電気信号に変換され
る。輝度信号処理部５３では映像信号から輝度信号Ｙが
生成され、クロマ信号処理部５４では映像信号から輝度
信号の低周波数成分ＹLと赤信号Ｒおよび青信号Ｂが生
成される。ここで、輝度信号Ｙは、
ック図であり、この図により従来のホワイトバランス調
整について簡単に説明する。このカメラはＴＴＬ方式の
撮像装置と映像信号処理装置を備えている。撮影レンズ
５１によりカラー撮像素子５２上に結像された被写体像
は、カラー撮像素子５２により映像電気信号に変換され
る。輝度信号処理部５３では映像信号から輝度信号Ｙが
生成され、クロマ信号処理部５４では映像信号から輝度
信号の低周波数成分ＹLと赤信号Ｒおよび青信号Ｂが生
成される。ここで、輝度信号Ｙは、
【数１】Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ の比率で赤Ｒ、緑Ｇ、青Ｂを混合した信号である。
【０００４】赤信号ＲはＲ利得制御部５５で赤信号のホ
ワイトバランスゲインＲgainが乗じられ、赤信号Ｒ’が
生成される。一方、青信号ＢはＢ利得制御部５６で青信
号のホワイトバランスゲインＢgainが乗じられ、青信号
Ｂ’が生成される。次に、マトリクスアンプ５７では赤
信号Ｒ’と輝度信号の低周波数成分ＹLに基づいて色差
信号Ｒ−Ｙが生成され、またマトリクスアンプ５８では
青信号Ｂ’と輝度信号の低周波数成分ＹLに基づいて色
差信号Ｂ−Ｙが生成される。ここで、
ワイトバランスゲインＲgainが乗じられ、赤信号Ｒ’が
生成される。一方、青信号ＢはＢ利得制御部５６で青信
号のホワイトバランスゲインＢgainが乗じられ、青信号
Ｂ’が生成される。次に、マトリクスアンプ５７では赤
信号Ｒ’と輝度信号の低周波数成分ＹLに基づいて色差
信号Ｒ−Ｙが生成され、またマトリクスアンプ５８では
青信号Ｂ’と輝度信号の低周波数成分ＹLに基づいて色
差信号Ｂ−Ｙが生成される。ここで、
【数２】 Ｒ−Ｙ＝０．７０Ｒ−０．５９Ｇ−０．１１Ｂ， Ｂ−Ｙ＝０．８９Ｂ−０．５９Ｇ−０．３０Ｒ これらの色差信号Ｒ−Ｙ、Ｂ−Ｙは圧縮処理部５９へ送
られ、ＪＰＥＧなどに圧縮されて記録媒体に記録され
る。
られ、ＪＰＥＧなどに圧縮されて記録媒体に記録され
る。
【０００５】一方、平均化部６０、６１はそれぞれ色差
信号Ｒ−Ｙ、Ｂ−Ｙの１画面分の平均値を求め、制御電
圧導出部６２はそれらの平均信号レベルが０レベル、す
なわちＲ＝Ｂ＝Ｇとなるようなホワイトバランスゲイン
Ｒgain、Ｂgainを導出する。上述したように、これらの
ホワイトバランスゲインＲgain、Ｂgainはそれぞれ赤信
号Ｒと青信号Ｂに乗ぜられ、ホワイトバランス調整が行
われる。
信号Ｒ−Ｙ、Ｂ−Ｙの１画面分の平均値を求め、制御電
圧導出部６２はそれらの平均信号レベルが０レベル、す
なわちＲ＝Ｂ＝Ｇとなるようなホワイトバランスゲイン
Ｒgain、Ｂgainを導出する。上述したように、これらの
ホワイトバランスゲインＲgain、Ｂgainはそれぞれ赤信
号Ｒと青信号Ｂに乗ぜられ、ホワイトバランス調整が行
われる。
【０００６】
【発明が解決しようとする課題】しかしながら、従来の
映像信号処理装置では、有彩色の被写体が撮影画面の広
い範囲を占めるシーンを撮影する場合に、その被写体の
色に強い影響を受けて正しくホワイトバランス調整が行
われないという問題がある。
映像信号処理装置では、有彩色の被写体が撮影画面の広
い範囲を占めるシーンを撮影する場合に、その被写体の
色に強い影響を受けて正しくホワイトバランス調整が行
われないという問題がある。
【０００７】本発明の目的は、有彩色の被写体が撮影画
面の広い範囲を占める場合でも良好なホワイトバランス
を得ることにある。
面の広い範囲を占める場合でも良好なホワイトバランス
を得ることにある。
【０００８】
【課題を解決するための手段】一実施の形態の画像処理
プログラムを示す図５および図６に対応づけて本発明を
説明すると、 （１） 請求項１の発明は、撮影レンズにより結像され
た被写体像を電気信号に変換するカラー撮像素子を備
え、前記カラー撮像素子から入力した各色の画素出力に
処理を施してホワイトバランス調整を行う映像信号処理
装置に適用される。そして、前記カラー撮像素子の受光
面を複数の領域に分割する領域分割手段（Ｓ５）と、各
領域の色ごとの画素出力平均値を演算する平均値演算手
段（Ｓ６）と、各領域ごとに基準となる色の画素出力平
均値に対する他の色の画素出力平均値の比を演算する平
均値比演算手段（Ｓ７）と、前記複数の領域の中から前
記画素出力平均値の比が所定範囲内に収まっている領域
を抽出する領域抽出手段（Ｓ８，Ｓ９）とを備え、前記
抽出された領域の各色の画素出力に基づいてホワイトバ
ランス調整を行う（Ｓ１０、Ｓ１１、Ｓ１３）。 （２） 請求項２の映像信号処理装置は、前記抽出され
た領域の色ごとの画素出力平均値の総和を演算する総和
演算手段（Ｓ１０）と、前記各色の総和に基づいて基準
色以外の色に対するホワイトバランスゲインを演算する
ゲイン演算手段（Ｓ１１）と、基準色以外の色の画素出
力に前記ホワイトバランスゲインを乗ずる画素出力調整
手段（Ｓ１３）とを備え、ホワイトバランス調整を行
う。 （３） 請求項３の発明は、撮影レンズにより結像され
た被写体像を電気信号に変換するカラー撮像素子から映
像信号を入力し、その映像信号に含まれる各色の画素出
力に処理を施してホワイトバランス調整を行う映像信号
処理プログラムを記録したコンピューター読み取り可能
な記録媒体に適用され、前記カラー撮像素子の受光面を
複数の領域に分割する領域分割処理（Ｓ５）と、各領域
の色ごとの画素出力平均値を演算する平均値演算処理
（Ｓ６）と、各領域ごとに基準となる色の画素出力平均
値に対する他の色の画素出力平均値の比を演算する平均
値比演算処理（Ｓ７）と、前記複数の領域の中から前記
画素出力平均値の比が所定範囲内に収まっている領域を
抽出する領域抽出処理（Ｓ８，Ｓ９）とを行い、前記抽
出された領域の各色の画素出力に基づいてホワイトバラ
ンス調整を行う（Ｓ１０、Ｓ１１、Ｓ１３）。 （４） 請求項４の映像信号処理プログラムを記録した
コンピューター読み取り可能な記録媒体は、前記抽出さ
れた領域の色ごとの画素出力平均値の総和を演算する総
和演算処理（Ｓ１０）と、前記各色の総和に基づいて基
準色以外の色に対するホワイトバランスゲインを演算す
るゲイン演算処理（Ｓ１１）と、基準色以外の色の画素
出力に前記ホワイトバランスゲインを乗ずる画素出力調
整処理（Ｓ１３）とを行い、ホワイトバランス調整を行
う。 （５） 請求項５の映像信号処理装置または映像信号処
理プログラムを記録したコンピューター読み取り可能な
記録媒体は、前記カラー撮像素子が赤色成分、緑色成分
および青色成分の画素を有し、前記基準色は緑色であ
る。 （６） 請求項６の映像信号処理装置または映像信号処
理プログラムを記録したコンピューター読み取り可能な
記録媒体は、前記カラー撮像素子が緑色成分、黄色成
分、青緑色成分および紫色成分の画素を有し、前記基準
色は緑色である。 （７） 請求項７の映像信号処理装置または映像信号処
理プログラムを記録したコンピューター読み取り可能な
記録媒体は、前記撮像素子が撮像した被写体像を記録す
るための撮像素子である。 （８） 請求項８のの映像信号処理装置または映像信号
処理プログラムを記録したコンピューター読み取り可能
な記録媒体は、前記撮像素子が被写界を複数の測光領域
に分割して各測光領域ごとに被写体輝度を測定するため
の撮像素子である。 （９） 請求項９の発明は、撮影レンズにより結像され
た被写体像を電気信号に変換するカラー撮像素子を備
え、このカラー撮像素子から入力した各色の画素出力に
処理を施してホワイトバランス調整を行う映像信号処理
装置に適用される。そして、カラー撮像素子の受光面を
複数の領域に分割する領域分割手段と、各領域の画素出
力に基づいて各領域ごとの彩度を演算する彩度演算手段
と、複数の領域の中から彩度が所定範囲内に収まってい
る領域を抽出する領域抽出手段とを備え、抽出された領
域の各色の画素出力に基づいてホワイトバランス調整を
行う。 （１０） 請求項１０の発明は、撮影レンズにより結像
された被写体像を電気信号に変換するカラー撮像素子か
ら映像信号を入力し、その映像信号に含まれる各色の画
素出力に処理を施してホワイトバランス調整を行う映像
信号処理プログラムを記録したコンピューター読み取り
可能な記録媒体に適用される。そして、カラー撮像素子
の受光面を複数の領域に分割する領域分割処理と、各領
域の画素出力に基づいて各領域ごとの彩度を演算する彩
度演算処理と、複数の領域の中から彩度が所定範囲内に
収まっている領域を抽出する領域抽出処理とを行い、抽
出された領域の各色の画素出力に基づいてホワイトバラ
ンス調整を行う。
プログラムを示す図５および図６に対応づけて本発明を
説明すると、 （１） 請求項１の発明は、撮影レンズにより結像され
た被写体像を電気信号に変換するカラー撮像素子を備
え、前記カラー撮像素子から入力した各色の画素出力に
処理を施してホワイトバランス調整を行う映像信号処理
装置に適用される。そして、前記カラー撮像素子の受光
面を複数の領域に分割する領域分割手段（Ｓ５）と、各
領域の色ごとの画素出力平均値を演算する平均値演算手
段（Ｓ６）と、各領域ごとに基準となる色の画素出力平
均値に対する他の色の画素出力平均値の比を演算する平
均値比演算手段（Ｓ７）と、前記複数の領域の中から前
記画素出力平均値の比が所定範囲内に収まっている領域
を抽出する領域抽出手段（Ｓ８，Ｓ９）とを備え、前記
抽出された領域の各色の画素出力に基づいてホワイトバ
ランス調整を行う（Ｓ１０、Ｓ１１、Ｓ１３）。 （２） 請求項２の映像信号処理装置は、前記抽出され
た領域の色ごとの画素出力平均値の総和を演算する総和
演算手段（Ｓ１０）と、前記各色の総和に基づいて基準
色以外の色に対するホワイトバランスゲインを演算する
ゲイン演算手段（Ｓ１１）と、基準色以外の色の画素出
力に前記ホワイトバランスゲインを乗ずる画素出力調整
手段（Ｓ１３）とを備え、ホワイトバランス調整を行
う。 （３） 請求項３の発明は、撮影レンズにより結像され
た被写体像を電気信号に変換するカラー撮像素子から映
像信号を入力し、その映像信号に含まれる各色の画素出
力に処理を施してホワイトバランス調整を行う映像信号
処理プログラムを記録したコンピューター読み取り可能
な記録媒体に適用され、前記カラー撮像素子の受光面を
複数の領域に分割する領域分割処理（Ｓ５）と、各領域
の色ごとの画素出力平均値を演算する平均値演算処理
（Ｓ６）と、各領域ごとに基準となる色の画素出力平均
値に対する他の色の画素出力平均値の比を演算する平均
値比演算処理（Ｓ７）と、前記複数の領域の中から前記
画素出力平均値の比が所定範囲内に収まっている領域を
抽出する領域抽出処理（Ｓ８，Ｓ９）とを行い、前記抽
出された領域の各色の画素出力に基づいてホワイトバラ
ンス調整を行う（Ｓ１０、Ｓ１１、Ｓ１３）。 （４） 請求項４の映像信号処理プログラムを記録した
コンピューター読み取り可能な記録媒体は、前記抽出さ
れた領域の色ごとの画素出力平均値の総和を演算する総
和演算処理（Ｓ１０）と、前記各色の総和に基づいて基
準色以外の色に対するホワイトバランスゲインを演算す
るゲイン演算処理（Ｓ１１）と、基準色以外の色の画素
出力に前記ホワイトバランスゲインを乗ずる画素出力調
整処理（Ｓ１３）とを行い、ホワイトバランス調整を行
う。 （５） 請求項５の映像信号処理装置または映像信号処
理プログラムを記録したコンピューター読み取り可能な
記録媒体は、前記カラー撮像素子が赤色成分、緑色成分
および青色成分の画素を有し、前記基準色は緑色であ
る。 （６） 請求項６の映像信号処理装置または映像信号処
理プログラムを記録したコンピューター読み取り可能な
記録媒体は、前記カラー撮像素子が緑色成分、黄色成
分、青緑色成分および紫色成分の画素を有し、前記基準
色は緑色である。 （７） 請求項７の映像信号処理装置または映像信号処
理プログラムを記録したコンピューター読み取り可能な
記録媒体は、前記撮像素子が撮像した被写体像を記録す
るための撮像素子である。 （８） 請求項８のの映像信号処理装置または映像信号
処理プログラムを記録したコンピューター読み取り可能
な記録媒体は、前記撮像素子が被写界を複数の測光領域
に分割して各測光領域ごとに被写体輝度を測定するため
の撮像素子である。 （９） 請求項９の発明は、撮影レンズにより結像され
た被写体像を電気信号に変換するカラー撮像素子を備
え、このカラー撮像素子から入力した各色の画素出力に
処理を施してホワイトバランス調整を行う映像信号処理
装置に適用される。そして、カラー撮像素子の受光面を
複数の領域に分割する領域分割手段と、各領域の画素出
力に基づいて各領域ごとの彩度を演算する彩度演算手段
と、複数の領域の中から彩度が所定範囲内に収まってい
る領域を抽出する領域抽出手段とを備え、抽出された領
域の各色の画素出力に基づいてホワイトバランス調整を
行う。 （１０） 請求項１０の発明は、撮影レンズにより結像
された被写体像を電気信号に変換するカラー撮像素子か
ら映像信号を入力し、その映像信号に含まれる各色の画
素出力に処理を施してホワイトバランス調整を行う映像
信号処理プログラムを記録したコンピューター読み取り
可能な記録媒体に適用される。そして、カラー撮像素子
の受光面を複数の領域に分割する領域分割処理と、各領
域の画素出力に基づいて各領域ごとの彩度を演算する彩
度演算処理と、複数の領域の中から彩度が所定範囲内に
収まっている領域を抽出する領域抽出処理とを行い、抽
出された領域の各色の画素出力に基づいてホワイトバラ
ンス調整を行う。
【０００９】上述した課題を解決するための手段の項で
は、説明を分かりやすくするために一実施の形態の図を
用いたが、これにより本発明が一実施の形態に限定され
るものではない。
は、説明を分かりやすくするために一実施の形態の図を
用いたが、これにより本発明が一実施の形態に限定され
るものではない。
【００１０】
【発明の実施の形態】本発明をＴＴＬ一眼レフ電子スチ
ルカメラに適用した一実施の形態を説明する。なお、本
発明はＴＴＬ一眼レフ電子スチルカメラに限定されず、
ＣＣＤなどのカラー撮像素子により映像を撮像する透視
ファインダー式などのすべての電子スチルカメラ、ビデ
オカメラ、あるいはスキャナーなどにも適用することが
できる。
ルカメラに適用した一実施の形態を説明する。なお、本
発明はＴＴＬ一眼レフ電子スチルカメラに限定されず、
ＣＣＤなどのカラー撮像素子により映像を撮像する透視
ファインダー式などのすべての電子スチルカメラ、ビデ
オカメラ、あるいはスキャナーなどにも適用することが
できる。
【００１１】図１は一実施の形態のカメラの横断面を示
し、図２はカメラの構成を示す。このＴＴＬ一眼レフカ
メラは、カメラボディ１に交換レンズ鏡筒２が装着され
る。被写体からの光はレンズ鏡筒２へ入射し、鏡筒２内
の撮影レンズ３と絞り４の開口部を通過してカメラボデ
ィ１へ導かれる。
し、図２はカメラの構成を示す。このＴＴＬ一眼レフカ
メラは、カメラボディ１に交換レンズ鏡筒２が装着され
る。被写体からの光はレンズ鏡筒２へ入射し、鏡筒２内
の撮影レンズ３と絞り４の開口部を通過してカメラボデ
ィ１へ導かれる。
【００１２】カメラボディ１では、撮影時以外はメイン
ミラー５が破線で示す位置に置かれ、被写体光はメイン
ミラー５で反射されてファインダーマット６へ導かれ、
ファインダーマット６上に被写体像が結像される。その
被写体像はペンタプリズム７により接眼レンズ８へ導か
れ、接眼レンズ８を介して撮影者に視認される。
ミラー５が破線で示す位置に置かれ、被写体光はメイン
ミラー５で反射されてファインダーマット６へ導かれ、
ファインダーマット６上に被写体像が結像される。その
被写体像はペンタプリズム７により接眼レンズ８へ導か
れ、接眼レンズ８を介して撮影者に視認される。
【００１３】また、ファインダーマット６上に結像され
た被写体像は、ペンタプリズム７およびプリズム９によ
り結像レンズ１０へ導かれ、結像レンズ１０により測光
用撮像素子１１上に被写体像が再結像される。測光用撮
像素子１１はフォトダイオードやＣＣＤから構成され、
被写界を複数の測光領域に分割して各測光領域ごとに被
写体輝度を測定する。
た被写体像は、ペンタプリズム７およびプリズム９によ
り結像レンズ１０へ導かれ、結像レンズ１０により測光
用撮像素子１１上に被写体像が再結像される。測光用撮
像素子１１はフォトダイオードやＣＣＤから構成され、
被写界を複数の測光領域に分割して各測光領域ごとに被
写体輝度を測定する。
【００１４】一方、撮影時はメインミラー５が実線で示
す位置まで退避されるので、被写体光はサブミラー１２
を透過して開放されているシャッター１３を通り、撮影
用撮像素子１４へ導かれ、撮像素子１４上に被写体像が
結像される。なお、被写体光の一部はサブミラー１２で
反射され、カメラボディ１の底部に設置される焦点検出
装置（不図示）へ導かれ、撮影レンズ３の焦点調節状態
が検出される。
す位置まで退避されるので、被写体光はサブミラー１２
を透過して開放されているシャッター１３を通り、撮影
用撮像素子１４へ導かれ、撮像素子１４上に被写体像が
結像される。なお、被写体光の一部はサブミラー１２で
反射され、カメラボディ１の底部に設置される焦点検出
装置（不図示）へ導かれ、撮影レンズ３の焦点調節状態
が検出される。
【００１５】撮影用撮像素子（ＣＣＤ）１４は複数の画
素が平面上に配列されており、各画素上には図３に示す
ように赤Ｒ、緑Ｇ、青Ｂのカラーフィルターが配置され
ている。なお、図４に示すような緑Ｇ、黄色（イエロ
ー）Ｙe、青緑（シアン）Ｃy、紫（マゼンダ）Ｍaの補
色系のカラーフィルターを配置した撮像素子を用いるこ
ともできる。なお、このようなカラーフィルターを備え
た撮像素子をこの明細書ではカラー撮像素子と呼ぶ。
素が平面上に配列されており、各画素上には図３に示す
ように赤Ｒ、緑Ｇ、青Ｂのカラーフィルターが配置され
ている。なお、図４に示すような緑Ｇ、黄色（イエロ
ー）Ｙe、青緑（シアン）Ｃy、紫（マゼンダ）Ｍaの補
色系のカラーフィルターを配置した撮像素子を用いるこ
ともできる。なお、このようなカラーフィルターを備え
た撮像素子をこの明細書ではカラー撮像素子と呼ぶ。
【００１６】図２において、ＣＰＵ２１はカメラ全体の
動作を制御する。ＣＰＵ２１はタイミングジェネレータ
ー（ＴＧ）２２とドライバー２３を制御して上述した撮
影用のカラー撮像素子（ＣＣＤ）１４を駆動する。ま
た、ＣＰＵ２１はタイミングジェネレーター２２を制御
してアナログ信号処理回路２４、Ａ／Ｄ変換器２５、画
像処理回路（ＡＳＩＣ）２６、バッファーメモリ２７を
制御する。
動作を制御する。ＣＰＵ２１はタイミングジェネレータ
ー（ＴＧ）２２とドライバー２３を制御して上述した撮
影用のカラー撮像素子（ＣＣＤ）１４を駆動する。ま
た、ＣＰＵ２１はタイミングジェネレーター２２を制御
してアナログ信号処理回路２４、Ａ／Ｄ変換器２５、画
像処理回路（ＡＳＩＣ）２６、バッファーメモリ２７を
制御する。
【００１７】アナログ信号処理回路２４は、カラー撮像
素子１４から入力したアナログＲ、Ｇ、Ｂ信号に対して
ゲインコントロール、雑音除去などのアナログ処理を施
す。Ａ／Ｄ変換器２５はアナログＲ、Ｇ、Ｂ信号をデジ
タル信号に変換する。また、画像処理回路（ＡＳＩＣ）
２６は、デジタルＲ、Ｇ、Ｂ信号に対してホワイトバラ
ンス調整、γ補正、補間輪郭補償などの処理を施す。な
お、この画像処理回路２６の動作については後述する。
素子１４から入力したアナログＲ、Ｇ、Ｂ信号に対して
ゲインコントロール、雑音除去などのアナログ処理を施
す。Ａ／Ｄ変換器２５はアナログＲ、Ｇ、Ｂ信号をデジ
タル信号に変換する。また、画像処理回路（ＡＳＩＣ）
２６は、デジタルＲ、Ｇ、Ｂ信号に対してホワイトバラ
ンス調整、γ補正、補間輪郭補償などの処理を施す。な
お、この画像処理回路２６の動作については後述する。
【００１８】バッファーメモリ２７は、画像処理中もし
くは処理後の画像データを格納する。圧縮回路（ＪＰＥ
Ｇ）２８は、バッファーメモリ２７に格納されている画
像データをＪＰＥＧ方式で所定の比率に圧縮する。表示
画像生成回路２９は、バッファーメモリ２７に格納され
ている画像データから表示用画像データを生成し、モニ
ター３０に表示する。メモリカード３１はフラッシュメ
モリなどから構成され、圧縮後の画像データを記録す
る。また、ＣＰＵ２１にはシャッターレリーズ釦の半押
しスイッチ３２と全押し（レリーズ）スイッチ３３が接
続される。
くは処理後の画像データを格納する。圧縮回路（ＪＰＥ
Ｇ）２８は、バッファーメモリ２７に格納されている画
像データをＪＰＥＧ方式で所定の比率に圧縮する。表示
画像生成回路２９は、バッファーメモリ２７に格納され
ている画像データから表示用画像データを生成し、モニ
ター３０に表示する。メモリカード３１はフラッシュメ
モリなどから構成され、圧縮後の画像データを記録す
る。また、ＣＰＵ２１にはシャッターレリーズ釦の半押
しスイッチ３２と全押し（レリーズ）スイッチ３３が接
続される。
【００１９】ＣＰＵ２１は、シャッター１３がレリーズ
されて撮影が行われるたびに、カラー撮像素子１４の電
荷蓄積を行い、蓄積電荷を読み出してアナログ信号処理
回路２４とＡ／Ｄ変換器２５で信号処理とデジタル変換
した後、画像処理回路２６により処理を行う。そして、
モニター３０に撮像画像を表示し、圧縮回路２８で画像
を圧縮してメモリカード３１に記録する。
されて撮影が行われるたびに、カラー撮像素子１４の電
荷蓄積を行い、蓄積電荷を読み出してアナログ信号処理
回路２４とＡ／Ｄ変換器２５で信号処理とデジタル変換
した後、画像処理回路２６により処理を行う。そして、
モニター３０に撮像画像を表示し、圧縮回路２８で画像
を圧縮してメモリカード３１に記録する。
【００２０】画像処理回路（ＡＳＩＣ）２６はＣＰＵと
その周辺部品から構成され、図５および図６に示す画像
処理プログラムを実行してＲ、Ｇ、Ｂ画像信号を処理す
る。なお、この実施の形態ではマイクロコンピューター
のソフトウエアで画像処理を行う例を示すが、ハードウ
エアにより画像処理を行ってもよい。
その周辺部品から構成され、図５および図６に示す画像
処理プログラムを実行してＲ、Ｇ、Ｂ画像信号を処理す
る。なお、この実施の形態ではマイクロコンピューター
のソフトウエアで画像処理を行う例を示すが、ハードウ
エアにより画像処理を行ってもよい。
【００２１】ステップ１において、カラー撮像素子１４
から出力されＡ／Ｄ変換器２５でデジタル信号に変換さ
れたＲ、Ｇ、Ｂの各画素データを入力する。続くステッ
プ２で、画素配列の１ラインごとに、オプティカルブラ
ックとして使用する複数の画素データの加重平均をその
ラインの各画素データから減算する。ステップ３では、
画素配列の１ラインごとに、Ｒ、Ｇ、Ｂの各画素データ
に対して一律に所定のゲインを乗して信号レベルを調整
するとともに、Ｇ画素に対するＲとＢ画素の感度のばら
つきを補正する。
から出力されＡ／Ｄ変換器２５でデジタル信号に変換さ
れたＲ、Ｇ、Ｂの各画素データを入力する。続くステッ
プ２で、画素配列の１ラインごとに、オプティカルブラ
ックとして使用する複数の画素データの加重平均をその
ラインの各画素データから減算する。ステップ３では、
画素配列の１ラインごとに、Ｒ、Ｇ、Ｂの各画素データ
に対して一律に所定のゲインを乗して信号レベルを調整
するとともに、Ｇ画素に対するＲとＢ画素の感度のばら
つきを補正する。
【００２２】ステップ４で上記処理を施したＲＧＢ画素
データをバッファーメモリ２７へ出力して記憶させると
ともに、ステップ５〜１１において上記処理を施したＲ
ＧＢ画素データに基づいてホワイトバランスゲインＲga
in、Ｂgainを演算する。
データをバッファーメモリ２７へ出力して記憶させると
ともに、ステップ５〜１１において上記処理を施したＲ
ＧＢ画素データに基づいてホワイトバランスゲインＲga
in、Ｂgainを演算する。
【００２３】ホワイトバランスゲインＲgain、Ｂgainの
演算方法を説明する。まず、ステップ５で複数の画素が
平面上に配列された撮像素子１４の受光面を、少なくと
も２個以上の画素を含む複数の領域に分割する。この領
域分割方法には、原則として同一個数の画素を含み、
各領域が互いにオーバーラップしないように分割する方
法、原則として同一個数の画素を含み、各領域がオー
バーラップするように分割する方法、各領域に含まれ
る画素を同一個数とせず、撮影画面中央部の領域は個数
を少なく、撮影画面周辺部の領域は個数を多くする、つ
まり、中央部領域を狭くし、周辺部領域を広くする方
法、当初の演算は広い領域に分割して行い、演算結果
に基づいて狭い領域に分割する方法、つまり、演算結果
に基づいて領域の大きさを変更する方法、あるいは上記
の方法を組み合わせた方法などがある。なお、領域の分
割方法はこの実施の形態の方法に限定されるものではな
い。
演算方法を説明する。まず、ステップ５で複数の画素が
平面上に配列された撮像素子１４の受光面を、少なくと
も２個以上の画素を含む複数の領域に分割する。この領
域分割方法には、原則として同一個数の画素を含み、
各領域が互いにオーバーラップしないように分割する方
法、原則として同一個数の画素を含み、各領域がオー
バーラップするように分割する方法、各領域に含まれ
る画素を同一個数とせず、撮影画面中央部の領域は個数
を少なく、撮影画面周辺部の領域は個数を多くする、つ
まり、中央部領域を狭くし、周辺部領域を広くする方
法、当初の演算は広い領域に分割して行い、演算結果
に基づいて狭い領域に分割する方法、つまり、演算結果
に基づいて領域の大きさを変更する方法、あるいは上記
の方法を組み合わせた方法などがある。なお、領域の分
割方法はこの実施の形態の方法に限定されるものではな
い。
【００２４】の領域のオーバーラップを許容する分割
方法は、のオーバーラップを許容しない分割方法に比
べて、より正確なホワイトバランスゲインを演算するこ
とができる。の中央部領域を狭くし、周辺部領域を広
くする分割方法は、主要被写体が撮影画面中央部に位置
する撮影の頻度が高いことによるものであり、空などの
風景が含まれる周辺部よりも主要被写体が含まれる中央
部に対してきめ細かく演算を行うことによって、より正
確なホワイトバランスを得ることができる。の分割方
法は、当初は広い領域分割で演算を行い、信頼性の高い
演算結果が得られない場合は狭い領域分割で演算をやり
直すことによって、演算処理時間を短縮できる。
方法は、のオーバーラップを許容しない分割方法に比
べて、より正確なホワイトバランスゲインを演算するこ
とができる。の中央部領域を狭くし、周辺部領域を広
くする分割方法は、主要被写体が撮影画面中央部に位置
する撮影の頻度が高いことによるものであり、空などの
風景が含まれる周辺部よりも主要被写体が含まれる中央
部に対してきめ細かく演算を行うことによって、より正
確なホワイトバランスを得ることができる。の分割方
法は、当初は広い領域分割で演算を行い、信頼性の高い
演算結果が得られない場合は狭い領域分割で演算をやり
直すことによって、演算処理時間を短縮できる。
【００２５】いずれかの方法でｎ分割された各領域に対
して、領域番号ｉ（＝１〜ｎ）を付して区別する。ステ
ップ６で、各領域ｉに含まれるＲ，Ｇ，Ｂごとの画素値
の平均値Ｒa(i)、Ｇa(i)、Ｂa(i)を演算する。続くステ
ップ７では、各領域ｉにおけるＧ画素平均値Ｇa(i)に対
するＲ画素平均値Ｒa(i)の比ＲＧ(i)と、Ｇ画素平均値
Ｇa(i)に対するＢ画素平均値Ｂa(i)の比ＢＧ(i)を、次
式により演算する。
して、領域番号ｉ（＝１〜ｎ）を付して区別する。ステ
ップ６で、各領域ｉに含まれるＲ，Ｇ，Ｂごとの画素値
の平均値Ｒa(i)、Ｇa(i)、Ｂa(i)を演算する。続くステ
ップ７では、各領域ｉにおけるＧ画素平均値Ｇa(i)に対
するＲ画素平均値Ｒa(i)の比ＲＧ(i)と、Ｇ画素平均値
Ｇa(i)に対するＢ画素平均値Ｂa(i)の比ＢＧ(i)を、次
式により演算する。
【数３】ＲＧ(i)＝｛Ｒa(i)−Ｇa(i)｝／Ｇa(i)， ＢＧ(i)＝｛Ｂa(i)−Ｇa(i)｝／Ｇa(i)
【００２６】次に、ステップ８で、図７に示すように、
横軸をＧ画素平均値に対するＢ画素平均値の比ＢＧ、縦
軸をＧ画素平均値に対するＲ画素平均値の比ＲＧとする
平面上に、演算結果の各領域ｉの比ＲＧ(i)と比ＢＧ(i)
で決まる点｛RG(i),BG(i)｝をプロットする。
横軸をＧ画素平均値に対するＢ画素平均値の比ＢＧ、縦
軸をＧ画素平均値に対するＲ画素平均値の比ＲＧとする
平面上に、演算結果の各領域ｉの比ＲＧ(i)と比ＢＧ(i)
で決まる点｛RG(i),BG(i)｝をプロットする。
【００２７】Ｇ画素平均値に対するＲ画素平均値の比Ｒ
Ｇと、Ｇ画素平均値に対するＢ画素平均値の比ＢＧの平
面座標上で、領域ｉの点｛RG(i),BG(i)｝の存在する位
置はその領域ｉに対応する被写体の彩度を表す。例えば
撮影画面内に青空がある場合にはその領域の比ＢＧが大
きくなり、赤いバラ園を撮影する場合には比ＲＧが大き
くなる。このような有彩色の彩度の高い被写体が撮影画
面の広い範囲を占めるシーンを撮影する場合には、その
被写体の色に強い影響を受けて良好なホワイトバランス
が得られなくなる。そこで、この実施の形態では、画素
平均値の比ＲＧ、ＢＧが所定値Ｋを超える領域には有彩
色の彩度が高い被写体が存在すると判断し、そのような
領域をホワイトバランスゲイン演算の対象領域から除外
する。これにより、撮影画面から彩度の高い有彩色被写
体を除外してホワイトバランス調整を行うことができ、
良好な調整結果が得られる。
Ｇと、Ｇ画素平均値に対するＢ画素平均値の比ＢＧの平
面座標上で、領域ｉの点｛RG(i),BG(i)｝の存在する位
置はその領域ｉに対応する被写体の彩度を表す。例えば
撮影画面内に青空がある場合にはその領域の比ＢＧが大
きくなり、赤いバラ園を撮影する場合には比ＲＧが大き
くなる。このような有彩色の彩度の高い被写体が撮影画
面の広い範囲を占めるシーンを撮影する場合には、その
被写体の色に強い影響を受けて良好なホワイトバランス
が得られなくなる。そこで、この実施の形態では、画素
平均値の比ＲＧ、ＢＧが所定値Ｋを超える領域には有彩
色の彩度が高い被写体が存在すると判断し、そのような
領域をホワイトバランスゲイン演算の対象領域から除外
する。これにより、撮影画面から彩度の高い有彩色被写
体を除外してホワイトバランス調整を行うことができ、
良好な調整結果が得られる。
【００２８】具体的には、ステップ９で、図７に示す平
面上で点｛RG(i),BG(i)｝が中心（０，０）から半径Ｋ
の円内に存在する領域ｉを抽出する。すなわち、次式を
満たす領域ｉを抽出する。
面上で点｛RG(i),BG(i)｝が中心（０，０）から半径Ｋ
の円内に存在する領域ｉを抽出する。すなわち、次式を
満たす領域ｉを抽出する。
【数４】√｛｜ＲＧ(i)｜2＋｜ＢＧ(i)｜2｝≦Ｋ
【００２９】ステップ１０において、抽出したすべての
領域のＲ、Ｇ、Ｂ各画素の平均値の総和を次式により演
算する。
領域のＲ、Ｇ、Ｂ各画素の平均値の総和を次式により演
算する。
【数５】Ｒt＝ΣＲa(i)， Ｇt＝ΣＧa(i)， Ｂt＝ΣＢa(i) そして、ステップ１１で総和Ｒt、Ｇt、Ｂtに基づいて
次式によりホワイトバランスゲインＲgain、Ｂgainを演
算する。
次式によりホワイトバランスゲインＲgain、Ｂgainを演
算する。
【数６】Ｒgain＝Ｒt／Ｇt， Ｂgain＝Ｂt／Ｇt
【００３０】ホワイトバランスゲインＲgain、Ｂgainを
算出したら、ステップ１２でバッファーメモリ２７から
先に記憶したＲＧＢ画素データを入力し、すべてのＲ画
素値にゲインＲgainを乗ずるとともに、すべてのＢ画素
値にゲインＢgainを乗じてホワイトバランス調整を行
う。
算出したら、ステップ１２でバッファーメモリ２７から
先に記憶したＲＧＢ画素データを入力し、すべてのＲ画
素値にゲインＲgainを乗ずるとともに、すべてのＢ画素
値にゲインＢgainを乗じてホワイトバランス調整を行
う。
【００３１】ホワイトバランス調整後のステップ１４
で、周知の黒レベル調整とγ補正を行う。さらに、ステ
ップ１５において、縦ｐ×横ｑ画素領域ごとに周知の補
間、輪郭処理を行う。すなわち、ホワイトバランス調整
後の画像データに対してｐ×ｑ画素領域のブロックデー
タごとにＪＰＥＧ方式のデータ圧縮のためのフォーマッ
ト処理を行って、ｐ1×ｑ1画素領域のＹ信号とｐ2×ｑ2
画素領域のＣb信号およびＣr信号を生成する。以上の黒
レベル調整、γ補正、補間輪郭処理については周知であ
り、本願発明と直接に関係しないので詳細な説明を省略
する。最後にステップ１５で、Ｙ信号、Ｃb信号、Ｃr信
号をバッファーメモリ２７へ出力し、記憶する。
で、周知の黒レベル調整とγ補正を行う。さらに、ステ
ップ１５において、縦ｐ×横ｑ画素領域ごとに周知の補
間、輪郭処理を行う。すなわち、ホワイトバランス調整
後の画像データに対してｐ×ｑ画素領域のブロックデー
タごとにＪＰＥＧ方式のデータ圧縮のためのフォーマッ
ト処理を行って、ｐ1×ｑ1画素領域のＹ信号とｐ2×ｑ2
画素領域のＣb信号およびＣr信号を生成する。以上の黒
レベル調整、γ補正、補間輪郭処理については周知であ
り、本願発明と直接に関係しないので詳細な説明を省略
する。最後にステップ１５で、Ｙ信号、Ｃb信号、Ｃr信
号をバッファーメモリ２７へ出力し、記憶する。
【００３２】このように、カラー撮像素子１４の受光面
を複数の領域ｉに分割し、各領域ｉの色Ｒ、Ｇ、Ｂごと
の画素出力平均値Ｒa(i)、Ｇa(i)、Ｂa(i)を演算すると
ともに、各領域ｉごとに緑色Ｇの画素出力平均値Ｇa(i)
に対する他の色Ｒ、Ｂの画素出力平均値Ｒa(i)、Ｂa(i)
の比ＲＧ(i)、ＢＧ(i)を演算し、複数の領域の中から画
素出力平均値の比ＲＧ(i)、ＢＧ(i)が所定範囲Ｋ内に収
まっている領域を抽出し、抽出した領域の各色の画素出
力に基づいてホワイトバランス調整を行うようにしたの
で、有彩色の被写体が撮影画面の広い範囲を占める場合
でも良好なホワイトバランスを得ることができる。
を複数の領域ｉに分割し、各領域ｉの色Ｒ、Ｇ、Ｂごと
の画素出力平均値Ｒa(i)、Ｇa(i)、Ｂa(i)を演算すると
ともに、各領域ｉごとに緑色Ｇの画素出力平均値Ｇa(i)
に対する他の色Ｒ、Ｂの画素出力平均値Ｒa(i)、Ｂa(i)
の比ＲＧ(i)、ＢＧ(i)を演算し、複数の領域の中から画
素出力平均値の比ＲＧ(i)、ＢＧ(i)が所定範囲Ｋ内に収
まっている領域を抽出し、抽出した領域の各色の画素出
力に基づいてホワイトバランス調整を行うようにしたの
で、有彩色の被写体が撮影画面の広い範囲を占める場合
でも良好なホワイトバランスを得ることができる。
【００３３】上述したように、Ｇ画素平均値に対するＲ
画素平均値の比ＲＧと、Ｇ画素平均値に対するＢ画素平
均値の比ＢＧの平面座標上で、領域ｉの点｛RG(i),BG
(i)｝の存在する位置はその領域ｉに対応する被写体の
彩度を表す。例えば撮影画面内に青空がある場合にはそ
の領域の比ＢＧが大きくなり、赤いバラ園を撮影する場
合には比ＲＧが大きくなる。このような有彩色の彩度の
高い被写体が撮影画面の広い範囲を占めるシーンを撮影
する場合には、その被写体の色に強い影響を受けて良好
なホワイトバランスが得られなくなる。そこで、この実
施の形態では、画素平均値の比ＲＧ、ＢＧが所定値Ｋを
超える領域には有彩色の彩度が高い被写体が存在すると
判断し、そのような領域をホワイトバランスゲイン演算
の対象領域から除外する。つまり、複数の領域ｉの中か
ら彩度が所定範囲内、すなわち数式４に示す半径Ｋの円
内に収まっている領域を抽出し、抽出した領域の各色の
画素出力に基づいてホワイトバランス調整を行う。これ
により、撮影画面から彩度の高い有彩色被写体を除外し
てホワイトバランス調整を行うことができ、良好な調整
結果が得られる。
画素平均値の比ＲＧと、Ｇ画素平均値に対するＢ画素平
均値の比ＢＧの平面座標上で、領域ｉの点｛RG(i),BG
(i)｝の存在する位置はその領域ｉに対応する被写体の
彩度を表す。例えば撮影画面内に青空がある場合にはそ
の領域の比ＢＧが大きくなり、赤いバラ園を撮影する場
合には比ＲＧが大きくなる。このような有彩色の彩度の
高い被写体が撮影画面の広い範囲を占めるシーンを撮影
する場合には、その被写体の色に強い影響を受けて良好
なホワイトバランスが得られなくなる。そこで、この実
施の形態では、画素平均値の比ＲＧ、ＢＧが所定値Ｋを
超える領域には有彩色の彩度が高い被写体が存在すると
判断し、そのような領域をホワイトバランスゲイン演算
の対象領域から除外する。つまり、複数の領域ｉの中か
ら彩度が所定範囲内、すなわち数式４に示す半径Ｋの円
内に収まっている領域を抽出し、抽出した領域の各色の
画素出力に基づいてホワイトバランス調整を行う。これ
により、撮影画面から彩度の高い有彩色被写体を除外し
てホワイトバランス調整を行うことができ、良好な調整
結果が得られる。
【００３４】《一実施の形態の変形例；補色系カラー撮
像素子の場合》図４に示す補色系のカラーフィルターを
備えた撮像素子を用いたカメラの場合には、ホワイトバ
ランス調整を次のように行う。図５のステップ５で上述
した分割方法により領域分割を行う。次に、ステップ６
で、各分割領域ｉに含まれる緑Ｇ、黄色（イエロー）Ｙ
e、青緑（シアン）Ｃy、紫（マゼンダ）Ｍaごとの画素
値の平均値Ｇa(i)、Ｙe_a(i)、Ｃy_a(i)、Ｍa_a(i)を演
算する。
像素子の場合》図４に示す補色系のカラーフィルターを
備えた撮像素子を用いたカメラの場合には、ホワイトバ
ランス調整を次のように行う。図５のステップ５で上述
した分割方法により領域分割を行う。次に、ステップ６
で、各分割領域ｉに含まれる緑Ｇ、黄色（イエロー）Ｙ
e、青緑（シアン）Ｃy、紫（マゼンダ）Ｍaごとの画素
値の平均値Ｇa(i)、Ｙe_a(i)、Ｃy_a(i)、Ｍa_a(i)を演
算する。
【００３５】ステップ７では、各領域ｉにおけるＧ画素
平均値Ｇa(i)に対するＹe画素平均値Ｙe_a(i)の比ＹeＧ
(i)、Ｇ画素平均値Ｇa(i)に対するＣy画素平均値Ｃy_a
(i)の比ＣyＧ(i)、Ｇ画素平均値Ｇa(i)に対するＭa画素
平均値Ｍa_a(i)の比ＭaＧ(i)を次式により演算する。
平均値Ｇa(i)に対するＹe画素平均値Ｙe_a(i)の比ＹeＧ
(i)、Ｇ画素平均値Ｇa(i)に対するＣy画素平均値Ｃy_a
(i)の比ＣyＧ(i)、Ｇ画素平均値Ｇa(i)に対するＭa画素
平均値Ｍa_a(i)の比ＭaＧ(i)を次式により演算する。
【数７】 ＹeＧ(i)＝｛Ｙe_a(i)−２Ｇa(i)｝／２Ｇa(i)， ＣyＧ(i)＝｛Ｃy_a(i)−２Ｇa(i)｝／２Ｇa(i)， ＭaＧ(i)＝｛Ｍa_a(i)−２Ｇa(i)｝／２Ｇa(i)
【００３６】次に、ステップ８で、Ｇ画素平均値に対す
るＹe画素平均値の比ＹeＧと、Ｇ画素平均値に対するＣ
y画素平均値の比ＹeＧと、Ｇ画素平均値に対するＭa画
素平均値の比ＭaＧをＸＹＺ３軸とする空間座標系に、
演算結果の各領域ｉの比ＹeＧ(i)、ＣyＧ(i)、ＭaＧ(i)
で決まる点｛YeG(i)、CyG(i)、MaG(i)｝をプロットする。
続くステップ９では、上記空間座標系で点｛YeG(i)、CyG
(i)、MaG(i)｝が中心（０，０，０）から半径Ｋ’の球内
に存在する領域ｉを抽出する。すなわち、次式を満たす
領域ｉを抽出する。
るＹe画素平均値の比ＹeＧと、Ｇ画素平均値に対するＣ
y画素平均値の比ＹeＧと、Ｇ画素平均値に対するＭa画
素平均値の比ＭaＧをＸＹＺ３軸とする空間座標系に、
演算結果の各領域ｉの比ＹeＧ(i)、ＣyＧ(i)、ＭaＧ(i)
で決まる点｛YeG(i)、CyG(i)、MaG(i)｝をプロットする。
続くステップ９では、上記空間座標系で点｛YeG(i)、CyG
(i)、MaG(i)｝が中心（０，０，０）から半径Ｋ’の球内
に存在する領域ｉを抽出する。すなわち、次式を満たす
領域ｉを抽出する。
【数８】√｛｜ＹeＧ(i)｜2＋｜ＣyＧ(i)｜2＋｜ＭaＧ
(i)｜2｝≦Ｋ’
(i)｜2｝≦Ｋ’
【００３７】ステップ１０において、抽出したすべての
領域のＧ、Ｙe、Ｃy、Ｍa各画素の平均値の総和を次式
により演算する。
領域のＧ、Ｙe、Ｃy、Ｍa各画素の平均値の総和を次式
により演算する。
【数９】Ｇt＝ΣＧa(i)， Ｙe_t＝ΣＹe_a(i)， Ｃr_t＝ΣＣy_a(i)， Ｍa_t＝ΣＭa_a(i) そして、ステップ１１で総和Ｇt、Ｙe_t、Ｃr_t、Ｍa_t
に基づいて次式によりホワイトバランスゲインＹe_gai
n、Ｃr_gain、Ｍa_gainを演算する。
に基づいて次式によりホワイトバランスゲインＹe_gai
n、Ｃr_gain、Ｍa_gainを演算する。
【数１０】Ｙe_gain＝Ｙe_t／２Ｇt， Ｃr_gain＝Ｃr_t／２Ｇt， Ｍa_gain＝Ｍa_t／２Ｇt
【００３８】ホワイトバランスゲインＹe_gain、Ｃr_ga
in、Ｍa_gainを演算したら、ステップ１２でバッファー
メモリ２７から先に記憶した補色系画素データを入力
し、すべてのＹe画素にゲインＹe_gainを乗じ、すべて
のＣr画素にゲインＣr_gainを乗じ、すべてのＭa画素に
ゲインＭa_gainを乗じてホワイトバランス調整を行う。
in、Ｍa_gainを演算したら、ステップ１２でバッファー
メモリ２７から先に記憶した補色系画素データを入力
し、すべてのＹe画素にゲインＹe_gainを乗じ、すべて
のＣr画素にゲインＣr_gainを乗じ、すべてのＭa画素に
ゲインＭa_gainを乗じてホワイトバランス調整を行う。
【００３９】以上の実施の形態の構成において、画像処
理回路（ＡＳＩＣ）２６が領域分割手段、平均値演算手
段、平均値比演算手段、領域抽出手段、総和演算手段、
ゲイン演算手段、画素出力調整手段および彩度演算手段
を構成する。
理回路（ＡＳＩＣ）２６が領域分割手段、平均値演算手
段、平均値比演算手段、領域抽出手段、総和演算手段、
ゲイン演算手段、画素出力調整手段および彩度演算手段
を構成する。
【００４０】なお、上述した一実施の形態とその変形例
では、撮影用カラー撮像素子１４の出力を用いてホワイ
トバランス調整を行う例を示したが、測光用カラー撮像
素子１１の出力を用いて上述したホワイトバランス調整
を行っても、同様な効果が得られる。
では、撮影用カラー撮像素子１４の出力を用いてホワイ
トバランス調整を行う例を示したが、測光用カラー撮像
素子１１の出力を用いて上述したホワイトバランス調整
を行っても、同様な効果が得られる。
【００４１】また、上述した一実施の形態とその変形例
では、緑色を基準色とするＲ，Ｇ，Ｂの三原色カラーフ
ィルターおよびＧ、Ｙe、Ｃr、Ｍaの補色カラーフィル
ターを備えた撮像素子を例に上げて説明したが、カラー
撮像素子のフィルターの色とその配列および基準色は上
記一実施の形態とその変形例に限定されない。
では、緑色を基準色とするＲ，Ｇ，Ｂの三原色カラーフ
ィルターおよびＧ、Ｙe、Ｃr、Ｍaの補色カラーフィル
ターを備えた撮像素子を例に上げて説明したが、カラー
撮像素子のフィルターの色とその配列および基準色は上
記一実施の形態とその変形例に限定されない。
【００４２】さらに、上述した一実施の形態では、Ｇ画
素平均値に対するＲ画素平均値の比ＲＧと、Ｇ画素平均
値に対するＢ画素平均値の比ＢＧの平面座標系を設定
し、各領域の被写体の彩度を判断する例を示したが、上
述した座標系に限定されず、例えばＸＹＺ、ＬＡＢなど
の彩度を表す座標系であればどのような座標系を用いて
もよい。
素平均値に対するＲ画素平均値の比ＲＧと、Ｇ画素平均
値に対するＢ画素平均値の比ＢＧの平面座標系を設定
し、各領域の被写体の彩度を判断する例を示したが、上
述した座標系に限定されず、例えばＸＹＺ、ＬＡＢなど
の彩度を表す座標系であればどのような座標系を用いて
もよい。
【００４３】
【発明の効果】以上説明したように本発明によれば、カ
ラー撮像素子の受光面を複数の領域に分割し、各領域の
色ごとの画素出力平均値を演算するとともに、各領域ご
とに基準となる色の画素出力平均値に対する他の色の画
素出力平均値の比を演算し、複数の領域の中から画素出
力平均値の比が所定範囲内に収まっている領域を抽出
し、抽出した領域の各色の画素出力に基づいてホワイト
バランス調整を行うようにしたので、有彩色の被写体が
撮影画面の広い範囲を占める場合でも良好なホワイトバ
ランスを得ることができる。また、本発明によれば、
Ｒ、Ｇ、Ｂ三原色系のカラー撮像素子はもちろんのこ
と、Ｇ、Ｙe、Ｃy、Ｍa補色系のカラー撮像素子でも上
記効果を得ることができる。さらに、本発明によれば、
撮影用撮像素子はもちろんのこと、測光用撮像素子でも
上記効果を得ることができる。さらに、本発明によれ
ば、カラー撮像素子の受光面を複数の領域に分割し、各
領域の画素出力に基づいて各領域ごとの彩度を演算し、
複数の領域の中から彩度が所定範囲内に収まっている領
域を抽出し、抽出した領域の各色の画素出力に基づいて
ホワイトバランス調整を行うようにしたので、有彩色の
被写体が撮影画面の広い範囲を占める場合でも良好なホ
ワイトバランスを得ることができる。
ラー撮像素子の受光面を複数の領域に分割し、各領域の
色ごとの画素出力平均値を演算するとともに、各領域ご
とに基準となる色の画素出力平均値に対する他の色の画
素出力平均値の比を演算し、複数の領域の中から画素出
力平均値の比が所定範囲内に収まっている領域を抽出
し、抽出した領域の各色の画素出力に基づいてホワイト
バランス調整を行うようにしたので、有彩色の被写体が
撮影画面の広い範囲を占める場合でも良好なホワイトバ
ランスを得ることができる。また、本発明によれば、
Ｒ、Ｇ、Ｂ三原色系のカラー撮像素子はもちろんのこ
と、Ｇ、Ｙe、Ｃy、Ｍa補色系のカラー撮像素子でも上
記効果を得ることができる。さらに、本発明によれば、
撮影用撮像素子はもちろんのこと、測光用撮像素子でも
上記効果を得ることができる。さらに、本発明によれ
ば、カラー撮像素子の受光面を複数の領域に分割し、各
領域の画素出力に基づいて各領域ごとの彩度を演算し、
複数の領域の中から彩度が所定範囲内に収まっている領
域を抽出し、抽出した領域の各色の画素出力に基づいて
ホワイトバランス調整を行うようにしたので、有彩色の
被写体が撮影画面の広い範囲を占める場合でも良好なホ
ワイトバランスを得ることができる。
【図１】 一実施の形態のカメラの横断面図である。
【図２】 一実施の形態の構成を示す図である。
【図３】 カラー撮像素子のＲ、Ｇ、Ｂ画素配置例を示
す図である。
す図である。
【図４】 カラー撮像素子の補色系画素配列を示す図で
ある。
ある。
【図５】 一実施の形態の画像処理を示すフローチャー
トである。
トである。
【図６】 図５に続く、一実施の形態の画像処理を示す
フローチャートである。
フローチャートである。
【図７】 画素平均値の比ＲＧ、ＢＧを平面上に展開し
た図である。
た図である。
【図８】 従来の画像処理装置の構成を示す図である。
１１ 測光用カラー撮像素子 １４ 撮影用カラー撮像素子 ２１ ＣＰＵ ２２ タイミングジェネレーター ２３ ドライバー ２４ アナログ信号処理回路 ２５ Ａ／Ｄ変換器 ２６ 画像処理回路（ＡＳＩＣ） ２７ バッファーメモリ ２８ 圧縮回路（ＪＰＥＧ） ２９ 表示画像生成回路 ３０ モニター ３１ メモリカード
フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 9/07 Ｈ０４Ｎ 9/07 Ａ Ｆターム(参考） 2H002 DB02 DB06 DB08 DB14 DB17 DB25 EB01 EB09 GA32 GA33 HA01 JA07 JA08 ZA03 2H054 AA01 5C065 AA01 BB02 CC01 DD02 DD17 EE01 EE02 EE06 EE07 EE12 EE13 EE18 GG18 GG27 GG32 GG44 5C066 AA01 CA08 CA17 EA15 GA01 KE01 KE07 KE19 KG01 KM02 KM11
Claims (10)
- 【請求項１】撮影レンズにより結像された被写体像を電
気信号に変換するカラー撮像素子を備え、前記カラー撮
像素子から入力した各色の画素出力に処理を施してホワ
イトバランス調整を行う映像信号処理装置において、 前記カラー撮像素子の受光面を複数の領域に分割する領
域分割手段と、 各領域の色ごとの画素出力平均値を演算する平均値演算
手段と、 各領域ごとに基準となる色の画素出力平均値に対する他
の色の画素出力平均値の比を演算する平均値比演算手段
と、 前記複数の領域の中から前記画素出力平均値の比が所定
範囲内に収まっている領域を抽出する領域抽出手段とを
備え、 前記抽出された領域の各色の画素出力に基づいてホワイ
トバランス調整を行うことを特徴とする映像信号処理装
置。 - 【請求項２】請求項１に記載の映像信号処理装置におい
て、 前記抽出された領域の色ごとの画素出力平均値の総和を
演算する総和演算手段と、 前記各色の総和に基づいて基準色以外の色に対するホワ
イトバランスゲインを演算するゲイン演算手段と、 基準色以外の色の画素出力に前記ホワイトバランスゲイ
ンを乗ずる画素出力調整手段とを備え、ホワイトバラン
ス調整を行うことを特徴とする映像信号処理装置。 - 【請求項３】撮影レンズにより結像された被写体像を電
気信号に変換するカラー撮像素子から映像信号を入力
し、その映像信号に含まれる各色の画素出力に処理を施
してホワイトバランス調整を行う映像信号処理プログラ
ムを記録したコンピューター読み取り可能な記録媒体に
おいて、 前記カラー撮像素子の受光面を複数の領域に分割する領
域分割処理と、 各領域の色ごとの画素出力平均値を演算する平均値演算
処理と、 各領域ごとに基準となる色の画素出力平均値に対する他
の色の画素出力平均値の比を演算する平均値比演算処理
と、 前記複数の領域の中から前記画素出力平均値の比が所定
範囲内に収まっている領域を抽出する領域抽出処理とを
行い、 前記抽出された領域の各色の画素出力に基づいてホワイ
トバランス調整を行うことを特徴とする映像信号処理プ
ログラムを記録したコンピューター読み取り可能な記録
媒体。 - 【請求項４】請求項３に記載の映像信号処理プログラム
を記録したコンピューター読み取り可能な記録媒体にお
いて、 前記抽出された領域の色ごとの画素出力平均値の総和を
演算する総和演算処理と、 前記各色の総和に基づいて基準色以外の色に対するホワ
イトバランスゲインを演算するゲイン演算処理と、 基準色以外の色の画素出力に前記ホワイトバランスゲイ
ンを乗ずる画素出力調整処理とを行い、ホワイトバラン
ス調整を行うことを特徴とする映像信号処理プログラム
を記録したコンピューター読み取り可能な記録媒体。 - 【請求項５】請求項１〜４のいずれかの項に記載の映像
信号処理装置または映像信号処理プログラムを記録した
コンピューター読み取り可能な記録媒体において、 前記カラー撮像素子は赤色成分、緑色成分および青色成
分の画素を有し、前記基準色は緑色である、ことを特徴
とする映像信号処理装置または映像信号処理プログラム
を記録したコンピューター読み取り可能な記録媒体。 - 【請求項６】請求項１〜４のいずれかの項に記載の映像
信号処理装置または映像信号処理プログラムを記録した
コンピューター読み取り可能な記録媒体において、 前記カラー撮像素子は緑色成分、黄色成分、青緑色成分
および紫色成分の画素を有し、前記基準色は緑色であ
る、ことを特徴とする映像信号処理装置または映像信号
処理プログラムを記録したコンピューター読み取り可能
な記録媒体。 - 【請求項７】請求項１〜４のいずれかの項に記載の映像
信号処理装置または映像信号処理プログラムを記録した
コンピューター読み取り可能な記録媒体において、 前記撮像素子は撮像した被写体像を記録するための撮像
素子である、ことを特徴とする映像信号処理装置または
映像信号処理プログラムを記録したコンピューター読み
取り可能な記録媒体。 - 【請求項８】請求項１〜４のいずれかの項に記載の映像
信号処理装置または映像信号処理プログラムを記録した
コンピューター読み取り可能な記録媒体において、 前記撮像素子は被写界を複数の測光領域に分割して各測
光領域ごとに被写体輝度を測定するための撮像素子であ
る、ことを特徴とする映像信号処理装置または映像信号
処理プログラムを記録したコンピューター読み取り可能
な記録媒体。 - 【請求項９】撮影レンズにより結像された被写体像を電
気信号に変換するカラー撮像素子を備え、前記カラー撮
像素子から入力した各色の画素出力に処理を施してホワ
イトバランス調整を行う映像信号処理装置において、 前記カラー撮像素子の受光面を複数の領域に分割する領
域分割手段と、 各領域の画素出力に基づいて各領域ごとの彩度を演算す
る彩度演算手段と、 前記複数の領域の中から前記彩度が所定範囲内に収まっ
ている領域を抽出する領域抽出手段とを備え、 前記抽出された領域の各色の画素出力に基づいてホワイ
トバランス調整を行うことを特徴とする映像信号処理装
置。 - 【請求項１０】撮影レンズにより結像された被写体像を
電気信号に変換するカラー撮像素子から映像信号を入力
し、その映像信号に含まれる各色の画素出力に処理を施
してホワイトバランス調整を行う映像信号処理プログラ
ムを記録したコンピューター読み取り可能な記録媒体に
おいて、 前記カラー撮像素子の受光面を複数の領域に分割する領
域分割処理と、 各領域の画素出力に基づいて各領域ごとの彩度を演算す
る彩度演算処理と、 前記複数の領域の中から前記彩度が所定範囲内に収まっ
ている領域を抽出する領域抽出処理とを行い、 前記抽出された領域の各色の画素出力に基づいてホワイ
トバランス調整を行うことを特徴とする映像信号処理プ
ログラムを記録したコンピューター読み取り可能な記録
媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000374840A JP2002185976A (ja) | 2000-12-08 | 2000-12-08 | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 |
| US10/001,997 US7196724B2 (en) | 2000-12-08 | 2001-12-05 | Image signal processing device, digital camera and computer program product that perform white balance adjustment using pixel outputs from extracted areas |
| US11/710,404 US7750948B2 (en) | 2000-12-08 | 2007-02-26 | Image signal processing device, digital camera and computer program product for processing image signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000374840A JP2002185976A (ja) | 2000-12-08 | 2000-12-08 | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002185976A true JP2002185976A (ja) | 2002-06-28 |
Family
ID=18843956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000374840A Pending JP2002185976A (ja) | 2000-12-08 | 2000-12-08 | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002185976A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007228516A (ja) * | 2006-02-27 | 2007-09-06 | Fujifilm Corp | 撮影装置 |
| JP2007295062A (ja) * | 2006-04-21 | 2007-11-08 | Megachips Lsi Solutions Inc | ホワイトバランス調整方法 |
| JP2009506700A (ja) * | 2005-08-30 | 2009-02-12 | ノキア コーポレイション | オートホワイトバランスを備える画像処理装置 |
| KR20240018815A (ko) | 2022-08-03 | 2024-02-14 | 한화비전 주식회사 | 영상 처리 장치 및 방법 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01256890A (ja) * | 1988-04-07 | 1989-10-13 | Toshiba Corp | ホワイトバランス制御回路 |
| JPH0214675A (ja) * | 1988-07-01 | 1990-01-18 | Fuji Photo Film Co Ltd | 電子撮像装置 |
| JPH03250992A (ja) * | 1990-02-28 | 1991-11-08 | Sanyo Electric Co Ltd | カラービデオカメラ |
| JPH05292535A (ja) * | 1992-04-10 | 1993-11-05 | Matsushita Electric Ind Co Ltd | オートホワイトバランス装置 |
| JPH10210495A (ja) * | 1997-01-20 | 1998-08-07 | Ricoh Co Ltd | 白バランス制御装置 |
| JPH11146242A (ja) * | 1997-11-13 | 1999-05-28 | Sony Corp | カメラ装置 |
| JPH11289548A (ja) * | 1998-02-09 | 1999-10-19 | Ricoh Co Ltd | ホワイトバランス制御方法及び装置 |
| JP2000032491A (ja) * | 1998-07-09 | 2000-01-28 | Ricoh Co Ltd | ホワイトバランス調整装置 |
| JP2000165896A (ja) * | 1998-11-25 | 2000-06-16 | Ricoh Co Ltd | ホワイトバランス制御方法及びその装置 |
| JP2000184391A (ja) * | 1998-12-18 | 2000-06-30 | Sanyo Electric Co Ltd | 画像データ処理装置 |
-
2000
- 2000-12-08 JP JP2000374840A patent/JP2002185976A/ja active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01256890A (ja) * | 1988-04-07 | 1989-10-13 | Toshiba Corp | ホワイトバランス制御回路 |
| JPH0214675A (ja) * | 1988-07-01 | 1990-01-18 | Fuji Photo Film Co Ltd | 電子撮像装置 |
| JPH03250992A (ja) * | 1990-02-28 | 1991-11-08 | Sanyo Electric Co Ltd | カラービデオカメラ |
| JPH05292535A (ja) * | 1992-04-10 | 1993-11-05 | Matsushita Electric Ind Co Ltd | オートホワイトバランス装置 |
| JPH10210495A (ja) * | 1997-01-20 | 1998-08-07 | Ricoh Co Ltd | 白バランス制御装置 |
| JPH11146242A (ja) * | 1997-11-13 | 1999-05-28 | Sony Corp | カメラ装置 |
| JPH11289548A (ja) * | 1998-02-09 | 1999-10-19 | Ricoh Co Ltd | ホワイトバランス制御方法及び装置 |
| JP2000032491A (ja) * | 1998-07-09 | 2000-01-28 | Ricoh Co Ltd | ホワイトバランス調整装置 |
| JP2000165896A (ja) * | 1998-11-25 | 2000-06-16 | Ricoh Co Ltd | ホワイトバランス制御方法及びその装置 |
| JP2000184391A (ja) * | 1998-12-18 | 2000-06-30 | Sanyo Electric Co Ltd | 画像データ処理装置 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009506700A (ja) * | 2005-08-30 | 2009-02-12 | ノキア コーポレイション | オートホワイトバランスを備える画像処理装置 |
| JP2012100362A (ja) * | 2005-08-30 | 2012-05-24 | Nokia Corp | オートホワイトバランスを備える画像処理装置 |
| JP2007228516A (ja) * | 2006-02-27 | 2007-09-06 | Fujifilm Corp | 撮影装置 |
| JP4647518B2 (ja) * | 2006-02-27 | 2011-03-09 | 富士フイルム株式会社 | 撮影装置 |
| JP2007295062A (ja) * | 2006-04-21 | 2007-11-08 | Megachips Lsi Solutions Inc | ホワイトバランス調整方法 |
| KR20240018815A (ko) | 2022-08-03 | 2024-02-14 | 한화비전 주식회사 | 영상 처리 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7750948B2 (en) | Image signal processing device, digital camera and computer program product for processing image signal | |
| JP4826028B2 (ja) | 電子カメラ | |
| US7751619B2 (en) | Image processing apparatus and method, recording medium, and program | |
| US6906744B1 (en) | Electronic camera | |
| EP2426927B1 (en) | Image processing apparatus, image processing method and computer program | |
| KR20070068980A (ko) | 카메라 | |
| JP4487342B2 (ja) | デジタルカメラ | |
| JP4366768B2 (ja) | デジタルカメラおよびコンピュータ読み取り可能な記録媒体 | |
| JP4239234B2 (ja) | 電子スチルカメラ | |
| CN113691795A (zh) | 图像处理设备、图像处理方法和存储介质 | |
| JP4049257B2 (ja) | 固体撮像装置及びデジタルカメラ | |
| JP4649734B2 (ja) | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 | |
| JP4182566B2 (ja) | デジタルカメラおよびコンピュータ読み取り可能な記録媒体 | |
| JP2007158941A (ja) | 被写体領域検出装置、撮像装置、被写体領域検出方法及びプログラム | |
| JP3839429B2 (ja) | 撮像処理装置 | |
| JP2002218480A (ja) | 画像撮影装置 | |
| JP2003149050A (ja) | 測色装置、測色方法、測色制御プログラムおよび測色制御プログラムが格納されたコンピュータ読み取り可能な記録媒体 | |
| US8149291B2 (en) | Image capture apparatus, control method thereof, program, and storage medium | |
| JP2002185976A (ja) | 映像信号処理装置および映像信号処理プログラムを記録した記録媒体 | |
| JP2002058039A (ja) | 撮像装置 | |
| JP2003143623A (ja) | 画像撮影方法および装置 | |
| JP2004274367A (ja) | デジタルカメラ | |
| JP3897370B2 (ja) | 撮像装置 | |
| JP2000102025A (ja) | デジタルカメラ | |
| JP2017034536A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070914 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20100811 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100831 |